La controverse de Qualcomm autour de l'analyse comparative expliquée

TL;DR

• Qualcomm est confronté à une controverse concernant ses affirmations en matière d'analyse comparative de la nouvelle série de processeurs Snapdragon X.
• Un article affirme que Qualcomm « triche » en falsifiant les résultats pour donner l'impression que les puces sont plus puissantes qu'elles ne le seront réellement pour les consommateurs.
• Qualcomm n'a pas été entièrement transparent avec ses méthodes de test, laissant peu de réponses définitives sur ce qui est exact et ce qui ne l'est pas.

Hier, Qualcomm a officiellement dévoilé le nouveau chipset Snapdragon X Plus. Conçu pour les ordinateurs portables Windows sur Arm, le Snapdragon X Plus (et son frère plus puissant, le Snapdragon X Elite) est conçu pour offrir aux utilisateurs Windows ce que les utilisateurs de macOS ont apprécié depuis le lancement initial des puces de la série M d'Apple : puissantes, ventilateurs. moins d’ordinateurs portables avec une autonomie incroyablement longue.

Si vous êtes juste en train de rattraper votre retard, je vous recommande fortement de regarder la vidéo intégrée ci-dessus. Je donne beaucoup de contexte à la série Snapdragon X et à la manière dont elle pourrait changer le paysage des ordinateurs portables Windows.

Malheureusement, tout le monde n’est pas aussi enthousiasmé par ces nouvelles puces Snapdragon X que Qualcomm. Charlie Demerjian à Semi-précis récemment écrit un long article d'opinion qui prétend que Qualcomm « triche » en ce qui concerne les références promues du X Elite et du X Plus. Cela a commencé à se propager sur les réseaux sociaux et a déclenché une conversation plus large sur Qualcomm, Windows on Arm et l'intégrité de ces puces.

Autorité Android a assisté à plusieurs événements Qualcomm proposant un accès pratique aux machines Snapdragon X, nous avons donc pensé nous lancer dans la conversation. Ici, je souhaite discuter de ce qui se passe et de ce à quoi nous pouvons nous attendre lorsque les machines de vente au détail équipées des puces Snapdragon X seront disponibles.

La plupart des personnes qui lisent ceci sont familiarisées avec l'analyse comparative, qui consiste à soumettre le matériel à une série de tests objectifs pour déterminer comment il se compare à d'autres matériels dans diverses mesures. Si vous connaissez l’analyse comparative, vous savez qu’elle peut également être manipulée pour augmenter ou diminuer le score. Par exemple, exécuter un test de smartphone alors que le téléphone est sur une table chaude et exposé à la lumière directe du soleil vous donnera probablement un résultat médiocre par rapport à l'exécution du même test dans un réfrigérateur de plain-pied.

En d’autres termes, le simple fait de disposer d’un chiffre de référence ne suffit pas, surtout si la personne qui effectue le benchmark a omis des détails cruciaux sur la manière dont il a été obtenu.

Pendant tous les événements Snapdragon X Autorité Android présent depuis octobre 2023, Qualcomm a eu plein de benchmarks à nous montrer. Comme on pouvait s'y attendre, tous montrent les cercles Snapdragon X Elite et X Plus autour des chipsets concurrents, y compris le M3 d'Apple et les dernières puces Core Ultra d'Intel. Dans tous les cas, Qualcomm affirme que les processeurs de la série X sont plus puissants, plus économes en batterie et plus efficaces pour effectuer des tâches basées sur l'IA. Dans le cas d'Apple, en particulier, c'est assez incroyable si l'on considère qu'Apple a déjà lancé trois générations de puces Arm prêtes à être vendues au détail, et Qualcomm n'a encore lancé aucune des séries X au détail.

Le problème, cependant, est que Qualcomm a éludé à plusieurs reprises les questions sur la manière dont il a obtenu ces références. Lors d'un événement auquel j'ai assisté avant le lancement du Snapdragon X Plus, Qualcomm a montré à quel point la puce est beaucoup plus puissante que le silicium Apple M3. J'ai levé la main et demandé au présentateur quelle était la puissance thermique de conception (TDP) de la puce pour les deux machines utilisées pour ce test, car l'information ne figurait pas sur la diapositive. Le présentateur n'a pas pu répondre et a dit qu'il me répondrait (ce qu'il n'a pas fait).

À ma connaissance, le TDP de la puce des benchmarks Snapdragon X Elite/Plus n'a jamais été divulgué à personne (rappelez-vous que le TDP de l'appareil et le TDP de la puce sont deux choses différentes). Il s’agit d’un énorme problème car une disparité significative du TDP modifierait considérablement le pedigree de l’indice de référence. En d’autres termes, si l’ordinateur portable Apple M3 fonctionne à son TDP standard de 20 W mais que le processeur Snapdragon X fonctionne à 80 W, les benchmarks ne sont plus comparables.

Si l'on combine cela avec le fait que Qualcomm n'a autorisé aucun test totalement indépendant de la série X, vous êtes très sceptique quant à ses affirmations. Même lorsque nous avons comparé le Snapdragon X Elite, c’était une affaire très simple. Nous ne pouvions que regarder les tests de référence choisis par Qualcomm et ne pouvions pas installer d'autres applications ni vérifier les détails du dispositif de test.

Pour faire court, Qualcomm a une attitude très « faites-nous confiance, mon frère » concernant ses revendications concernant la série Snapdragon X.

Nouvelles allégations de « tricherie »

Dans ce qui a été mentionné précédemment Semi-précis Dans cet article, Charlie Demerjian affirme avoir parlé à des sources anonymes disposant d'informations directes sur les activités internes de Qualcomm et des OEM partenaires. Parmi les nombreuses affirmations de l’article, voici quelques citations notables :

• « Semi-précis est sûr à 100 % de dire que certains des chiffres présentés par Qualcomm [to press] ne peut pas être reproduit avec les paramètres qu’ils prétendent.
• « Une fois que les équipementiers ont reçu des échantillons initiaux et réalisé quelque chose de proche des conceptions finales, Semi-précis reçu des rapports de mauvaises performances. Par médiocre, nous entendons bien moins de 50 % des chiffres indiqués par Qualcomm dans les documents techniques et les présentations.
• « Plus tard, avec plus d'échantillons Snapdragon X Elite dans la nature et de nombreuses autres révisions de [Windows on Arm], nous avons reçu des rapports similaires de la part des OEM et d'un autre niveau 1. Les deux ont rapporté des chiffres qui étaient loin de ce que Qualcomm avait promis. Comment ne pas être proche ? Au-dessus de 50 % cette fois mais on a utilisé le terme « Celeron » pour décrire les performances.

Essentiellement, Demerjian affirme que Qualcomm utilise des références optimisées pour vendre la série Snapdragon X non seulement aux journalistes mais également aux entreprises qui fabriqueront les ordinateurs portables dans lesquels ces puces apparaîtront réellement.

Malheureusement, Demerjian n’a aucune preuve tangible à l’appui de ces affirmations. La raison en est que Semi-précis « a facilité certaines questions entre les constructeurs OEM et les ingénieurs Qualcomm, qui peuvent pointer vers une source si nous n'y prêtons pas attention. » Demerjian ajoute : « l’anonymat de nos sources passera toujours en premier ». C'est bien beau, mais Semi-précis fait fondamentalement exactement la même chose pour laquelle il appelle Qualcomm : « faites-nous confiance, mon frère ».

Notre point de vue et les déclarations de Qualcomm

Pour cette histoire, nous avons contacté Qualcomm. Lorsqu'on l'interroge sur le Semi-précis article, Qualcomm avait ceci à dire :

Nous soutenons nos affirmations en matière de performances et sommes ravis que les consommateurs mettent bientôt la main sur les appareils Snapdragon X Elite et X Plus.

Interrogé sur sa méthodologie de test, il a répondu :

Nos benchmarks sont mesurés en mode AC (chargeur mural connecté) et en mode Balanced (par défaut sur les appareils vendus au détail).

Notamment, lorsque nous avons posé des questions sur la puce TDP, celle-ci nous a indiqué une collection de documents de presse ne contenant pas cette information. Cela semble être la seule chose que l’entreprise ne dira à personne, pour quelque raison que ce soit. Avec ce manque d'informations officielles, nous ne pouvons que supposer que le TDP de la puce doit être élevé, au moins supérieur aux 20 W d'Apple. S'il était de 20 W ou moins, après tout, Qualcomm le dirait probablement ouvertement à tous ceux qui souhaitent cette information.

Bien que nous ne puissions pas répondre définitivement à la question TDP pour le moment, nous pouvons vous donner un aperçu de ce que vous pouvez attendre des puces Qualcomm dans ce domaine. Merci à fréquent Autorité Android Collaboratrice Kamila Wojciechowska, nous avons des fuites de benchmarks de diverses machines Snapdragon X, que vous pouvez lire sur le lien. Le tout est vraiment intéressant, mais l’essentiel est que la machine Snapdragon X Elite haut de gamme a un TDP assez élevé car elle pousse les horloges plus haut. Les autres modèles Elite et Plus seraient plus proches des M3 Pro et M2 d'Apple, mais peut-être aussi avec une consommation d'énergie un peu plus élevée.

Pour en revenir à nos questions sur Qualcomm, nous avons également demandé à l'entreprise quand nous pourrions tester des ordinateurs portables prêts à la vente équipés de processeurs Snapdragon X, mais elle a répondu qu'elle ne pouvait pas partager d'informations sur les projets de ses partenaires OEM. Il a ensuite déclaré : « les produits alimentés par Snapdragon X Elite et notre tout nouveau Snapdragon X Plus seront annoncés à la mi-2024 », ce qui est une information dont nous disposons déjà.

Personnellement, je suis très enthousiasmé par la série Snapdragon X. Même si les affirmations de Qualcomm en matière d'analyse comparative s'avèrent truquées – ou même carrément mensongères – la possibilité d'utiliser un ordinateur portable Windows puissant qui consomme sa batterie est trop séduisante pour que je la rejette catégoriquement. Même si un MacBook le surpasse dans tous les domaines, si je peux utiliser un ordinateur portable Snapdragon X pour écrire un article, éditer une vidéo et jouer à Baldur's Gate 3 lors d'un voyage en avion tout en restant sur batterie, j'en achèterai un instantanément. Les chiffres sur une page ne m'importent pas autant que l'expérience du monde réel.

Nous découvrirons toute la vérité dans quelques semaines seulement, car nous nous attendons à ce que Microsoft dévoile un ordinateur portable Surface équipé d'une puce Snapdragon X en mai pour un déploiement en juin. Une fois que cet ordinateur portable sera disponible, les premiers tests de référence promus par Qualcomm résisteront à l'examen le plus rigoureux. Si les critères correspondent, alors Charlie Demerjian et les autres devront manger leur chapeau. Si les benchmarks font défaut, eh bien… Qualcomm aura une montagne de presse négative à gérer, mettant sérieusement en péril le succès futur de la série Snapdragon X (et, par conséquent, de Windows on Arm).