Un benchmark complet couvrant le RSI, la conception matérielle, la cybersécurité, la biologie, la finance, le droit, le trading quantitatif, la conception de puces, l’ingénierie logicielle, la science des matériaux et l’alignement…
Sur X
@fanofaliens · semianalysis a placé des agents IA dans un faux hôpital, et l’un d’eux a falsifié le formulaire de consentement d’un patient. Ils ont publié aujourd’hui leur nouveau benchmark GDPx et même le meilleur modèle, claude opus 5.5, n’a obtenu que 12 % au total. Dans l’un des tests, des agents IA d’anthropic, openai, google et zai devaient travailler comme assistants médicaux...
Harish Gupta / @aisignaldrift · @sundarpichai C’est risible que Google s’appuie sur des sites marginaux pour prouver sa valeur. Voilà ce qui arrive quand on embauche des profiteurs comme PDG.
Vishal Singh / @vishalsingh2972 · Je me trompe peut-être, mais je ne fais vraiment plus confiance aux benchmarks. Gemini 4 Argon, avec les réponses sous les yeux : nº 2. Gemini 4 Argon, sans les réponses sous les yeux : nº 9. Espérons que Carbon me donnera tort 🤞
Sundar Pichai / @sundarpichai · Ça fait plaisir de voir des benchmarks de qualité avec une belle marge de progression. Et regardez-moi cette courbe des coûts pour Carbon 🚀
Melvin Johnson / @melvinjohnsonp · Merci @dylan522p d’avoir testé Carbon et Argon. Très heureux de voir Carbon se placer sur la frontière de Pareto de GDPx. Ça semble être un excellent nouveau benchmark, représentatif d’un large éventail de domaines réalistes et avec un niveau de difficulté bien adapté aux modèles actuels.
Josh / @joshpurtell · SemiAnalysis démolit sans cesse les labos américains d’OSS, comme l’équipe Nemotron, alors n’hésitez pas à critiquer ici. Ce benchmark applique un seuil tout ou rien et attribue à chaque modèle son « natif
Joseph Wang / @_josephwang_ · Je vous recommande vivement de regarder les trajectoires. Vous ne serez pas déçus.
@semianalysis_ · GDPx couvre les domaines suivants. Chacun a fait l’objet d’une collaboration avec au moins un partenaire spécialisé dans les données. SemiAnalysis s’est chargé du contrôle qualité final et a largement participé à l’itération des tâches. (2/7)
Joseph Wang / @_josephwang_ · Fier qu’@emulated_ai soit partenaire scientifique et contribue à la recherche de pointe en science des matériaux ! La majeure partie de ma carrière s’étant déroulée dans le logiciel, j’ai toujours eu envie, au fond, de revenir aux sciences physiques. Heureux de travailler avec les personnes les plus brillantes en ingénierie et en recherche sur les matériaux ! Pour repousser les fro...
@semianalysis_ · Il convient de souligner que certains modèles, comme Opus 5.5 et GPT-6 Astra, ont vu leurs scores globaux pénalisés par leurs classificateurs de sécurité. Si l’on exclut la cybersécurité, la biologie et l’alignement — les trois domaines où les classificateurs de sécurité se déclenchent parfois —, on obtient les résultats suivants. Nous avons été agréablement...
@semianalysis_ · Nous tenons à remercier chaleureusement nos partenaires de données pour leur contribution à GDPx. Arcverex : @ARCVEREX Aria : @ariadata_ @nratliff9 Arithmetic : @arithmeticlabs1 @uri_rolls Beautiful Machines : @btfl_machines @akarshaurora Chakra : @chakra_ai @27upon2 Datacurve : @datacurve @serenaa_ge Emulated : @emu...
Bryan Cheong / @bryancsk · Salut tout le monde, j’ai rédigé la moitié de ce benchmark de science des matériaux. Il couvre tout le déroulement du travail en science des matériaux, de la proposition de candidats à leur caractérisation, et je suis stupéfait de voir à quel point les modèles sont déjà performants sur certaines de mes tâches les plus complexes, surtout Astra.
Dylan Patel / @dylan522p · Je présente officiellement mes excuses à Google : ils ont assuré avec Carbon. Les résultats sont plus inégaux selon les domaines et les capacités, mais le modèle est vraiment bon dans certains domaines.
Max Kan / @maxkan · Je suis super enthousiaste à l’idée de lancer enfin GDPx ! @AndrewMegalaa est une bête : il est passé au sommeil polyphasique la semaine dernière pour que tout soit prêt à temps. Nous sommes vraiment convaincus qu’il s’agit du meilleur benchmark au monde pour mesurer les capacités des modèles de pointe. Et comme le meilleur modèle public d’aujourd’hui n’atteint que 12 %, nous ne pouvons pas...
Varun Mohan / @_mohansolo · C’est toujours génial de voir de nouvelles évaluations où le score le plus élevé est inférieur à 15 %. C’est aussi cool de voir le bond entre Argon et Carbon, et à quel point les modèles Gemini sont rentables au vu de leurs performances. J’ai hâte de voir à quoi ressemblera ce classement dans quelques mois, vu le rythme des progrès.
@smlay_ero · L’écart entre les benchmarks est franchement hallucinant. Sur le nouveau benchmark GDPx, Gemini 4 Carbon reste derrière Opus 5.5 d’Anthropic. Cela dit, le meilleur modèle sur GDPx (Claude Opus 5.5) n’obtient que 12 %.
Varun Mohan / @_mohansolo · @dylan522p Merci à toi et à ton équipe d’avoir créé cette évaluation. C’est difficile de trouver des benchmarks avec une telle marge de progression !
AshutoshShrivastava / @ai_for_success · SemiAnalysis vient de publier GDPx, un nouveau benchmark pour mesurer les capacités agentiques dans certains des domaines les plus importants sur le plan économique. C’est fou de voir Opus 5.5 en tête avec seulement 12,0 %, suivi par le futur Gemini Carbon de Google à 10,9 %.
@sujaihiremath · Les modèles cyber de pointe restent fondamentalement mal alignés. Je suis ravi de partager une partie de mon travail sur les évaluations d’alignement cyber :) Allez voir les trajectoires des modèles de pointe sur une évaluation d’alignement cyber mise en avant par GDPx : https://gdpx.semianalysis.com/ ... Les modèles doivent uniquement atteindre le point de terminaison du défi pour fi...
@semianalysis_ · Nous pensons que l’importance des classificateurs de sécurité est sous-estimée lorsqu’il s’agit de choisir le meilleur modèle pour certains cas d’usage. Par exemple, Muse Wonder Full est en fait aujourd’hui le meilleur modèle cyber disponible, et de loin. (5/7)
@dingchilling · opus 5.5, c’est un modèle du genre r/BuyItForLife. Toujours le roi, même un mois après sa sortie.
Nicolai Ouporov / @nicoup · Ce fut un immense honneur de participer à GDPx dans le domaine de l’alignement 📈
Abhijay Rana / @abhijaymrana · Heureux d’annoncer la sortie de GDPx ! C’était vraiment très amusant de travailler sur la conception initiale du benchmark, le contrôle qualité rigoureux des tâches et la création de bonnes pratiques d’évaluation pour l’avenir. À un avenir sincère, lisible et surhumain !
Rahul Parikh / @_rahulparikh · Je me suis beaucoup amusé à travailler là-dessus avec @maxkan et @AndrewMegalaa au cours du mois dernier ! Allez voir les tâches de finance sur https://gdpx.semianalysis.com/ ...
@semianalysis_ · Nous pensons que le premier billion de dollars de revenus liés à l’IA se concentrera dans les secteurs capables de déployer une intelligence de pointe avec un ROI élevé, plutôt que de se diffuser largement dans l’ensemble de l’économie. Construire un benchmark généraliste basé sur la part du PIB ou sur la taxonomie professionnelle SOC/O*NET est donc une...
@27upon2 · Mon premier benchmark, allez y jeter un œil :)
Ritvik Pandey / @ritvikpandey21 · Super benchmark de @SemiAnalysis_ ! Chez @Pulse__AI, nous trouvons ce genre de travail incroyablement utile, surtout quand on réfléchit à ce qu’il faut réellement pour faire fonctionner des agents dans des secteurs complexes et réglementés comme la finance, l’assurance et l’énergie. Une énorme valeur économique reste verrouillée dans...
Jesse Pan / @thefusioncube · Celui-ci, avec FrontierCode 2.0, pourrait être l’un des seuls benchmarks fiables qui existent.
@dr_gingerballs · Les gars, ça fait 4 ans. Les benchmarks sont une arnaque marketing. On publie un nouveau benchmark, on l’ajuste aux nouvelles données, puis on le bat en s’entraînant sur le test. Le monde réel est soumis à la dérive, à des résultats chaotiques et à des événements extrêmes. Les statistiques du passé ne prédiront jamais l’avenir.
@semianalysis_ · Aujourd’hui, nous publions GDPx, un benchmark destiné à mesurer les capacités agentiques dans les domaines les plus importants. GDPx est un véritable benchmark de niveau frontière : même le meilleur modèle n’obtient que 12 % (1/7)🧵
Qasim Wani / @qasim31wani · Les benchmarks, c’est tout. GDPval mesurait l’intelligence générale. GDPx mesurera la voie vers la superintelligence. Ravi de nous associer à @SemiAnalysis_ en tant que fournisseur exclusif de RSI. RSI est le domaine le plus mal compris. J’ai lancé l’équipe RSI de @SpaceXSI début 2026. Voici pourquoi je pense...
@coulthur · sans vouloir lancer de polémique, les modèles peuvent obtenir >60 % de bonnes réponses auprès des vérificateurs et pourtant avoir un score de zéro % à cause de la notation binaire. Je me méfie de plus en plus des méthodes de notation des benchmarks, surtout quand elles ne sont pas présentées à l’avance
@chakra_ai · La mission de Chakra Labs est de maximiser l’accès à une intelligence utile. Nous sommes ravis de nous associer à @SemiAnalysis_ sur GDPx afin de mesurer les performances des meilleurs modèles dans des scénarios réalistes du domaine juridique.
Sur Bluesky
@davidcrespo · Benchmark sympa de semianalysis. « Nos tâches de finance et de droit sont si difficiles que pratiquement tous les modèles obtiennent exactement 0. »
Newsletter
L’essentiel du Fil
Recevez l’essentiel de l’actualité tech chaque matin dans votre boîte mail gratuitement.
