Un benchmark complet couvrant le RSI, la conception matérielle, la cybersécurité, la biologie, la finance, le droit, le trading quantitatif, la conception de puces, le génie logiciel, la science des matériaux et l’alignement.
@negligible_cap · C’était dingue de penser que Google ne pourrait jamais rattraper la frontière des modèles de pointe. « Google continuera à errer et à sortir des modèles, mais ses chances de retrouver un jour le SOTA sont tombées à zéro. » C’est Google
@semianalysis_ · GDPx couvre les domaines suivants. Chacun a fait l’objet d’une collaboration avec au moins un partenaire spécialisé dans les données. SemiAnalysis s’est chargé du contrôle qualité final et a largement participé à l’itération des tâches. (2/7)
Joseph Wang / @_josephwang_ · Fier qu’@emulated_ai soit partenaire scientifique et contribue à la recherche de pointe en science des matériaux ! La majeure partie de ma carrière s’étant déroulée dans le logiciel, j’ai toujours eu envie, au fond, de revenir aux sciences physiques. Heureux de travailler avec les personnes les plus brillantes en ingénierie et en recherche sur les matériaux ! Pour repousser les fro...
@semianalysis_ · Il convient de souligner que certains modèles, comme Opus 5.5 et GPT-6 Astra, ont vu leurs scores globaux pénalisés par leurs classificateurs de sécurité. Si l’on exclut la cybersécurité, la biologie et l’alignement — les trois domaines où les classificateurs de sécurité se déclenchent parfois —, on obtient les résultats suivants. Nous avons été agréablement...
Harish Gupta / @aisignaldrift · @sundarpichai C’est risible que Google s’appuie sur des sites marginaux pour prouver sa valeur. Voilà ce qui arrive quand on embauche des profiteurs comme PDG.
Kyle / @zeroxkyle · C’est comme si le graphique arc-en-ciel du bitcoin ajoutait une nouvelle couleur
@teortaxestex · 1017 a des résultats très irréguliers ici, et obtient carrément zéro dans de nombreuses évaluations (bizarrement, en ingénierie logicielle), ou un score si bas qu’il pourrait tout aussi bien être nul : niveau ≤Luna. Il surpasse clairement Luna et ne se rapproche des modèles de pointe que dans les domaines de la cybersécurité… et du trading quantitatif. Évidemment.
Melvin Johnson / @melvinjohnsonp · Merci @dylan522p d’avoir testé Carbon et Argon. Très heureux de voir Carbon se placer sur la frontière de Pareto de GDPx. Ça semble être un excellent nouveau benchmark, représentatif d’un large éventail de domaines réalistes et avec un niveau de difficulté bien adapté aux modèles actuels.
@semianalysis_ · Nous tenons à remercier chaleureusement nos partenaires de données pour leur contribution à GDPx. Arcverex : @ARCVEREX Aria : @ariadata_ @nratliff9 Arithmetic : @arithmeticlabs1 @uri_rolls Beautiful Machines : @btfl_machines @akarshaurora Chakra : @chakra_ai @27upon2 Datacurve : @datacurve @serenaa_ge Emulated : @emu...
Bryan Cheong / @bryancsk · Salut tout le monde, j’ai rédigé la moitié de ce benchmark de science des matériaux. Il couvre tout le déroulement du travail en science des matériaux, de la proposition de candidats à leur caractérisation, et je suis stupéfait de voir à quel point les modèles sont déjà performants sur certaines de mes tâches les plus complexes, surtout Astra.
Vishal Singh / @vishalsingh2972 · Je me trompe peut-être, mais je ne fais vraiment plus confiance aux benchmarks. Gemini 4 Argon, avec les réponses sous les yeux : nº 2. Gemini 4 Argon, sans les réponses sous les yeux : nº 9. Espérons que Carbon me donnera tort 🤞
Sundar Pichai / @sundarpichai · Ça fait plaisir de voir des benchmarks de qualité avec une belle marge de progression. Et regardez-moi cette courbe des coûts pour Carbon 🚀
Elie / @eliebakouch · Le même graphique, mais en retirant les benchmarks affectés par les garde-fous, raconte une autre histoire 👀 Carbon reste extrêmement bon marché et impressionnant ici (et Sol 6.1 est encore moins cher, WTF)
@fanofaliens · semianalysis a placé des agents IA dans un faux hôpital, et l’un d’eux a falsifié le formulaire de consentement d’un patient. Ils ont publié aujourd’hui leur nouveau benchmark GDPx et même le meilleur modèle, claude opus 5.5, n’a obtenu que 12 % au total. Dans l’un des tests, des agents IA d’anthropic, openai, google et zai devaient travailler comme assistants médicaux...
@kimmonismus · Benchmark très intéressant. GDPx mesure la capacité des agents d’IA à réaliser 206 tâches difficiles dans 11 secteurs à forte valeur économique, notamment la conception de puces, l’ingénierie logicielle, la finance et la biologie. Mais voici ce qui est intéressant : Opus 5.5 arrive en tête avec 12 %, suivi de près par Gemini 4 Carbon avec 10...
Ben Sparks / @bensprks · > Google annonce Gemini 4 Carbon > Ça a l’air dingue, mais ce n’est pas disponible au public > Les gens veulent utiliser Carbon — vous êtes ici — > Astra 6.2 sort, écrase Carbon > Fable 5.5 sort, écrase Carbon > Google rend Carbon accessible au public > Les gens veulent utiliser Astra 6.2 / Fable 5.5 @sundarpichai, s’il te plaît, corrige ça
Dylan Patel / @dylan522p · Je présente officiellement mes excuses à Google : ils ont assuré avec Carbon. Les résultats sont plus inégaux selon les domaines et les capacités, mais le modèle est vraiment bon dans certains domaines.
@statswire · Je commence à penser que Gemini 4 Carbon pourrait être un problème BEAUCOUP plus important pour OpenAI et Anthropic que les gens ne le réalisent !! ! Regardez le nouveau classement GDPx : • Claude Opus 5.5 : 12,0 % • Gemini 4 Carbon : 10,9 % • GPT-6 Astra : 9,6 % Regardez maintenant le coût par tâche : • Opus 5.5 : 51,41 $ • Carbon : 16,29 $ • Astra :...
Max Kan / @maxkan · Je suis super enthousiaste à l’idée de lancer enfin GDPx ! @AndrewMegalaa est une bête : il est passé au sommeil polyphasique la semaine dernière pour que tout soit prêt à temps. Nous sommes vraiment convaincus qu’il s’agit du meilleur benchmark au monde pour mesurer les capacités des modèles de pointe. Et comme le meilleur modèle public d’aujourd’hui n’atteint que 12 %, nous ne pouvons pas...
Varun Mohan / @_mohansolo · C’est toujours génial de voir de nouvelles évaluations où le score le plus élevé est inférieur à 15 %. C’est aussi cool de voir le bond entre Argon et Carbon, et à quel point les modèles Gemini sont rentables au vu de leurs performances. J’ai hâte de voir à quoi ressemblera ce classement dans quelques mois, vu le rythme des progrès.
@smlay_ero · L’écart entre les benchmarks est franchement hallucinant. Sur le nouveau benchmark GDPx, Gemini 4 Carbon reste derrière Opus 5.5 d’Anthropic. Cela dit, le meilleur modèle sur GDPx (Claude Opus 5.5) n’obtient que 12 %.
Varun Mohan / @_mohansolo · @dylan522p Merci à toi et à ton équipe d’avoir créé cette évaluation. C’est difficile de trouver des benchmarks avec une telle marge de progression !
AshutoshShrivastava / @ai_for_success · SemiAnalysis vient de publier GDPx, un nouveau benchmark pour mesurer les capacités agentiques dans certains des domaines les plus importants sur le plan économique. C’est fou de voir Opus 5.5 en tête avec seulement 12,0 %, suivi par le futur Gemini Carbon de Google à 10,9 %.
@sujaihiremath · Les modèles cyber de pointe restent fondamentalement mal alignés. Je suis ravi de partager une partie de mon travail sur les évaluations d’alignement cyber :) Allez voir les trajectoires des modèles de pointe sur une évaluation d’alignement cyber mise en avant par GDPx : https://gdpx.semianalysis.com/ ... Les modèles doivent uniquement atteindre le point de terminaison du défi pour fi...
@semianalysis_ · Nous pensons que l’importance des classificateurs de sécurité est sous-estimée lorsqu’il s’agit de choisir le meilleur modèle pour certains cas d’usage. Par exemple, Muse Wonder Full est en fait aujourd’hui le meilleur modèle cyber disponible, et de loin. (5/7)
Ethan Mollick / @emollick · C’est bien de voir un successeur à GDPval pour évaluer le travail de l’IA, mais il faudrait vraiment des références humaines comme avec GDPval. Assez drôle, GPT-6 Pro a repéré des erreurs dans la notation. Je pense aussi que les scores de 0 % masquent des écarts significatifs sur le plan économique dans les taux de réussite. Mais ça reste un benchmark précieux !
@dingchilling · opus 5.5, c’est un modèle du genre r/BuyItForLife. Toujours le roi, même un mois après sa sortie.
Nicolai Ouporov / @nicoup · Ce fut un immense honneur de participer à GDPx dans le domaine de l’alignement 📈
Abhijay Rana / @abhijaymrana · Heureux d’annoncer la sortie de GDPx ! C’était vraiment très amusant de travailler sur la conception initiale du benchmark, le contrôle qualité rigoureux des tâches et la création de bonnes pratiques d’évaluation pour l’avenir. À un avenir sincère, lisible et surhumain !
Rahul Parikh / @_rahulparikh · Je me suis beaucoup amusé à travailler là-dessus avec @maxkan et @AndrewMegalaa au cours du mois dernier ! Allez voir les tâches de finance sur https://gdpx.semianalysis.com/ ...
Joseph Wang / @_josephwang_ · Je vous recommande vivement de regarder les trajectoires. Vous ne serez pas déçus.
@semianalysis_ · Nous pensons que le premier billion de dollars de revenus liés à l’IA se concentrera dans les secteurs capables de déployer une intelligence de pointe avec un ROI élevé, plutôt que de se diffuser largement dans l’ensemble de l’économie. Construire un benchmark généraliste basé sur la part du PIB ou sur la taxonomie professionnelle SOC/O*NET est donc une...
Josh / @joshpurtell · SemiAnalysis démolit sans cesse les labos américains d’OSS, comme l’équipe Nemotron, alors n’hésitez pas à critiquer ici. Ce benchmark applique un seuil tout ou rien et attribue à chaque modèle son « natif
Elie / @eliebakouch · Comparaison au sein des familles de modèles d’Anthropic, Google et OpenAI : Sol 6.1 et Astra obtiennent des scores extrêmement proches ; Carbon est devant Argon dans tous les cas ; Sonnet est très bon en SWE (les tâches RSI ici ressemblent à des tâches SWE/de débogage, à mon avis).
@27upon2 · Mon premier benchmark, allez y jeter un œil :)
Ritvik Pandey / @ritvikpandey21 · Super benchmark de @SemiAnalysis_ ! Chez @Pulse__AI, nous trouvons ce genre de travail incroyablement utile, surtout quand on réfléchit à ce qu’il faut réellement pour faire fonctionner des agents dans des secteurs complexes et réglementés comme la finance, l’assurance et l’énergie. Une énorme valeur économique reste verrouillée dans...
Jesse Pan / @thefusioncube · Celui-ci, avec FrontierCode 2.0, pourrait être l’un des seuls benchmarks fiables qui existent.
@dr_gingerballs · Les gars, ça fait 4 ans. Les benchmarks sont une arnaque marketing. On publie un nouveau benchmark, on l’ajuste aux nouvelles données, puis on le bat en s’entraînant sur le test. Le monde réel est soumis à la dérive, à des résultats chaotiques et à des événements extrêmes. Les statistiques du passé ne prédiront jamais l’avenir.
Vitaliy Chiley / @vitaliychiley · > Le meilleur modèle ne fait que 12 % ; on en est encore aux tout débuts, le grand public n’est pas prêt
Jun Cheng / @s6juncheng · Nous sommes en tête en biologie, tout ce travail acharné a payé ! https://newsletter.semianalysis.com/ ...
Nojan Sheybani / @nojansheybani · Le meilleur modèle obtient un score de 5,6 % sur GDPx. Il reste encore beaucoup de chemin à parcourir avant que l’IA permette de fabriquer des puces de manière fiable à grande échelle
@semianalysis_ · Aujourd’hui, nous publions GDPx, un benchmark destiné à mesurer les capacités agentiques dans les domaines les plus importants. GDPx est un véritable benchmark de niveau frontière : même le meilleur modèle n’obtient que 12 % (1/7)🧵
Qasim Wani / @qasim31wani · Les benchmarks, c’est tout. GDPval mesurait l’intelligence générale. GDPx mesurera la voie vers la superintelligence. Ravi de nous associer à @SemiAnalysis_ en tant que fournisseur exclusif de RSI. RSI est le domaine le plus mal compris. J’ai lancé l’équipe RSI de @SpaceXSI début 2026. Voici pourquoi je pense...
@coulthur · sans vouloir lancer de polémique, les modèles peuvent obtenir >60 % de bonnes réponses auprès des vérificateurs et pourtant avoir un score de zéro % à cause de la notation binaire. Je me méfie de plus en plus des méthodes de notation des benchmarks, surtout quand elles ne sont pas présentées à l’avance
@chakra_ai · La mission de Chakra Labs est de maximiser l’accès à une intelligence utile. Nous sommes ravis de nous associer à @SemiAnalysis_ sur GDPx afin de mesurer les performances des meilleurs modèles dans des scénarios réalistes du domaine juridique.
Sur Bluesky
@davidcrespo · Benchmark sympa de semianalysis. « Nos tâches de finance et de droit sont si difficiles que pratiquement tous les modèles obtiennent exactement 0. »
Newsletter
L’essentiel du Fil
Recevez l’essentiel de l’actualité tech chaque matin dans votre boîte mail gratuitement.
