Un nouveau rapport de METR, une organisation à but non lucratif spécialisée dans l’évaluation de l’IA, conclut que certaines capacités de l’IA continuent de progresser selon une trajectoire exponentielle…
@metr_evals · Nous travaillons à mieux comprendre les capacités des modèles au-delà de ce que pouvaient mesurer nos précédentes tâches sur les horizons temporels. Aujourd’hui, nous partageons une mise à jour de nos recherches. Nous constatons que les capacités pertinentes pour la R&D en IA progressent rapidement et deviennent plus difficiles à mesurer.
@tenobrus · comme certain·es d’entre vous l’avaient peut-être deviné, j’ai récemment rejoint @METR_Evals :) c’est l’un des premiers projets sur lesquels j’ai travaillé là-bas, avec le reste de l’équipe chargée des capacités. très enthousiaste à l’idée qu’il soit enfin publié. comprendre ce qui se passe au juste avec les modèles, et surtout quelles lacunes il leur reste, est absolument essentiel pour éclairer nos décisions en tant qu’espèce...
Hjalmar Wijk / @hjalmarwijk · Il devient de plus en plus difficile de mesurer les capacités des modèles. Mes collègues ont accompli un travail titanesque pour nous permettre de continuer à suivre les progrès des capacités ; je trouve le rythme des progrès frappant, même sur des tâches ouvertes.
Matt Putz / @mattputz_ · Une partie de mon travail sur cet article consistait à recruter des experts de référence. Nous avons obtenu des évaluations de référence formelles pour 3 tâches relativement faciles à vérifier. En général, nous demandions aux LLM qui, dans le monde, serait le mieux qualifié pour chaque tâche, tout en étant plausiblement disponible, puis nous les contactions en proposant 200 à 350 $/h 🧵
Oscar Sykes / @oscarsykes7 · Timing malheureux pour la publication de la preuve de l’hypothèse de Riemann le même jour que Time Horizons 2. J’espère que cette histoire autour de Riemann attirera quand même un peu l’attention.
@metr_evals · Pour nos tâches TH1.1 et TH2, les horizons temporels des modèles de pointe ont doublé environ tous les 3,6 mois (IC à 95 % : de 2,1 à 4,9), conformément aux tendances rapportées précédemment. Par extrapolation naïve, les horizons temporels atteignant 50 % couvriraient les tâches les plus longues de cette suite (200 heures) en juillet 2027.
Megan Kinniment / @mkinniment · Ce qui m’a intéressé dans ce projet, c’est notamment la comparaison des scores de notre modèle (MCI) avec d’autres mesures, comme l’ECI d’Epoch. Par exemple, 3.6 sonnet et o1 sont classés différemment.
@metr_evals · Les agents d’IA progressent même sur nos tâches les plus difficiles à vérifier, mais semblent avoir un jugement moins bon que les experts humains pour les tâches sans retour clair et rapide. Par exemple, les agents peuvent désormais créer des tâches d’évaluation à la limite de l’utilité pour nous, mais pas des tâches que nous jugeons particulièrement instructives.
@metr_evals · Les horizons temporels nous permettaient autrefois d’avancer un argument simple pour dire que le risque catastrophique était faible : les capacités autonomes des modèles avaient de vastes limites. Cet argument est désormais plus difficile à tenir. Par exemple, et si les points forts de l’IA suffisaient à accélérer considérablement la R&D en IA ? https://x.com/...
Newsletter
L’essentiel du Fil
Recevez l’essentiel de l’actualité tech chaque matin dans votre boîte mail gratuitement.