Difficulté de comparaison entre les laboratoires. … - Déconnexion des évaluations exploitables. … - Non-prise en compte des progrès en dehors du préentraînement.
@scaling01 · Ce que je ne comprends pas, c’est pourquoi Jakub a partagé ceci : « Nous devrions nous attendre à de nouvelles capacités transformatrices en entrant dans la fenêtre de log-perplexité ~0,68-0,7. » Qu’est-ce qui rend 0,68-0,7 si particulier ? Est-ce arbitraire, ou est-ce ce qu’ils attendent de leur prochain modèle de base, ou une prédiction de nouvelles capacités débloquées en extrapolant la courbe des capacités en fonction de la loss ? [publication citée]
Prinz / @deredleritt3r · OpenAI confirme que GPT-6.2 Astra est le modèle qui a résolu Navier-Stokes. OpenAI dispose désormais d’un autre modèle interne qui semble représenter un nouveau bond en avant majeur en matière de capacités. Avec la nouvelle métrique de perplexité, le passage de GPT-6.2 Astra à ce nouveau modèle correspond à peu près à 0,761 -> 0,732. Le...
Elie / @eliebakouch · Un article de blog extrêmement important pour comprendre les progrès du pré-entraînement à mesure que nous nous dirigeons vers la RSI. Deux autres points importants, à mon avis : 1) il y a une limite importante à la publication de chiffres bruts de perplexité, car ils dépendent fortement du calcul (les gains d’efficacité seraient un meilleur indicateur) et peuvent être...
Nick / @surlymochan · En publiant sa courbe de pré-entraînement et en appelant à des limites communes, OpenAI parie que la métrique restera honnête une fois que tout le monde cherchera à l’optimiser. GPT-4 à 0,91 en log-perplexité, un modèle interne sous les 0,76, ça semble précis, franchement, mais si on fixe une limite à un seul chiffre, les labos tricheront sur ce chiffre, pas sur les capac...
Eliezer Yudkowsky / @alltheyud · Pas une seule âme sur Terre n’a prédit où se situeraient les différentes capacités sur cet axe des y.
Will Depue / @willdepue · Je suis très surpris qu’ils aient décidé de publier ça, et je félicite Jakub et le reste d’OpenAI d’avoir choisi la transparence plutôt que la compétition ! ! C’est un excellent travail
Charlie O'Neill / @oneill_c · La chose la plus importante qu’OpenAI puisse faire pour la sécurité de l’IA, c’est de publier ce jeu d’évaluation de perplexité gardé secret. Vous pourriez littéralement changer le cours du monde. Je pense que vous dépasseriez immédiatement Anthropic en matière de contributions à la sécurité. Comme le dit Jakub : « La perplexité comme métrique partag...
Jacob Coxon / @hilbertspaess · C’est une publication très inhabituelle de la part d’OpenAI : l’entreprise partage des chiffres précis sur les progrès du pré-entraînement. Comme le souligne son scientifique en chef, la recherche algorithmique sur le pré-entraînement est vérifiable et sera probablement automatisée en 2027, avant la recherche sur l’alignement et la surveillance.
Axel / @adarmouni · Je ne pensais pas qu’OpenAI serait le premier labo à essayer de fixer la barre pour les limites d’entraînement, mais nous y voilà. En gros, ce qu’ils avancent, c’est qu’on peut prédire une partie des performances du modèle en aval à partir des capacités de modélisation du langage en pré-entraînement. Ici, cela se traduit par la capacité du modèle...
@vraserx · OpenAI a déjà un modèle interne qui semble largement dépasser GPT-6.2 Astra. Et Astra est déjà incroyablement performant. J’espère vraiment qu’on pourra bientôt essayer cette bête. Mais aligner des modèles aussi puissants devient un tout autre défi. Ça devient fou.
Noam Brown / @polynoamial · L’IA est une technologie transformatrice qui affectera tout le monde ; tout le monde mérite donc de connaître la trajectoire des progrès, y compris pour les modèles internes.
Andrew Curran / @andrewcurran_ · Jakub Pachocki, scientifique en chef chez OpenAI, à propos de l’accélération imminente des capacités en 2027 : « Nous avons récemment observé une accélération sans précédent dans un autre domaine. Depuis plus d’un an, nous soumettons des problèmes ouverts de mathématiques à nos modèles, entre autres pour e...
@kimmonismus · Les courbes de loss de pré-entraînement d’OpenAI montrent une forte accélération en 2026, portée par le calcul, la recherche à long terme et l’IA qui accélère son propre développement. Un modèle interne non publié se situe déjà sous GPT-6.2 Astra. OpenAI affirme que l’IA elle-même a déjà contribué à concevoir les modèles les plus récents. Le scientifique en chef...
Elie / @eliebakouch · @merettm tout le monde sait que la perplexité (et les gains d’efficacité) est le meilleur indicateur pour suivre la « RSI » du pré-entraînement ; merci d’être le premier labo à rendre ça public
Peter Wildeford / @peterwildeford · OpenAI écrase complètement Anthropic sur les vibes qui font la marque d’Anthropic en ce moment. Anthropic devrait vraiment essayer de faire la course vers le sommet [publication citée]
@da7_tech · OpenAI cherche-t-elle à ralentir les choses en invoquant la sécurité comme prétexte, simplement parce qu’elle est derrière Google et Anthropic ? Et si elle était en tête, dirait-elle seulement cela ?
Greg Berry / @gregberryai · @sama Ces publications ressemblent davantage à une excuse pour retarder la sortie de vos modèles parce qu’ils ne sont pas aussi bons que ceux de la concurrence.
@pr337h4m · @merettm drôle de voir que vous publiez ça précisément au moment où vous êtes perçus comme étant en train de perdre
Sam Altman / @sama · « Je pense que les développeurs de modèles de pointe devraient s’efforcer ensemble d’établir des normes communes pour évaluer ces modèles et soumettre leurs dispositifs de sécurité à des tests red team avant leur première utilisation, notamment des normes de transparence communes. Je propose également des limites communes, fondées sur la perplexité…
@scaling01 · OpenAI vient de nous donner un aperçu des coulisses. Voilà à quel point les modèles ont progressé …
Sam Altman / @sama · C’est la chose la plus importante qu’OpenAI ait publiée depuis un bon moment. Nous faisons preuve d’une grande transparence sur nos progrès en préentraînement et espérons pouvoir nous entendre, en tant que secteur, sur des limites communes. Je pense que ce serait très judicieux et contribuerait à garantir la sécurité et le contrôle.
Jakub Pachocki / @merettm · Nous avons décidé de faire preuve d’une plus grande transparence sur les progrès du préentraînement chez OpenAI afin d’avancer vers des seuils de sécurité communs. Dans « Perplexité et intelligence », je plaide pour des limites communes fondées sur la perplexité et d’autres mesures, les progrès au-delà de ces limites étant conditionnés à notre capacité à…