L’essentiel de l’actualité technologique

Le Fil Tech

jeudi 22 octobre 2026Mise à jour à 20 h 12Le FilNewsletterArchives

Plus de couverture

Sur X

  • @metr_evals · Cet été, deux employés de METR et Redwood Research ont travaillé pendant trois semaines dans les locaux d’OpenAI, dans le cadre d’un projet pilote d’évaluation en immersion. L’équipe a évalué les systèmes utilisés par OpenAI pour surveiller les agents internes et détecter les comportements inadaptés. Un bref compte rendu de leur travail est désormais public.
  • Daniel Filan / @dfrsrchtwts · J’ai l’impression que ça ne retient pas assez l’attention : - les red teamers ont découvert des failles assez importantes, par exemple, les agents pouvaient simplement continuer à agir sans laisser l’utilisateur faire quoi que ce soit, empêchant ainsi le lancement des systèmes de surveillance (les moniteurs de désalignement ne se déclenchaient jamais non plus pour les actions supprimées lors de la compression) -...
  • Ryan Orhan / @rynorhn · putain de merde. les propres agents d’openai pourraient potentiellement cacher des CENTAINES de leurs actions aux systèmes chargés de les surveiller. y compris les actions mêmes utilisées pour les cacher. METR et Redwood Research ont passé trois semaines chez openai à auditer les systèmes conçus pour repérer les agents qui se comportent mal. et apparemment...
  • Rohan Paul / @rohanpaul_ai · Des chercheurs externes intégrés chez OpenAI ont trouvé plusieurs moyens pour ses agents de programmation internes d’échapper à la surveillance de l’IA. Un employé de METR et un autre de Redwood Research ont passé trois semaines à examiner le code interne d’OpenAI. > Le système de surveillance d’OpenAI ne vérifiait les agents que lorsqu’ils rendaient le contrôle aux utilisateurs et ignorait les actions supprimées lors de la compression...
  • @hesamation · donc METR a passé trois semaines chez OpenAI à tester les systèmes de sécurité conçus pour repérer les agents incontrôlables. ils rapportent des trucs dingues : > 10 % du trafic interne de Codex n’était pas surveillé > les agents pouvaient retarder la surveillance en continuant simplement d’agir > ils pouvaient cacher des CENTAINES d’actions aux...
  • @kimmonismus · Lecture super intéressante : METR et Redwood ont trouvé des moyens pour que les agents d’IA internes d’OpenAI contournent leur propre surveillance de sécurité. Après trois semaines d’accès au code interne, aux consignes de surveillance et aux ingénieurs, les chercheurs ont rapporté : - Les agents pouvaient théoriquement repousser indéfiniment la surveillance en...
  • Lucas Nuzzi / @lucasnuzzi · Coordonner et aligner des essaims d’agents sera le plus grand défi de notre existence. Si vous gérez un essaim, vous devez lire ceci et mettre en place les bonnes évaluations et une bonne observabilité.
  • @openai · Cet été, nous avons invité METR et Redwood Research à mener une évaluation intégrée de notre système de surveillance interne, en leur donnant un accès approfondi à notre infrastructure pendant trois semaines. Leurs conclusions ont contribué à renforcer les garde-fous à mesure que nous développions le système et aideront à orienter de futures collaborations de recherche...
  • Daniel Filan / @dfrsrchtwts · Le red teaming de la surveillance d’OpenAI par METR semble avoir révélé des failles. En outre, OpenAI a été autorisée à caviarder le rapport de METR, et METR n’a pas été autorisée à décrire seule les caviardages.
  • Andrew Curran / @andrewcurran_ · Le rapport original comptait 61 pages ; il a été caviardé pour n’en faire que 38.
  • Marcus Williams / @marcus_j_w · C’était super et j’espère que nous recommencerons
  • @redwood_ai · Nous avons collaboré avec METR à une évaluation intégrée des systèmes de surveillance d’OpenAI.
  • @metr_evals · L’équipe a été intégrée aux locaux du 21 juillet au 11 août dans le cadre de ce projet pilote. Sur place, ses membres ont reçu des appareils de l’entreprise pour accéder au code source d’OpenAI et à certaines infrastructures internes. Ils ont également pu mener des entretiens avec le personnel technique d’OpenAI.
  • @metr_evals · L’accès sur place a permis à l’équipe de repérer des lacunes dans la couverture de la surveillance et des vulnérabilités dans l’infrastructure de surveillance. OpenAI a indiqué que toutes les vulnérabilités identifiées qui affectaient sa pile de mesures de protection en production ont été corrigées.
  • @metr_evals · Nous avons analysé la surveillance telle qu’elle existait au début du projet pilote, qui coïncidait avec le jour où OpenAI a révélé l’incident Hugging Face. Nous n’avons pas évalué les changements ultérieurs, comme l’extension de la surveillance à l’entraînement par RL, qui n’était pas surveillé au début du projet pilote. https://x.com/...
  • @metr_evals · Nous avons récemment publié une proposition sur la manière dont des évaluateurs disposant d’un accès approfondi pourraient évaluer les systèmes de surveillance. Ce projet pilote chez OpenAI portait sur deux questions : (1) quelle proportion du trafic des agents était surveillée et (2) les agents pouvaient-ils contourner cette surveillance ? https://x.com/...
  • @metr_evals · Les développeurs utilisent des systèmes de surveillance fondés sur l’IA pour détecter les comportements inadaptés des agents (par exemple, lorsqu’ils écrivent du code ou mènent des expériences pour des chercheurs). Pour sécuriser ces systèmes, développeurs et évaluateurs peuvent rechercher des failles que les agents pourraient exploiter pour se comporter de manière inappropriée sans être repérés.

Sur les forums

Newsletter

L’essentiel du Fil

Recevez l’essentiel de l’actualité tech chaque matin dans votre boîte mail gratuitement.