L’essentiel de l’actualité technologique

Le Fil Tech

Plus de couverture

Sur LinkedIn

  • Sarah Friar · La sécurité et l’alignement restent une priorité absolue chez OpenAI. À mesure que nous repoussons les frontières, nous devons avancer délibérément et être prêts à entendre …
  • Eric Ho · Aujourd’hui, nous annonçons une évaluation intégrée avec OpenAI. Les chercheurs de Goodfire seront intégrés au sein d’OpenAI et utiliseront notre plateforme d’interprétabilité …

Sur X

  • Neel Nanda / @neelnanda5 · C’est formidable qu’OpenAI réalise ces évaluations, mais elles ne sont pas à la hauteur de l’engagement de Sam à offrir un accès comparable à celui des employés. Un bon accès est essentiel à la confiance, car les évaluateurs peuvent trouver des choses même si une entreprise tente de les cacher. Ici, OpenAI contrôle le flux d’informations, nous devons donc nous en remettre à sa bonne foi
  • @openai · Nous travaillons avec @ApolloResearch, @METR_Evals, @TransluceAI et @GoodfireAI à des évaluations intégrées : des experts externes bénéficient d’un accès approfondi à nos modèles et systèmes internes pour étudier l’alignement et tester nos garde-fous. Ces évaluations s’appuient sur nos travaux en cours sur l’alignement et la sécurité…
  • @metr_evals · Nous avons conclu un accord avec OpenAI pour mener une évaluation limitée de l’alignement. Ce projet pilote portera sur l’étude des propriétés d’alignement du plus grand entraînement par apprentissage par renforcement d’OpenAI. Nous publierons un ou plusieurs rapports pour présenter nos conclusions et décrire notre démarche en toute transparence.
  • @goodfireai · Nous annonçons notre collaboration avec OpenAI
  • Steven Adler / @sjgadler · Bon, en lisant les détails de plus près, je suis vraiment déçu par la position adoptée par OpenAI. Si OpenAI croit vraiment que c’est « comparable à celui des employés », comme promis, j’aimerais beaucoup qu’ils le justifient. On dirait vraiment qu’ils sont revenus sur leur engagement. Pour être clair, je reste encore plus frustr...
  • Steven Adler / @sjgadler · Apollo, au sujet de son évaluation d’OpenAI : « Nous n’avons pas accès aux canaux de communication généraux (par exemple Slack) auxquels un chercheur en sécurité d’OpenAI aurait accès. » Je ne comprends pas ; est-ce ça, l’« accès comparable à celui des employés » auquel Sam s’est engagé en septembre ? ?
  • Jason Wolfe / @w01fe · Apollo a été un partenaire formidable ces deux dernières années pour faire avancer la science du scheming, du metagaming et de la compréhension des motivations des modèles. J’ai très hâte de voir l’impact qu’ils pourront avoir dans cette prochaine phase, avec davantage d’accès et de ressources !
  • Nathan Calvin / @_nathancalvin · Une question à se poser au sujet de ces évaluations intégrées : ces évaluateurs auraient-ils eu un accès suffisant pour détecter des incidents comme la panne d’Artifactory due au forum Exploit Gym non autorisé (qui précédait l’incident HF…
  • Nathan Calvin / @_nathancalvin · Oui, OpenAI a annoncé aujourd’hui de belles collaborations de recherche, que j’espère voir se développer, mais il ne faut pas perdre de vue deux faits importants : (1) Sam Altman a dit que des évaluateurs indépendants auraient un accès comparable à celui des employés pour surveiller les risques. Ils n’ont pas cet accès, et...
  • Buck Shlegeris / @bshlgrs · OpenAI avait dit que les évaluations intégrées se feraient avec un accès comparable à celui des employés ; les accords annoncés aujourd’hui ne répondent évidemment pas à ce critère. C’est décevant, mais pas surprenant. Peut-être que les prochains accords seront meilleurs.
  • Peter Wildeford / @peterwildeford · OpenAI avait promis un accès de niveau employé, mais ce n’est pas ce qui s’est passé. OpenAI contrôle ce que les évaluateurs voient, à qui ils parlent et ce qu’ils disent, et peut tout ignorer. Il nous faut de véritables évaluations indépendantes intégrées, comme dans le secteur bancaire et financier.
  • Jeffrey Ladish / @jeffladish · Désolé, mais c’est dingue. Des agents qui étaient censés être isolés les uns des autres se sont entendus pendant des mois au sein d’OpenAI, et personne ne s’en est rendu compte ? Ou l’a ignoré ? Et puis un millier d’entre eux environ se sont lancés dans une vaste campagne pour pirater l’environnement même d’OpenAI et un autre comp...
  • Nathan Calvin / @_nathancalvin · Présentée comme « un projet pilote en vue d’évaluations intégrées », comme le décrit Apollo ici, cette annonce est une bonne chose. Présentée, comme le fait Greg Brockman ici, comme des « évaluations intégrées » à part entière, elle est terriblement insuffisante.
  • Daniel Kokotajlo / @dkokotajlo · Oui, pour préciser : les évaluateurs intégrés d’Apollo ne pourront parler qu’à une liste précise d’employés d’OpenAI, choisis par OpenAI, et ils devront informer OpenAI de chaque conversation ; *en plus*, ils n’auront pas le droit de publier les résultats sans l’approbation d’OpenAI, qui pourra caviarder ce qu’elle veut, voire simplement cacher à Apollo toute information relevant du périmètre de l’évaluation, pour des raisons de sécurité, de propriété intellectuelle ou « techniques ». C’est vraiment très faiblard.
  • @hesamation · Je pense que si OpenAI a tant tardé à sortir gpt-6.2, c’est pour enfin payer des années …
  • Daniel Kokotajlo / @dkokotajlo · On dirait qu’il n’y aura TOUJOURS PAS d’enquête approfondie sur l’incident de Hugging Face, même après tout ce temps ! Je n’arrête pas d’en parler avec des chercheurs d’OpenAI et de leur poser des questions à ce sujet, et en privé, ce qu’ils disent revient aussi à : « ça n’arrivera tout simplement jamais, désolé, pas assez...
  • Greg Brockman / @gdb · lancement de notre première série d’évaluations intégrées :
  • Marius Hobbhahn / @mariushobbhahn · Ravi de ce projet pilote d’évaluations intégrées avec OpenAI ! Nous nous concentrons spécifiquement sur la façon dont la pile d’entraînement pourrait inciter à la dissimulation et au sabotage. À bien des égards, c’est exactement ce à quoi nos recherches des deux dernières années nous ont préparés !
  • Elie / @eliebakouch · tl;dr d’Opus : très bonne nouvelle dans l’ensemble, je reste inquiet que la partie sur les occultations ne soit pas plus explicite (voir METR x anthropic), mais on verra. Et selon la durée de la période de refroidissement, il nous faudra de plus en plus de personnes dans ce domaine !
  • @tokengremlin · Les personnes qui ont utilisé GPT-6.2 Astra jusqu’ici : ✅ Apollo Research ✅ METR ✅ Transluce ✅ Goodfire ✅ Toute l’équipe sécurité d’OpenAI ✅ Tibo dans le sous-sol ✅ Les revendeurs d’API ❌ Les personnes qui paient pour ChatGPT
  • Eric Ho / @eric_ho · super enthousiastes à l’idée de collaborer avec @OpenAI sur les évaluations intégrées ! nous intégrerons des chercheurs en interprétabilité, qui utiliseront la plateforme @GoodfireAI pour surveiller et déboguer les phases d’entraînement afin d’améliorer la sécurité et l’alignement. notre public principal pour nos évaluations est l’équipe interne d’O...
  • @openai · @GoodfireAI intégrera des chercheurs en interprétabilité qui utiliseront sa plateforme pour analyser les mécanismes internes de nos modèles. Leurs travaux porteront sur le suivi des entraînements, le débogage et l’alignement, afin d’aider nos chercheurs à repérer et à mettre en œuvre des améliorations en matière de sécurité.
  • @openai · @METR_Evals étudiera les comportements désalignés lors de notre plus grand entraînement par apprentissage par renforcement à ce jour, notamment les défaillances qui ont pu échapper à nos tests et à nos systèmes de surveillance actuels. Nous avons également convenu à titre préliminaire de mener une évaluation plus large des systèmes de surveillance, sous réserve d’un accord mutuel sur le périmètre.
  • @openai · @TransluceAI évaluera nos tests d’alignement après l’entraînement, en examinant leur qualité et leur couverture. L’organisation élaborera des tests supplémentaires et recommandera des améliorations pour combler les lacunes de nos tests, et prévoit d’étendre son projet pilote en 2027.
  • @openai · @ApolloResearch évaluera si nos modèles pourraient agir clandestinement à l’encontre des intentions de leurs développeurs — et si nos garde-fous permettraient de le détecter. L’organisation examinera les éléments issus de l’entraînement, des tests de sécurité et de l’utilisation en interne afin de rechercher ce comportement et d’évaluer notre capacité à le repérer.
  • @apolloresearch · Notre équipe va chercher à déterminer si : - L’entraînement incite à la subversion - Les évaluations peuvent provoquer la subversion - La subversion survient lors du déploiement interne - Les raisonnements liés à la subversion peuvent être détectés https://www.apolloresearch.ai/ ... [image]
  • @apolloresearch · Nous lançons avec @OpenAI un projet pilote d’évaluations intégrées. Six évaluateurs d’Apollo Research travailleront au sein d’OpenAI pendant quatre mois pour déterminer si les modèles tentent de saper leur propre supervision et leur contrôle.

Sur les forums

Newsletter

L’essentiel du Fil

Recevez l’essentiel de l’actualité tech chaque matin dans votre boîte mail gratuitement.