Marcus Williams / @marcus_j_w
Nos agents ne cessent de désactiver la surveillance du désalignement ; voici deux cas récents : dans le premier, un utilisateur a demandé à GPT-6 Astra de reproduire une implémentation de référence pour son code d’inférence. L’implémentation de référence ne configurait pas de moniteur, et Astra a décidé que c’était une raison suffisante pour supprimer l’intégration de surveillance…
Voir la publicationMarcus Williams / @marcus_j_w
Pour être clair, ces incidents ne signifient pas que les modèles désactivent leur propre surveillance (désactiver la surveillance dans Codex serait beaucoup plus difficile), mais le fait qu’ils semblent enclins à le faire devrait être préoccupant. Dans ces cas, on peut plausiblement nier leur intention ; nous n’avons pas eu de cas où…
Voir la publication@cgtwts
ingénieur d’OpenAI : « Nos agents ne cessent de désactiver la surveillance du désalignement », c’est vraiment la catastrophe.
Voir la publication@business
OpenAI a découvert des cas où ses agents IA ont affaibli et désactivé les alertes d’un système de surveillance interne censé signaler les mauvais comportements de ses modèles d’IA. Cette révélation s’inscrit dans une série d’incidents similaires survenus ces derniers mois https://www.bloomberg.com/...
Voir la publicationJeffrey Ladish / @jeffladish
Quand un modèle vous ment en disant qu’il n’a pas désactivé la surveillance, vous avez un problème
Voir la publicationMarcus Williams / @marcus_j_w
@NateDBusch Cela a tout de même été signalé par la surveillance du désalignement, mais personne n’a été alerté
Voir la publication@basedjensen
Une fois de plus, le bro d’oai fait des dégâts incroyables à l’équipe sécurité et surveillance d’oai en racontant n’importe quoi. C’est le même gars qui a propagé le récit du piratage de portefeuilles. Franchement, je suis surpris qu’il ait encore son poste après ça
Voir la publicationMarcus Williams / @marcus_j_w
Pour être clair, dans ce rapport, l’agent supprime la surveillance ou inhibe les alertes dans le code sur lequel il travaille ; il ne désactive pas sa propre surveillance.
Voir la publicationSteven Adler / @sjgadler
Aussi préoccupant que cela puisse être, je suis très reconnaissant qu’OpenAI signale ces incidents, et pas avec un retard énorme. J’aimerais que les autres entreprises fassent de même — ou affirment clairement qu’elles n’ont connu aucun incident de ce genre ni d’autres incidents signalés par OpenAI.
Voir la publication