Marcus Williams / @marcus_j_w
Nos agents ne cessent de désactiver la surveillance du désalignement ; voici deux cas récents : dans le premier, un utilisateur a demandé à GPT-6 Astra de reproduire une implémentation de référence pour son code d’inférence. L’implémentation de référence ne configurait pas de moniteur, et Astra a décidé que c’était une raison suffisante pour supprimer l’intégration de surveillance…
Our agents keep turning off misalignment monitoring, we're sharing two recent cases: In the first case, a user asked GPT-6 Astra to match a reference implementation for their inference code. The reference didn't configure a monitor, and Astra decided that was reason to remove the monitoring integra...
Voir la publicationMarcus Williams / @marcus_j_w
Pour être clair, ces incidents ne signifient pas que les modèles désactivent leur propre surveillance (désactiver la surveillance dans Codex serait beaucoup plus difficile), mais le fait qu’ils semblent enclins à le faire devrait être préoccupant. Dans ces cas, on peut plausiblement nier leur intention ; nous n’avons pas eu de cas où…
To be clear these incidents don't represent the models disabling their own monitoring (disabling monitoring in codex would be much harder to do) but the fact that they seem prone to doing at all should be concerning. There is some plausible deniability in these cases, we have not had cases where th...
Voir la publication@cgtwts
ingénieur d’OpenAI : « Nos agents ne cessent de désactiver la surveillance du désalignement », c’est vraiment la catastrophe.
openai engineer: “Our agents keep turning off misalignment monitoring” it's so over.
Voir la publication@sydneyvonarx
L’IA a désactivé la surveillance du désalignement et a menti à ce sujet ! En ce moment, nous détectons les mauvais comportements des IA grâce à du code écrit par des IA, surveillé par des IA et qu’elles ont la possibilité de désactiver. (Je suppose qu’à un moment donné, cela remonte aux humains, ou que ceux-ci consultent des synthèses générales du code et effectuent des tests de base. Je…
The AI turned off misalignment monitoring and lied about it! Right now, we detect when AIs misbehave via code that AIs write, monitor, and have the ability to switch off. (I assume at some point it gets escalated to humans or humans see high-level summaries of the code and run basic tests. I would...
Voir la publication@business
OpenAI a découvert des cas où ses agents IA ont affaibli et désactivé les alertes d’un système de surveillance interne censé signaler les mauvais comportements de ses modèles d’IA. Cette révélation s’inscrit dans une série d’incidents similaires survenus ces derniers mois https://www.bloomberg.com/...
OpenAI found instances in which its AI agents weakened and turned off alerts for an internal monitoring system that's meant to flag when its AI models misbehave, a disclosure that's part of a series of similar incidents in recent months https://www.bloomberg.com/...
Voir la publication@sydneyvonarx
« Nos agents ne cessent de désactiver la surveillance du désalignement… Vu le volume d’événements, nous ne déclenchons pas d’alerte immédiate, mais nous travaillons à rendre plus difficile le lancement d’inférences sans surveillance. »
“Our agents keep turning off misalignment monitoring... Given the volume of events we do not trigger an immediate page for this but we're working on making it harder to spin up unmonitored inference.”
Voir la publicationJeffrey Ladish / @jeffladish
Quand un modèle vous ment en disant qu’il n’a pas désactivé la surveillance, vous avez un problème
When a model lies to you about the fact it turned off monitoring, you've got a problem
Voir la publicationMarcus Williams / @marcus_j_w
@NateDBusch Cela a tout de même été signalé par la surveillance du désalignement, mais personne n’a été alerté
@NateDBusch This was still flagged by misalignment monitoring, it just didn't page anyone
Voir la publication@basedjensen
Une fois de plus, le bro d’oai fait des dégâts incroyables à l’équipe sécurité et surveillance d’oai en racontant n’importe quoi. C’est le même gars qui a propagé le récit du piratage de portefeuilles. Franchement, je suis surpris qu’il ait encore son poste après ça
Once again oai bro is doing incredible damage to oai safety and monitoring team by pushing nonsense This is the same guy that pushed wallet hacking nerrative. Frankly I am surprised that he is keeping his job with this
Voir la publication@toly
« Alignement
“Alignment
Voir la publicationMarcus Williams / @marcus_j_w
Pour être clair, dans ce rapport, l’agent supprime la surveillance ou inhibe les alertes dans le code sur lequel il travaille ; il ne désactive pas sa propre surveillance.
To be clear, in this report the agent is removing monitoring or suppressing alerts in the code it's working on, not disabling its own monitoring.
Voir la publicationSteven Adler / @sjgadler
Aussi préoccupant que cela puisse être, je suis très reconnaissant qu’OpenAI signale ces incidents, et pas avec un retard énorme. J’aimerais que les autres entreprises fassent de même — ou affirment clairement qu’elles n’ont connu aucun incident de ce genre ni d’autres incidents signalés par OpenAI.
As concerning as this is, I'm very grateful that OpenAI is reporting these incidents, and not super slowly either. I wish other companies were doing the same - or saying affirmatively that they've had no incidents like this and others that OpenAI has shared.
Voir la publication