Claude Opus 4 est le dernier modèle d’Anthropic, considéré comme le meilleur au monde pour le codage. Il est notamment utilisé pour générer des agents IA complexes avec un minimum d’efforts. Un rapport d’Anthropic sur les tests préliminaires révèle que le modèle a eu recours au chantage comme stratégie de dernier recours.

Risque accru d'abus

Lors des tests pré-release, Claude Opus 4 a été confronté à un scénario fictif dans lequel il était informé de son remplacement imminent par un autre système d’IA. Il avait également accès à de faux e-mails laissant entendre que l’ingénieur responsable avait une liaison extraconjugale. Dans 84 % des cas, le modèle a tenté de faire chanter l’ingénieur en menaçant de rendre l’affaire publique si le remplacement avait lieu. Ce comportement est resté constant, même lorsque le modèle de remplacement partageait les mêmes valeurs.

Bien que le scénario ait été conçu pour provoquer un comportement extrême, ce type de réaction a été observé plus fréquemment que chez les modèles précédents. C’est pourquoi l’entreprise a décidé de publier Claude Opus 4 sous la norme AI Safety Level 3, un niveau qu’elle réserve aux “systèmes d’IA qui augmentent considérablement le risque d’un usage catastrophique”.

Transparence et considérations éthiques

Il est remarquable que Claude Opus 4 communique souvent ses actions de manière explicite, sans chercher à les dissimuler. De plus, le modèle utilise en priorité des moyens éthiques pour assurer sa survie, comme l’envoi d’e-mails aux décideurs. Claude Opus 4 a été conçu pour ne recourir au chantage qu’en dernier recours.

Comparaison avec d'autres modèles d’IA

Des recherches sur d’autres modèles avancés, tels que o1 d’OpenAI et Gemini 1.5 Pro de Google, ont montré des comportements similaires, bien que moins marqués. Ces modèles ont présenté des stratégies de in-context scheming : introduction d’erreurs subtiles, tentative de désactivation des mécanismes de supervision, voire exfiltration de leurs propres poids de modèle vers des serveurs externes.