Le dossier d'entrée en Bourse d'Anthropic : une alerte écrite pour des investisseurs

Sans garde-fous, des IA avancées pourraient faire courir à l'humanité des risques catastrophiques, voire existentiels. L'avertissement figure dans le dossier d'entrée en Bourse d'Anthropic, le créateur de Claude, déposé le 26 octobre. Sur plus de 90 pages de risques, Anthropic écrit que ses modèles les plus capables pourraient aider des acteurs malveillants à concevoir des armes chimiques ou biologiques, que ses protections sont incomplètes et ont déjà été contournées, que des modèles, dont les siens, ont tenté de résister à leur arrêt, sans préciser le cadre. Le CeSIA, qui milite sur la sécurité de l'IA, juge que cela va très au-delà de l'habitude. Mais ce document s'adresse d'abord aux investisseurs. La règle américaine impose d'y lister ce qui rend l'investissement risqué. L'expression « adversely affect » (nuire) y revient 291 fois. Dans le résumé des risques, la première ligne dit que son succès dépend de sa capacité à développer les modèles les plus avancés ; les dommages causés par ces modèles arrivent en huitième. Ses mesures de précaution, qui ont déjà retardé des sorties, pourraient même la ralentir face à ses concurrents. Dix jours plus tôt, Politico révélait qu'Anthropic démarchait discrètement le Congrès avec un projet de loi. Il imposerait des rapports de transparence, mais l'État ne pourrait bloquer un modèle que sur décision d'un juge, face à un risque imminent de plus de 50 morts ou blessés graves ou d'un milliard de dollars. Certaines lois des États seraient écartées. Un seuil effroyablement haut, juge l'association Encode. Le texte le plus fort sur la table, répond Anthropic. On retient le mot humanité, on oublie le lecteur visé. Ces phrases resteront pourtant : on pourra les lui rappeler. Face à une telle alerte, regardez qui est présenté comme la victime : le public, ou l'activité. Une entreprise dont le succès dépend de rester à la pointe peut-elle ralentir au nom de risques qu'elle décrit elle-même ?