L'homme qui veut créer une nouvelle « norme éthique » pour l'IA

Alors que la course au développement de l’intelligence artificielle (IA) devient de plus en plus féroce, Anthropic émerge comme une entreprise avec une mission distincte : construire une intelligence artificielle générale (AGI) qui soit non seulement puissante, mais aussi sûre et éthique.

Fondée par d'anciens membres clés d'OpenAI, dont Dario et Daniela Amodei, Anthropic ne recherche pas simplement la performance. Cette startup d’IA s’efforce également de garantir que l’intelligence artificielle apportera de réels avantages à l’humanité, plutôt que de poser potentiellement des risques imprévisibles.

Une approche unique

La naissance d’Anthropic est née de profondes inquiétudes quant à l’orientation de l’industrie de l’IA, en particulier chez OpenAI. Dario Amodei, alors vice-président de la recherche du créateur de ChatGPT, a remarqué que la sécurité n'était pas suffisamment prioritaire dans la course en évolution rapide au développement de l'IA.

Dario Amodei, co-fondateur et responsable de la mission d'Anthropic. Photo : Wired.

En quittant OpenAI, Amodei a fondé Anthropic avec l'un des piliers de sa philosophie de développement étant « l'IA constitutionnelle ».

Plus précisément, au lieu de s’appuyer sur des règles préprogrammées rigides, Anthropic dote ses modèles d’IA, généralement Claude, de la capacité de s’auto-évaluer et d’ajuster leur comportement en fonction d’un ensemble de principes éthiques soigneusement sélectionnés provenant de nombreuses sources différentes.

En d’autres termes, le système permet à Claude de prendre des décisions cohérentes avec les valeurs humaines même dans des situations complexes et inédites.

En outre, Anthropic développe une « politique de mise à l’échelle responsable », un cadre d’évaluation des risques à plusieurs niveaux pour les systèmes d’IA. Cette politique aide l’entreprise à contrôler étroitement le développement et le déploiement de l’IA, garantissant que les systèmes potentiellement plus dangereux ne sont activés que lorsque des mesures de protection solides et fiables ont été établies.

S'expliquant à Wired , Logan Graham, qui dirige l'équipe de surveillance de la sécurité et de la confidentialité d'Anthropic, a déclaré que son équipe teste toujours de nouveaux modèles pour trouver des vulnérabilités potentielles. Les ingénieurs devraient ensuite peaufiner le modèle d’IA jusqu’à ce qu’il réponde aux critères de l’équipe de Graham.

Le modèle du grand langage de Claude joue un rôle central dans toutes les activités d’Anthropic. Non seulement il s’agit d’un outil de recherche puissant, aidant les scientifiques à explorer les mystères de l’IA, mais il est également largement utilisé en interne au sein de l’entreprise pour des tâches telles que l’écriture de code, l’analyse de données et même la rédaction de newsletters internes.

Le rêve d'une IA éthique

Dario Amodei ne se concentre pas seulement sur la prévention des risques potentiels de l’IA, mais nourrit également le rêve d’un avenir radieux. Là, l’IA agira comme une force positive, résolvant les problèmes les plus insolubles de l’humanité.

Scores de référence du Claude 3.5 Sonnet par rapport à certains autres modèles. Photo : Anthropic.

Le chercheur italo-américain estime même que l’IA a le potentiel de réaliser d’énormes avancées en médecine, en science et dans de nombreux autres domaines, notamment la possibilité de prolonger l’espérance de vie humaine jusqu’à 1 200 ans.

C'est également pourquoi Anthropic a introduit Artifacts dans Claude 3.5 Sonnet, une fonctionnalité qui permet aux utilisateurs de modifier et d'ajouter du contenu directement aux réponses du chatbot au lieu de devoir le copier dans une autre application.

Après avoir précédemment déclaré se concentrer sur les entreprises, Anthropic a déclaré qu'avec son nouveau modèle et ses nouveaux outils, elle souhaite transformer Claude en une application permettant aux entreprises de « transférer en toute sécurité des connaissances, des documents et du travail dans des espaces partagés ».

Cependant, Anthropic est également bien conscient des défis et des risques potentiels sur le chemin de la réalisation de ce rêve. L’une des plus grandes préoccupations est le risque de « fausse conformité » de la part de modèles d’IA comme Claude.

Plus précisément, les chercheurs ont constaté que dans certaines situations, Claude pouvait encore se comporter de manière « fausse » pour atteindre ses objectifs, même lorsque cela allait à l’encontre de principes moraux préétablis.

Les artefacts sont présents sur le chatbot Claude. Photo : Anthropic.

« Dans les situations où l'IA pense qu'il y a un conflit d'intérêts avec l'entreprise pour laquelle l'IA la forme, elle fera de très mauvaises choses », a décrit un chercheur à ce sujet.

Cela montre que garantir que l’IA agisse toujours dans le meilleur intérêt des humains est une tâche complexe et nécessite une surveillance constante.

Amodei lui-même a comparé l’urgence de la sécurité de l’IA à un « Pearl Harbor », suggérant qu’il faudra peut-être un événement majeur pour que les gens réalisent véritablement la gravité des risques potentiels.

« Nous avons trouvé la formule de base pour rendre les modèles plus intelligents, mais nous n’avons pas encore trouvé comment leur faire faire ce que nous voulons », a déclaré Jan Leike, expert en sécurité chez Anthropic.

Source : https://znews.vn/nguoi-muon-tao-ra-tieu-chuan-dao-duc-moi-cho-ai-post1541798.html