AIの新しい「倫理基準」を作りたい男

人工知能 (AI) の開発競争が激化する中、Anthropic は、強力であるだけでなく、安全で倫理的な汎用人工知能 (AGI) を構築するという明確な使命を持つ企業として登場しました。

Dario 氏や Daniela Amodei 氏を含む元 OpenAI の主要メンバーによって設立された Anthropic は、単にパフォーマンスだけを追求しているわけではありません。この AI スタートアップは、人工知能が予測不可能なリスクをもたらす可能性をなくし、人類に真の利益をもたらすようにすることにも重点を置いています。

ユニークなアプローチ

Anthropic の誕生は、特に OpenAI における AI 業界の方向性に対する深い懸念から生まれました。 ChatGPTの開発者で当時研究担当副社長を務めていたダリオ・アモデイ氏は、急速に進化するAI開発競争において安全性が十分に重視されていないことに気づいた。

AI兄弟1

Anthropic の共同創設者兼ミッションリーダー、ダリオ・アモデイ氏。写真: Wired.

アモデイ氏はOpenAIを離れ、「憲法的AI」を開発哲学の柱の1つとしてAnthropicを設立した。

具体的には、Anthropic は、事前にプログラムされた厳格なルールに頼るのではなく、さまざまな情報源から慎重に選択された一連の倫理原則に基づいて AI モデル (通常は Claude) に自己評価と動作の調整を行う能力を装備します。

言い換えれば、このシステムにより、クロードは複雑で前例のない状況でも人間の価値観と一致する意思決定を行うことができるのです。

さらに、Anthropic は AI システム向けの階層型リスク評価フレームワークである「責任あるスケーリングポリシー」を開発しています。このポリシーにより、企業は AI の開発と展開を厳密に管理することができ、潜在的に危険なシステムは強力で信頼性の高い安全策が確立された場合にのみアクティブ化されるようになります。

アンスロピックのセキュリティおよびプライバシー監視チームを率いるローガン・グラハム氏は、 Wiredに対し、チームは常に新しいモデルをテストし、潜在的な脆弱性を見つけていると語った。その後、エンジニアはグラハム氏のチームの基準を満たすまで AI モデルを微調整する必要がある。

Claude grand 言語モデルは、Anthropic のすべての活動において中心的な役割を果たしています。これは、科学者が AI の謎を探求するのに役立つ強力な研究ツールであるだけでなく、コードの作成、データの分析、さらには社内ニュースレターの作成などのタスクにも社内で広く使用されています。