このAI専門家は今年初め、自身が設立者の一人であったOpenAIを離れ、Safe Superintelligence Inc.という自身のAI研究所を設立した。

「私たちが知っているような事前トレーニングは存在しなくなるだろう」と、スツケバー氏は神経情報処理に関する会議で語った。

「事前トレーニング」という用語は、AI モデル開発の初期段階を指し、大規模な言語モデルが大量のラベルなしデータ (多くの場合、インターネット、書籍、その他のソースからのテキスト) からパターンを学習します。

データリソースの枯渇

サツケバー氏は、現在のデータは依然としてAI開発を加速させることができると信じているものの、業界ではモデルをトレーニングするための新たなリソースが不足していると述べた。

これは最終的には、今日の AI モデルのトレーニング方法の変化につながるだろうと彼は言います。

8da2491217a6b424c37773100bec59ff.jpeg
AI モデルは、限られた量のデータに基づいて自分自身をトレーニングする方法を見つけ出します。写真: Yahoo Tech

これは、化石資源、油田が限られた資源である場合、またはインターネットに含まれる人間が作成したコンテンツが限られた量だけである場合にも起こった、そして起こりつつある状況です。

「データはピークに達しており、今後はそれ以上のデータは得られないだろう」とスツケバー氏は語った。 「私たちは既存のデータ、現在のインターネットソースを使って作業しなければなりません。」

Sutskever 氏は、次世代のモデルは「真にエージェントベース」になると予測しています。 「エージェント」は AI 分野で人気のキーワードであり、タスクを自動的に実行し、意思決定を行い、ソフトウェアと独立して対話する AI システムとして理解されることが多いです。

同氏は、将来のAIシステムは「エージェントのような」ものであることに加え、推論する能力も持つようになると述べた。主にモデルが以前に学習した内容に基づいてパターンを認識する現在の AI とは異なり、将来の AI システムは、思考に近い方法で問題を段階的に解決できるようになります。 「推論が増えれば増えるほど、システムの予測可能性は低くなります」とSutskever氏は語った。

AIは独自のトレーニング方法を作り出すことができる

専門家はまた、動物の脳と体の大きさの関係を示す研究を引用し、AIシステムの開発を進化生物学と比較した。

たとえば、ほとんどの哺乳類は一定の比率パターンに従いますが、人間の脳と体の比率は著しく異なります。

そして、進化によって私たちの祖先の脳の成長速度が新たに発見された時点で、AI もスケールアップするための新たな方法を見つけ、現在のモデルのトレーニング方法を超える可能性があります。

（TheVerge、Yahoo Techによると）

xAIとOpenAIの「とてつもなく高い」給与を明らかにしたイーロン・マスク氏は、OpenAIが従業員に支払っている給与が高すぎると非難し、これを反競争的行為だと述べた。それでも、この億万長者のxAIスタートアップは平均をはるかに上回る給料を支払っている。