AIの未来はGoogleやOpenAIの手中にあるのではない

[広告_1]

これは最近公開された、検索大手の社内メモに記載された評価だ。また、この文書の中で、Google の幹部は、進行中の AI 競争に負ける可能性について深い懸念を表明しました。

グーグルの代表者は後にこの文書の信憑性を認め、これは社内関係者の意見に過ぎないとしたが、「自分たちはこの競争に勝てる立場になく、OpenAIも同様だ」と認めた。

検索大手は、オープンソースコミュニティが大手AI企業に勝ちつつあると指摘している。自社製品の品質はわずかに優位にあるものの、「その差は驚くほど急速に縮まりつつある」という。

資本規模は中心的な要素ではない

AIは、Microsoftと関連が深いスタートアップ企業OpenAIが開発したLLM（大規模言語モデル）をベースにしたチャットボットであるChatGPTの発売により、2022年後半から一般の人々の間で話題になっています。この製品の成功により、Google や他の多くのテクノロジー企業が LLM 競争に参入するようになりました。

LLM モデルは、インターネットから収集された数兆語の単語からトレーニングされ、人間のようなテキストや会話を生成します。このプロセスには数か月かかり、数千万ドルの費用がかかるため、AIが「裕福で強力な」テクノロジー企業によって支配されるのではないかという懸念が生じています。

オープンソースコミュニティによって開発された AI は、Google や OpenAI などの業界大手の真のライバルになりつつあります。

しかし、Google の社内メモでは、その仮定は間違っていることが示唆されています。オープンソースコミュニティの研究者は、無料のオンラインリソースを活用して、今日の最大の独自モデルに匹敵する結果を達成しています。

したがって、LLM は、低レベル適応、または LoRa と呼ばれる技術を通じて「微調整」することができ、これにより、LLM をゼロからトレーニングするよりもはるかに迅速かつ安価に、既存の LLM を特定のタスクに合わせて最適化することができます。

たとえば、3月にはFacebookの親会社Metaが作成したモデル「LLaMa」がオンラインで流出した。 LLaMa は、Google 最大の LLM の 5,400 億のパラメータと比較すると、わずか 70 億のパラメータと小さく、かなり「原始的」でしたが、すぐに改良され、一部のタスクでは ChatGPT のオリジナルバージョンに匹敵する結果を生み出すようになりました。

これは、「トレーニングとテストの障壁が、大規模な研究センターを必要とするものから、たった 1 人の人間と一晩、そして高性能のラップトップ 1 台を必要とするものまで多様化している」ため、AI 開発の将来に大きな影響を及ぼす可能性があります。

巨人ゴリアテと羊飼いのダビデの戦い

今では、LLM をわずか 100 ドルで数時間で微調整できます。柔軟で接続性が高く、低コストのモデルを備えた「オープンソース AI には、Google のような大企業が真似できない大きな利点があります」。したがって、この論文では、Google や OpenAI はこれらのオープンソースの競合他社に対して脆弱であると結論付けています。