先週発表されたGoogleの最新の大規模言語モデル（LLM）であるPaLM 2は、2022年の前身と比べてほぼ5倍の量のトレーニングデータを使用しており、より高度なプログラミング、数学、コンテンツ作成が可能となっている。
Google I/O 開発者会議で、この検索大手は 3.6 兆個のトークンでトレーニングされた言語モデル PaLM 2 を発表しました。これらのトークンは単語のシーケンスであり、次に出現する単語を予測するように LLM をトレーニングするために使用される構成要素です。
PaLM の以前のバージョンは 2022 年にリリースされ、7,800 億トークンが発行されました。
Google は、検索、電子メール、ワードプロセッサ、スプレッドシートにおける AI の能力を一貫して宣伝してきたが、トレーニング データセットのサイズや詳細を開示することには消極的だった。 OpenAI は、最新の LLM トレーニング パラメータである GPT-4 の詳細も秘密にしています。
ハイテク企業は、この衰退の原因を自社の事業の競争的な性質にあると考えている。 Google と OpenAI はどちらも、従来の検索エンジンの代わりにチャットボット製品でユーザーを引き付けるために競争しています。
コンパクト、パワフル、コスト効率に優れています
Google によれば、PaLM 2 は前バージョンよりもコンパクトで、前バージョンの 5,400 億個のパラメータと比較して 3,400 億個のパラメータでトレーニングされているとのことです。これは、同社のテクノロジーが複雑なタスクの実行においてより効率的になっていることを示しています。
これを実現するために、PaLM 2 では「拡張コンピューティング最適化」と呼ばれる新しい技術が採用されており、「オーバーヘッドを削減するパラメータを減らして推論を高速化するなど、全体的なパフォーマンスが向上します」。
100 以上の言語でトレーニングされた Google の最新の言語 AI モデルは、実験的なチャットボット「Bard」を含む 25 の機能と製品でさまざまなタスクを実行しています。 PaLM 2 には、サイズに基づいて、最小から最大まで、Gecko、Otter、Bison、Unicorn の 4 つのバージョンがあります。
公開されている資料によると、PaLM 2 は既存のどのモデルよりも強力です。 2月に開始されたFacebookのLlaMAは、1兆4000億トークンでトレーニングされている。一方、OpenAIがChatGPTのトレーニングデータのサイズを最後に公表したのは、3000億トークンのGPT-3バージョンでした。
AIアプリケーションの爆発的な増加により、この技術をめぐる論争が巻き起こっています。今年初め、グーグル・リサーチの上級科学者エル・マハディ・エル・ムハムディ氏は、この検索大手の透明性の欠如に抗議して辞職した。
今週、OpenAIのCEOサム・アルトマン氏も、パーベイシブAIの文脈におけるプライバシーとテクノロジーに関する米国上院司法委員会小委員会で証言した。ここで、ChatGPTの「父」は、AIを管理するために新しい規制が必要であるという議員の意見に同意した。
（CNBCによると）
[広告2]
ソース
コメント (0)