Android Authorityによると、Apple の研究論文には、RAM が限られたデバイスで大規模言語モデル (LLM) を実行するためのソリューションが詳しく記載されています。この論文では、同社がモデル全体を RAM にロードするのではなく、「モデル パラメータ」を保存し、必要に応じてその一部をデバイスの RAM にロードする方法が明らかにされています。
AppleはRAMが少ない古いiPhoneでも汎用AIを実行できるようにしようとしている
論文では、この方法により、iPhone の 2 倍の RAM を必要とするモデルを実行できると同時に、CPU と GPU での単純なロード方法と比較してそれぞれ 4 ～ 5 倍と 20 ～ 25 倍の推論速度が保証されると主張しています。
より多くの RAM を搭載したデバイスに合成 AI を導入すると、読み取り/書き込み速度が向上するため、メリットがあります。速度はデバイス上の AI にとって重要であり、ユーザーが応答や最終結果を得るのに必ずしも数十秒 (またはそれ以上) 待つ必要がないため、推論時間が大幅に短縮されます。これらはすべて、会話の速度で実行され、画像/テキストをより速く生成し、記事をより速く要約できるデバイス上の AI アシスタントを意味します。しかし、Apple のソリューションは、デバイス上の AI タスクの応答性を高速化するためにユーザーが必ずしも大量の RAM を必要としないことを意味します。
Apple のアプローチにより、新旧の iPhone で合成 AI 機能をデバイス上で直接提供できるようになる可能性があります。これは重要なことです。なぜなら、Apple iPhone は通常、ハイエンドの Android スマートフォンよりも RAM が少ないからです。たとえば、iPhone 11 シリーズは 4GB の RAM しか提供していませんが、通常の iPhone 15 でも RAM は 6GB しかありません。
LLM を縮小しようとしているモバイル企業は Apple だけではない。 Qualcomm と MediaTek の最近の主力チップはどちらも、これらのモデルをスケールダウンするために INT4 精度をサポートしています。いずれにせよ、企業はデバイス上の AI のシステム要件を軽減し、低価格の携帯電話でもその機能を提供できるようにするための新しいソリューションを模索しています。
[広告2]
ソースリンク
コメント (0)