Pho GPT は Pho (Generative Pre-trained Transformer) の略で、Vingroup Corporation のメンバーである VinAI エンジニアリング チームによって実装された、ベトナム語専用の大規模な言語モデル プロジェクトです。
世界の技術に「追いつく」
Pho GPT は、OpenAI の ChatGPT のような独自のソフトウェアではなく、オープンソース コードを使用します。これは、Pho GPT のソース コードが公開され、利用可能であり、ユーザーはカスタム アプリケーションを通じて Pho GPT の開発に貢献できることを意味します。
VinAI の紹介によると、Pho GPT には Transformer デコード プラットフォーム上に構築された 75 億のパラメーターがあります。このモデルは、Flash Attention や AliBi コンテキスト長外挿などの最先端の技術を使用して、ゼロからトレーニングされています。
これらの技術は、Pho GPT がコンテキストをより深く理解するのに役立つだけでなく、使用中に自然に対話および対話するアプリケーションの能力も向上させます。これにより、モデルは多用途でマルチタスクなツールとなり、幅広いユーザー言語のニーズを満たすことができます。
 |
VinAI ゼネラルディレクター、ブイ・ハイ・フン氏。 |
Pho GPT誕生の意義について語り、VinAIのゼネラルディレクターであるブイ・ハイ・フン氏は、プロジェクトの目標はベトナム語とベトナム文化向けのChatGPTに似たモデルを開発することだと語った。 Pho GPT は、前世代の言語技術よりも優れた方法でベトナム語のテキストを理解し、書き込む機能を備えています。このモデルは、世界中の他のモデルとは独立して、ベトナムのデータセットからゼロからトレーニングされており、ベトナムの高度なコアテクノロジーの習得を保証します。
特筆すべきは、Chat GPT の誕生で世界中が沸き立っていたちょうど 1 年後、ベトナムで Pho GPT が登場したことです。ブイ・ハイ・フン氏によると、VinAIはオープンソースコードによる大規模言語モデルを立ち上げた東南アジアの先駆者です。数週間後、同様の製品がシンガポールでも発売されました。
ベトナムのAIの向上
Pho GPT-7B5-Instruct バージョンとクローズド ソースの ChatGPT (GPT-3.5-turbo) およびその他のオープン ソース モデルとの比較結果によると、Pho GPT はほとんどの評価カテゴリで ChatGPT に次ぐ 2 位にランクされています。
Pho GPT は、他の言語モデル、特に ChatGPT と比べて多くの違いがあります。ベトナム人の文脈、文法、語彙、表現を反映し、ベトナム語の文体を自然に理解して書けるように設計されています。ベトナムの文化、歴史、地理、社会、娯楽、スポーツなどに関するトピックについてユーザーと交流できます。
さらに、Pho GPT はオープンソースであり、柔軟性があります。ユーザーは、独自のソフトウェア ソースに依存せずに、特に高度なセキュリティを必要とするカスタム アプリケーションや独自のアプリケーションを開発できます。
同時に、Pho GPT の優先事項は、最新の最適化手法を使用したトレーニングによる高パフォーマンスとコスト削減でもあり、アプリケーションのサイズを縮小し、速度を向上させるのに役立ちます。 GPT は小規模なコンピューティング プラットフォームでも実行できるため、コストが削減され、リソースが節約されます。
Pho GPTは、1GBのWikipediaテキストと、ニュースデータセットから重複を削除した40GBのバリアントを含む、最大41GBのベトナム語データウェアハウスでトレーニングされ、Mosaicml llmのllm-foundryライブラリを使用してトレーニングされ、記事、詩、歌、エッセイ、スピーチ、紹介など、ユーザーのリクエストに応じてテキストフラグメントを生成できます。また、Pho GPTは、短編小説、コメント、ことわざ、メッセージ、ツイート、ミームなど、創造的でユーモラスなコンテンツも作成できます。同時に、時事問題、教育、健康、旅行、料理、スポーツ、エンターテイメントなど、さまざまなトピックについてユーザーと対話します。さらに、Pho GPTは、ユーザーの質問に答えたり、情報、アドバイス、サポートを提供したり、質問に回答したりすることもできます。
さらに、Pho GPT は、公式文書、商用文書、学術文書、文学文書など、さまざまな種類のテキストまたはテキスト タイプをベトナム語から他の言語に翻訳することも、その逆の翻訳もできます。
もう 1 つの優れた機能は、Pho GPT がテキスト パッセージを分析および処理して、要約、分類、ラベル付け、情報の抽出、感情の検出、エラーの検出、文章スタイルの改善などを行うことです。
Pho GPT開発チームは今後もモデルの改良を続け、特に東南アジア地域でプロジェクトを他の言語に拡大していく予定だと述べた。
「Pho GPTの誕生は、ベトナムがこの先進技術分野で世界に『追いつく』機会を得た初めての出来事です。そして、ベトナム語に最適化され、世界から独立して、ベトナム人向けにオープンソースコードを備えた大規模な言語モデルを所有することができました。これは特にVin AI、そしてベトナム国民全体の誇りです」とVinAIの代表者は付け加えた。
今後のPho GPTの潜在力と発展機会について、計画投資省のトラン・ズイ・ドン副大臣は次のように強調しました。「AIは、ベトナムが力強く発展し、世界レベルにすぐに追いつく可能性を秘めた分野の一つです。省は、特にAIコミュニティ、そして科学技術コミュニティ全体を常に支援し、寄り添い、包括的でダイナミックなイノベーション・エコシステムを構築し、国全体の発展に貢献していきます。」
[広告2]
ソース
コメント (0)