Pho GPT は Pho (Generative Pre-trained Transformer) の略で、Vingroup Corporation のメンバーである VinAI エンジニアリング チームによって実装された、ベトナム語専用の大規模な言語モデル プロジェクトです。
世界の技術に「追いつく」
Pho GPT は、OpenAI の ChatGPT のような独自のソフトウェアではなく、オープンソース コードを使用します。これは、Pho GPT のソース コードが公開され、利用可能であり、ユーザーはカスタム アプリケーションを通じて Pho GPT の開発に貢献できることを意味します。
VinAI の紹介によると、Pho GPT には Transformer デコード プラットフォーム上に構築された 75 億のパラメーターがあります。このモデルは、Flash Attention や AliBi コンテキスト長外挿などの最先端の技術を使用して、ゼロからトレーニングされています。
これらの技術は、Pho GPT がコンテキストをより深く理解するのに役立つだけでなく、使用中にアプリケーションが自然に対話および対話する能力も向上させます。これにより、このモデルは多用途でマルチタスクなツールとなり、幅広いユーザー言語のニーズを満たすことができます。
 |
VinAIのゼネラルディレクター、ブイ・ハイ・フン氏。 |
VinAIのゼネラルディレクターであるブイ・ハイ・フン氏は、Pho GPT誕生の意義について語り、プロジェクトの目標はベトナム語とベトナム文化向けのChatGPTに似たモデルを開発することだと語った。 Pho GPT は、前世代の言語技術よりも優れた方法でベトナム語のテキストを理解し、書き込む機能を備えています。このモデルは、世界中の他のモデルとは独立して、ベトナムのデータセットを使用してゼロからトレーニングされており、ベトナムの高度なコアテクノロジーの習得を保証します。
特筆すべきは、Chat GPT の誕生で世界中が騒然となったちょうどその 1 年後、ベトナムで Pho GPT が登場したことです。ブイ・ハイ・フン氏によれば、VinAIは東南アジアでオープンソースコードによる大規模言語モデルを立ち上げた先駆者です。数週間後、同様の製品がシンガポールでも発売されました。
ベトナムのAIの向上
Pho GPT-7B5-Instruct バージョンとクローズド ソースの ChatGPT (GPT-3.5-turbo) およびその他のオープン ソース モデルとの比較結果によると、Pho GPT はほとんどの評価カテゴリで ChatGPT に次ぐ 2 位にランクされています。
Pho GPT は、他の言語モデル、特に ChatGPT と比べて多くの違いがあります。ベトナム人の文脈、文法、語彙、表現を反映し、ベトナム語の文体を自然に理解して書けるように設計されています。ベトナムの文化、歴史、地理、社会、娯楽、スポーツなどに関するトピックについてユーザーと交流できます。
さらに、Pho GPT はオープンソースであり、柔軟性があります。ユーザーは、独自のソフトウェア ソースに依存することなく、特に高度なセキュリティを必要とするカスタム アプリケーションや独自のアプリケーションを開発できます。
同時に、Pho GPT の優先事項は、最新の最適化技術を使用したトレーニングによる高パフォーマンスとコスト削減でもあり、アプリケーションのサイズを縮小し、速度を向上させるのに役立ちます。 GPT は小規模なコンピューティング プラットフォームでも実行できるため、コストが削減され、リソースが節約されます。
Pho GPT は、最大 41 GB のベトナム語データ ウェアハウス (1 GB の Wikipedia テキストと、ニュース データ セットから重複を削除した 40 GB のバリアントを含む) でトレーニングされ、Mosaicml llm の llm-foundry ライブラリを使用してトレーニングされています。ユーザーのリクエストに応じて、記事、詩、歌、エッセイ、スピーチ、紹介などのテキスト フラグメントを生成できます。また、Pho GPT は、短編小説、コメント、ことわざ、メッセージ、ツイート、ミームなどのクリエイティブでユーモラスなコンテンツを作成することもできます。同時に、時事問題、教育、健康、旅行、料理、スポーツ、エンターテイメントなどのさまざまなトピックについてユーザーと対話します。さらに、Pho GPT は、ユーザーの質問に答えたり、情報、アドバイス、サポートを提供したり、質問に答えたりすることもできます。
さらに、Pho GPT は、公式、商用、学術、文学文書など、さまざまな種類のテキストまたはテキスト タイプをベトナム語から他の言語に翻訳したり、その逆を行ったりできます。
もう 1 つの優れた機能は、Pho GPT がテキスト パッセージを分析および処理し、要約、分類、ラベル付け、情報の抽出、感情の検出、エラーの検出、文章スタイルの改善などを行うことです。
Pho GPT開発チームは今後もモデルの改良を続け、特に東南アジア地域でプロジェクトを他の言語に拡大していく予定だと述べた。
「Pho GPTの誕生は、ベトナムがこの先進技術分野で世界に『追いつく』機会を得て、世界から独立してベトナム語に最適化され、特にベトナム人向けにオープンソースコードを備えた大規模な言語モデルを所有する初めての機会となったことを意味します。これは特にVin AI、そしてベトナム国民全体の誇りです」とVinAIの代表者は付け加えた。
今後のPho GPTの可能性と発展の機会についてコメントした計画投資省副大臣のトラン・デュイ・ドン氏は、「AIはベトナムが力強く発展し、すぐに世界レベルに追いつく可能性を秘めた分野の1つとなるだろう」と強調した。同省は、特にAIコミュニティ、そして一般的には科学技術コミュニティを常にサポートし、伴走することで、包括的かつダイナミックなイノベーションエコシステムを開発し、国全体の発展に貢献していきます。」
[広告2]
ソース
コメント (0)