敵対的トレーニング手法を使用して AI に新しいデータを生成させるという、ホーチミン市工科大学の 2 人の学生による研究が、世界有数の AI カンファレンスである AAAI で発表されました。
23歳のファム・カン・トリン氏とレ・ミン・コイ氏による、AIに同義語作成を訓練するための多言語モデルに関する研究が、2月末にカナダのバンクーバーで開催された人工知能に関するAAAI-24会議の資料に掲載された。
ホーチミン市工科大学コンピュータサイエンスおよびエンジニアリング学部の副学部長であるQuan Thanh Tho准教授は、これを称賛に値する結果であると評価しました。トー氏は、AAAIは研究者や専門家からコンピューターサイエンスと人工知能の分野の科学会議の中で最高品質であるとみなされており、今年の論文採択率は23.75%と非常に低いと述べた。
ミン・コイとカン・トリン（中央）は2023年の卒業論文審査中。写真：キャラクター提供
ディープラーニングと自然言語処理に対する情熱を共有する Trinh と Khoi は、大規模言語モデル (LLM) の研究を選択しました。両者とも、LLM の限界を知り、それを改善したいと考えていました。
Khanh Trinh 氏は、ユーザーに対して正確で多様な応答を生成するには、Chat GPT または LLM を膨大な量のテキスト データでトレーニングする必要があると述べました。 2人の少年は、ヒンディー語、カザフ語、インドネシア語などのあまり一般的ではない言語では、それらの言語をあまり勉強していなかったか、それらの言語を学習するためのデータが十分になかったために、チャットGPTとLLMが予期しない結果を出すことが多いことに気づきました。
「AIをさらに訓練するために、それらの言語の『わずかなリソース』からテキストデータをもっと作成したらどうですか？」と2人の男子学生は尋ねた。そこから、Trinh 氏と Khoi 氏が研究した敵対的トレーニング法を使用した多言語言い換えである LAMPAT モデル (Low-rank Adaptation for Multilingual Paraphrasing using Adversarial Training) が誕生しました。
LAMPAT は、既存の入力文から同義語文を生成し、追加のテキスト データを生成することができます。 「敵対的トレーニング」説明は、大規模な言語モデルをトレーニングするための比較的新しいアプローチです。従来のトレーニング方法では、入力文が与えられると、アプリケーションは出力文を生成します。しかし、敵対的トレーニングでは、アプリケーションは自己修正し、出力文を編集し、「自分自身と対戦」してより多くの文を生成することができます。
LAMPAT の多言語性は、モデルが 60 の言語を同時に統合している点にあります。収集したデータセットに基づいて、チームは同義語の文章を生成するために LAMPAT のトレーニングを継続しました。 LAMPAT から生成されるテキスト データの量は、引き続き LLM 用にトレーニングされ、これらのモデルが同じコンテンツに対してさまざまな方法で情報を表現することを学習し、より正しい確率で多様な応答を返すことができるようになります。チームの代表者は、この機能により、LAMPAT を ChatGPT などのアプリケーションに統合して、このモデルをさらに完成させることができると考えています。
さらに、Chat GPT または LLM のデータが不足しているため、一部の企業は著作権の問題に注意を払わずに、書籍、新聞、ブログなどの多くの外部ソースを探す必要があります。 Khanh Trinh氏によると、同義語を作成することも盗作や著作権侵害を制限する方法の1つです。
Nam Sinh 氏は、Chat GPT のようなアプリケーションの例を挙げました。ユーザーが既存のテキスト A の要約を要求すると、アプリケーションは要約テキスト B を生成します。グループの研究方法が統合されている場合、テキスト A を受信すると、アプリケーションは同義語を生成するメカニズムに基づいて、同じ内容のテキスト A1、A2、A3 を複数生成し、そこからテキストを要約して、ユーザーが選択できる多くの結果を生成します。
研究の初期段階では、チームは60の言語の評価データを準備するのに苦労しました。十分な量のデータにアクセスできなかったため、チームはモデルを客観的に評価するために、ベトナム語、英語、フランス語、ドイツ語、ロシア語、日本語、中国語、スペイン語、ハンガリー語、ポルトガル語、スウェーデン語、フィンランド語、チェコ語を含む 13 の言語の多様で完全なデータセットをまとめました。これは、最終的な人間による評価（スコアリング）ステップのための信頼できるデータセットでもあります。
ミン・コイさん（左）とカン・トリンさん（右）は、2023年11月の卒業式当日にクアン・タン・トー先生と記念写真を撮りました。写真：キャラクター提供
チームは、英語、ベトナム語、ドイツ語、フランス語、日本語のそれぞれについて、評価のために 200 個の文のペア (1 つのペアは出力文と正しいラベルで構成) をランダムに抽出しました。上記の各言語について、チームは 5 人の言語専門家に、意味の保存、単語の選択と語彙の類似性、出力文の流暢性と一貫性。スケールは 1 から 5 まで計算されます。その結果、これら 5 つの言語の言語専門家による平均評価スコアは 4.2 ～ 4.6/5 ポイントの範囲になります。
この例では、入力文が「彼は問題を詳しく説明した」で、出力文が「彼は問題を詳しく説明した」である、スコアが 4.4/5 のベトナム語の文のペアが示されています。
しかし、「スープが熱いうちに食べる - スープが熱いうちに食べる」という文のペアのように、質が悪く意味上の誤りがある文のペアもあり、この場合は 2/5 ポイントしか獲得できません。
カーン・トリン氏は、このプロジェクトの調査と完了には8か月かかったと語った。これは Trinh 氏と Khoi 氏の論文のテーマでもあります。この論文は、Computer Science Council 2 で 9.72/10 ポイントを獲得し、第 1 位にランクされました。
Quan Thanh Tho 氏によると、LAMPAT は複数の言語にわたって人間のような同義語フレーズを生成する能力を実証しているものの、異なる言語の慣用句、民謡、ことわざを処理するにはまだ改善の余地があるとのことです。
さらに、チームの評価データセットには 13 の言語しか含まれておらず、特に少数言語を中心に多くの言語が除外されています。したがって、グループは、現在の多言語通訳モデルの機能を強化および拡張するための研究を実施する必要があります。ここから、国や人々の間の言語の壁を取り除くことができます。
2023年末、TrinhさんとKhoiさんは、それぞれ成績平均点（GPA）3.7と3.9/4で、優秀な成績でコンピューターサイエンスの学士号を取得して卒業しました。二人とも修士号取得のために留学し、人工知能と機械学習の研究を進める予定です。
「私たちは、今後の科学プロジェクトにLAMPATをさらに適用し、ユーザーにとって信頼できる多言語製品を作成することを目標に、このテーマの研究を続けています」とTrinh氏は語った。
レ・グエン
[広告2]
ソースリンク
![[写真] ファム・ミン・チン首相が経済成長に関する地方との政府会議を主催](https://vstatic.vietnam.vn/vietnam/resource/IMAGE/2025/2/21/f34583484f2643a2a2b72168a0d64baa)
コメント (0)