งานวิจัยของนักศึกษา 2 คนจากมหาวิทยาลัยเทคโนโลยีโฮจิมินห์ซิตี้ได้รับการตีพิมพ์ในงาน AAAI ซึ่งเป็นการประชุมด้าน AI ชั้นนำของโลก โดยใช้แนวทางการฝึกฝนเชิงโต้แย้งเพื่อให้ AI สร้างข้อมูลใหม่
ผลงานวิจัยเกี่ยวกับโมเดลหลายภาษาในการฝึก AI เพื่อสร้างคำพ้องความหมาย โดย Pham Khanh Trinh และ Le Minh Khoi อายุ 23 ปี ได้รับการตีพิมพ์ในเอกสารการประชุม AAAI-24 เกี่ยวกับปัญญาประดิษฐ์ ซึ่งจัดขึ้นเมื่อปลายเดือนกุมภาพันธ์ที่เมืองแวนคูเวอร์ ประเทศแคนาดา
รองศาสตราจารย์ ดร. กวน ทันห์ โธ รองคณบดีคณะวิทยาการคอมพิวเตอร์และวิศวกรรมศาสตร์ มหาวิทยาลัยเทคโนโลยีโฮจิมินห์ ประเมินผลนี้ว่าเป็นผลลัพธ์ที่น่าชื่นชม นายโธ กล่าวว่า นักวิจัยและผู้เชี่ยวชาญมองว่า AAAI มีคุณภาพสูงสุดในการประชุมทางวิทยาศาสตร์ด้านวิทยาการคอมพิวเตอร์และปัญญาประดิษฐ์ โดยมีอัตราการยอมรับบทความในปีนี้ต่ำมากที่ 23.75%
มินห์ คอย และคานห์ ตรินห์ (ตรงกลาง) ในระหว่างการปกป้องวิทยานิพนธ์รับปริญญาของพวกเขาในปี 2023 รูปภาพ: จัดทำโดยตัวละคร
Trinh และ Khoi ร่วมกันหลงใหลในเรื่องการเรียนรู้เชิงลึกและการประมวลผลภาษาธรรมชาติ จึงเลือกที่จะทำการวิจัยเกี่ยวกับโมเดลภาษาขนาดใหญ่ (LLM) ทั้งสองต้องการค้นหาข้อจำกัดของ LLM และปรับปรุงมัน
Khanh Trinh กล่าวว่า Chat GPT หรือ LLM จำเป็นต้องได้รับการฝึกอบรมด้วยข้อมูลข้อความจำนวนมากเพื่อสร้างคำตอบที่แม่นยำและหลากหลายให้กับผู้ใช้ เด็กชายทั้งสองตระหนักได้ว่าในภาษาที่ไม่ค่อยมีคนรู้จัก เช่น ภาษาฮินดี ภาษาคาซัค หรือภาษาอินโดนีเซีย ผู้ที่เรียน GPT และ LLM มักจะให้ผลลัพธ์ที่คาดไม่ถึง เนื่องจากพวกเขาไม่ได้เรียนภาษาเหล่านี้มากนัก หรือภาษาเหล่านี้ไม่มีข้อมูลเพียงพอให้พวกเขาเรียนรู้
“ทำไมเราไม่สร้างข้อมูลข้อความเพิ่มเติมจาก 'ทรัพยากรเล็กๆ น้อยๆ' ของภาษาเหล่านั้นเพื่อฝึกฝน AI เพิ่มเติมล่ะ” นักเรียนชายสองคนถาม จากนั้นแบบจำลอง LAMPAT (Low-rank Adaptation for Multilingual Paraphrasing using Adversarial Training) - การพาราเฟรสหลายภาษาโดยใช้การฝึกการต่อต้าน ซึ่งทำการวิจัยโดย Trinh และ Khoi จึงถือกำเนิดขึ้น
LAMPAT สามารถสร้างประโยคคำพ้องความหมายจากประโยคอินพุตที่มีอยู่เพื่อสร้างข้อมูลข้อความเพิ่มเติม การอธิบาย "การฝึกเชิงโต้แย้ง" ถือเป็นแนวทางใหม่ในการฝึกโมเดลภาษาขนาดใหญ่ เมื่อได้รับประโยคอินพุตด้วยวิธีการฝึกแบบเดิม แอปพลิเคชันจะสร้างประโยคเอาต์พุต แต่ด้วยการฝึกต่อต้าน แอปพลิเคชันจะแก้ไขตัวเอง แก้ไขประโยคผลลัพธ์ และ "เล่นต่อต้านตัวเอง" เพื่อสร้างประโยคเพิ่มเติม
ความสามารถด้านหลายภาษาของ LAMPAT เกิดจากการที่โมเดลนี้สามารถบูรณาการภาษาต่างๆ ได้ถึง 60 ภาษาในเวลาเดียวกัน ทีมงานได้ดำเนินการฝึกอบรม LAMPAT ต่อไปเพื่อสร้างประโยคคำพ้องความหมายโดยอิงจากชุดข้อมูลที่รวบรวม ปริมาณข้อมูลข้อความที่สร้างจาก LAMPAT จะยังคงได้รับการฝึกอบรมสำหรับ LLM เพื่อให้โมเดลเหล่านี้สามารถเรียนรู้วิธีต่างๆ มากมายในการแสดงข้อมูลสำหรับเนื้อหาเดียวกัน จึงให้การตอบสนองที่หลากหลายพร้อมความน่าจะเป็นที่ถูกต้องสูงกว่า ด้วยคุณลักษณะนี้ ตัวแทนทีมเชื่อว่า LAMPAT สามารถรวมเข้ากับแอปพลิเคชัน เช่น ChatGPT ได้ เพื่อปรับปรุงรูปแบบนี้ให้ดียิ่งขึ้น
นอกจากนี้การขาดข้อมูลสำหรับ Chat GPT หรือ LLM ทำให้บริษัทบางแห่งต้องมองหาแหล่งข้อมูลภายนอกมากมาย เช่น หนังสือ หนังสือพิมพ์ บล็อก... โดยไม่คำนึงถึงปัญหาลิขสิทธิ์ การสร้างคำพ้องความหมายยังถือเป็นวิธีหนึ่งในการจำกัดการลอกเลียนและการละเมิดลิขสิทธิ์ ตามที่ Khanh Trinh กล่าว
Nam Sinh ได้ยกตัวอย่างแอปพลิเคชันอย่าง Chat GPT เมื่อผู้ใช้ร้องขอสรุปข้อความ A ที่มีอยู่ แอปพลิเคชันจะสร้างข้อความสรุป B หากวิธีการวิจัยของกลุ่มบูรณาการ เมื่อได้รับข้อความ A แอปพลิเคชันจะสร้างข้อความหลายข้อความที่มีเนื้อหาเดียวกัน A1, A2, A3 โดยอาศัยกลไกการสร้างคำพ้องความหมาย จากนั้นจะสรุปข้อความและสร้างผลลัพธ์มากมายให้ผู้ใช้เลือก
ในช่วงเริ่มต้นของการวิจัย ทีมงานพบความยากลำบากในการเตรียมข้อมูลการประเมินสำหรับ 60 ภาษา เนื่องจากเราไม่สามารถเข้าถึงข้อมูลจำนวนมากพอ ทีมงานจึงได้รวบรวมชุดข้อมูลที่หลากหลายและสมบูรณ์ซึ่งประกอบด้วย 13 ภาษา เพื่อประเมินโมเดลอย่างเป็นกลาง ได้แก่ ภาษาเวียดนาม อังกฤษ ฝรั่งเศส เยอรมัน รัสเซีย ญี่ปุ่น จีน สเปน ฮังการี โปรตุเกส สวีเดน ฟินแลนด์ และเช็ก นี่เป็นชุดข้อมูลที่เชื่อถือได้สำหรับขั้นตอนการประเมินมนุษย์ขั้นสุดท้าย (การให้คะแนน) อีกด้วย
Minh Khoi (ซ้าย) และ Khanh Trinh (ขวา) ถ่ายภาพที่ระลึกร่วมกับคุณครู Quan Thanh Tho ในวันสำเร็จการศึกษาเดือนพฤศจิกายน 2566 ภาพ: ตัวละครที่ให้มา
สำหรับภาษาอังกฤษ เวียดนาม เยอรมัน ฝรั่งเศส และญี่ปุ่น ทีมงานได้สุ่มแยกคู่ประโยคจำนวน 200 คู่ (คู่หนึ่งประกอบด้วยประโยคผลลัพธ์และป้ายกำกับที่ถูกต้อง) เพื่อประเมินผล สำหรับแต่ละภาษาที่กล่าวมาข้างต้น ทีมงานได้ขอให้ผู้เชี่ยวชาญด้านภาษา 5 คนให้คะแนนโดยอิสระ โดยใช้เกณฑ์ 3 ประการ ได้แก่ การรักษาความหมาย การเลือกใช้คำศัพท์และความคล้ายคลึงของคำศัพท์ ความคล่องแคล่วและความสอดคล้องของประโยคผลลัพธ์ มีการคำนวณระดับคะแนนตั้งแต่ 1 ถึง 5 โดยผลคะแนนประเมินเฉลี่ยจากผู้เชี่ยวชาญด้านภาษาทั้ง 5 ภาษานี้จะอยู่ระหว่าง 4.2-4.6/5 คะแนน
ตัวอย่างนี้แสดงให้เห็นประโยคภาษาเวียดนามคู่หนึ่งที่ได้คะแนน 4.4/5 โดยประโยคอินพุตคือ "เขาอธิบายปัญหาอย่างละเอียด" และประโยคเอาต์พุตคือ "เขาอธิบายปัญหาอย่างละเอียด"
แต่ก็มีคู่ประโยคที่มีคุณภาพต่ำและผิดพลาดทางความหมาย เช่น คู่ประโยค "เรากินขณะที่ซุปยังร้อน - เรากินซุปขณะที่เรากำลังร้อน" ซึ่งได้คะแนนเพียง 2/5 คะแนนเท่านั้น
Khanh Trinh กล่าวว่าการวิจัยและทำให้โครงการนี้เสร็จสมบูรณ์ใช้เวลา 8 เดือน นี่เป็นหัวข้อวิทยานิพนธ์ของ Trinh และ Khoi เช่นกัน วิทยานิพนธ์ได้รับการจัดอันดับที่ 1 ใน Computer Science Council 2 ด้วยคะแนน 9.72/10 คะแนน
ตามที่นาย Quan Thanh Tho กล่าว แม้ว่า LAMPAT จะแสดงให้เห็นถึงความสามารถในการสร้างวลีคำพ้องความหมายที่เหมือนมนุษย์ในหลายภาษาได้ แต่ยังคงต้องมีการปรับปรุงเพื่อจัดการกับสำนวน เพลงพื้นบ้าน และสุภาษิตในภาษาต่างๆ
นอกจากนี้ ชุดข้อมูลการประเมินของทีมมีเพียง 13 ภาษาเท่านั้น ซึ่งยังละเลยภาษาจำนวนมาก โดยเฉพาะภาษาชนกลุ่มน้อย ดังนั้นกลุ่มจึงจำเป็นต้องดำเนินการวิจัยเพื่อเสริมสร้างและขยายขีดความสามารถของโมเดลการตีความหลายภาษาในปัจจุบัน จากที่นี่ เราสามารถลบล้างอุปสรรคด้านภาษาระหว่างประเทศและประชาชนได้
ในช่วงปลายปี 2023 Trinh และ Khoi สำเร็จการศึกษาในระดับปริญญาตรีสาขาวิทยาการคอมพิวเตอร์ด้วยเกียรตินิยมอันดับหนึ่ง โดยมีเกรดเฉลี่ย (GPA) 3.7 และ 3.9/4 ตามลำดับ ทั้งคู่วางแผนไปศึกษาต่อในต่างประเทศเพื่อศึกษาต่อปริญญาโทและศึกษาวิจัยด้านปัญญาประดิษฐ์และการเรียนรู้ของเครื่องจักร
“เราจะยังคงค้นคว้าหัวข้อนี้ต่อไปโดยมีเป้าหมายเพื่อนำ LAMPAT ไปใช้กับโครงการทางวิทยาศาสตร์ที่จะเกิดขึ้นในอนาคตมากขึ้น เพื่อสร้างผลิตภัณฑ์หลายภาษาที่เชื่อถือได้สำหรับผู้ใช้” Trinh กล่าว
เล เหงียน
ลิงค์ที่มา
การแสดงความคิดเห็น (0)