PaLM 2 ซึ่งเป็นโมเดลภาษาขนาดใหญ่ (LLM) ล่าสุดของ Google ที่ประกาศเมื่อสัปดาห์ที่แล้ว ใช้ปริมาณข้อมูลการฝึกอบรมเกือบห้าเท่าเมื่อเทียบกับรุ่นก่อนในปี 2022 ช่วยให้สามารถเขียนโปรแกรม คณิตศาสตร์ และสร้างเนื้อหาขั้นสูงได้มากขึ้น
ในงาน Google I/O Developer Conference ยักษ์ใหญ่ด้านการค้นหาได้เปิดตัว PaLM 2 ซึ่งเป็นโมเดลภาษาที่ได้รับการฝึกอบรมด้วยโทเค็นจำนวน 3.6 ล้านล้านรายการ โทเค็นเหล่านี้เป็นลำดับคำ ซึ่งเป็นหน่วยการสร้างที่ใช้ฝึก LLM ให้คาดการณ์คำถัดไปที่จะปรากฏขึ้น
PaLM เวอร์ชันก่อนหน้าเปิดตัวในปี 2022 และผลิตด้วยโทเค็นจำนวน 780 พันล้าน
แม้ว่า Google จะโฆษณาความสามารถด้าน AI ในการค้นหา อีเมล การประมวลผลคำ และสเปรดชีตมาโดยตลอด แต่บริษัทกลับลังเลที่จะเปิดเผยขนาดหรือรายละเอียดของชุดข้อมูลการฝึกอบรม OpenAI ยังเก็บรายละเอียดพารามิเตอร์การฝึก LLM ล่าสุด ซึ่งก็คือ GPT-4 ไว้เป็นความลับ
บริษัทเทคโนโลยีมองว่าการลดลงนี้เป็นผลมาจากการแข่งขันในธุรกิจของพวกเขา ทั้ง Google และ OpenAI กำลังแข่งขันกันดึงดูดผู้ใช้ด้วยผลิตภัณฑ์แชทบอทแทนเครื่องมือค้นหาแบบดั้งเดิม
ขนาดกะทัดรัด ทรงพลัง คุ้มค่า
Google กล่าวว่า PaLM 2 มีขนาดกะทัดรัดกว่ารุ่นก่อนๆ โดยสามารถฝึกพารามิเตอร์ได้ 340 พันล้านพารามิเตอร์ ในขณะที่เวอร์ชันก่อนหน้ารองรับพารามิเตอร์ได้ 540 พันล้านพารามิเตอร์ นี่แสดงให้เห็นว่าเทคโนโลยีของบริษัทมีประสิทธิภาพมากขึ้นในการทำงานที่ซับซ้อน
เพื่อบรรลุเป้าหมายดังกล่าว PaLM 2 จึงใช้เทคนิคใหม่ที่เรียกว่า "การเพิ่มประสิทธิภาพการประมวลผลแบบขยาย" ซึ่งจะมอบ "ประสิทธิภาพโดยรวมที่ดีขึ้น รวมถึงการอนุมานที่รวดเร็วยิ่งขึ้นด้วยพารามิเตอร์น้อยลงซึ่งช่วยลดค่าใช้จ่ายทั่วไป"
โมเดล AI ภาษาใหม่ล่าสุดของ Google ที่ได้รับการฝึกอบรมด้วยภาษาต่างๆ มากกว่า 100 ภาษา ทำงานที่หลากหลายสำหรับฟีเจอร์และผลิตภัณฑ์ 25 รายการ รวมถึงแชทบอตทดลองชื่อ Bard PaLM 2 มี 4 เวอร์ชันตามขนาด ตั้งแต่เล็กสุดไปจนถึงใหญ่สุด ได้แก่ ตุ๊กแก นาก ไบซัน และยูนิคอร์น
ตามเอกสารสาธารณะ PaLM 2 มีประสิทธิภาพมากกว่ารุ่นที่มีอยู่ทั้งหมด LlaMA ของ Facebook เปิดตัวในเดือนกุมภาพันธ์ และได้รับการฝึกฝนด้วยโทเค็นจำนวน 1.4 ล้านล้านโทเค็น ขณะเดียวกัน ครั้งสุดท้ายที่ OpenAI เปิดเผยขนาดข้อมูลการฝึกอบรมสำหรับ ChatGPT ต่อสาธารณะคือเวอร์ชัน GPT-3 ที่มีโทเค็น 300 พันล้านโทเค็น
การระเบิดของแอปพลิเคชัน AI ก่อให้เกิดการถกเถียงกันเกี่ยวกับเทคโนโลยีดังกล่าว เมื่อต้นปีนี้ El Mahdi El Mhamdi นักวิทยาศาสตร์อาวุโสของ Google Research ได้ลาออกเพื่อประท้วงต่อการขาดความโปร่งใสของยักษ์ใหญ่ด้านการค้นหาแห่งนี้
สัปดาห์นี้ แซม อัลท์แมน ซีอีโอของ OpenAI ยังได้ให้การเป็นพยานต่อคณะอนุกรรมการตุลาการของวุฒิสภาสหรัฐฯ ว่าด้วยความเป็นส่วนตัวและเทคโนโลยีในบริบทของ AI ที่แพร่หลายอีกด้วย ที่นี่ “บิดา” ของ ChatGPT เห็นด้วยกับผู้กำหนดนโยบายว่าจำเป็นต้องมีกฎระเบียบใหม่เพื่อจัดการ AI
(ตามรายงานของซีเอ็นบีซี)
แหล่งที่มา
การแสดงความคิดเห็น (0)