ตามที่ Android Authority ระบุไว้ เอกสารการวิจัยของ Apple ได้ให้รายละเอียดเกี่ยวกับโซลูชันในการรันโมเดลภาษาขนาดใหญ่ (LLM) บนอุปกรณ์ที่มี RAM จำกัด เอกสารนี้เผยให้เห็นว่าบริษัทสามารถจัดเก็บ "พารามิเตอร์โมเดล" และโหลดบางส่วนลงใน RAM ของอุปกรณ์เมื่อจำเป็นแทนที่จะโหลดโมเดลทั้งหมดลงใน RAM
Apple กำลังมองหาวิธีช่วย iPhone รุ่นเก่าที่มี RAM น้อยกว่าในการรัน AI ทั่วไป
เอกสารดังกล่าวระบุว่าวิธีการนี้ช่วยให้สามารถรันโมเดลที่ต้องการ RAM สองเท่าของ iPhone ได้ โดยยังคงรับประกันความเร็วในการอนุมานที่ 4-5 เท่าและ 20-25 เท่าเมื่อเปรียบเทียบกับวิธีการโหลดแบบง่ายๆ บน CPU และ GPU ตามลำดับ
การใช้ AI สังเคราะห์บนอุปกรณ์ที่มี RAM มากขึ้นจะเป็นประโยชน์เนื่องจากช่วยให้ความเร็วในการอ่าน/เขียนเร็วขึ้น ความเร็วเป็นสิ่งสำคัญสำหรับ AI บนอุปกรณ์ ช่วยให้การอนุมานเร็วขึ้นมาก เนื่องจากผู้ใช้ไม่จำเป็นต้องรอหลายสิบวินาที (หรือมากกว่านั้น) เพื่อรับการตอบสนองหรือผลลัพธ์สุดท้าย ทั้งหมดนี้หมายถึงผู้ช่วย AI บนอุปกรณ์ที่สามารถทำงานด้วยความเร็วระดับสนทนา สร้างภาพ/ข้อความได้เร็วขึ้นมาก สรุปบทความได้เร็วขึ้น... แต่โซลูชันของ Apple หมายความว่าผู้ใช้ไม่จำเป็นต้องมี RAM มากมายเพื่อเพิ่มความเร็วในการตอบสนองงาน AI บนอุปกรณ์
แนวทางของ Apple ช่วยให้ iPhone รุ่นเก่าและใหม่สามารถนำเสนอคุณสมบัติ AI สังเคราะห์บนอุปกรณ์ของพวกเขาได้ ซึ่งถือเป็นเรื่องสำคัญ เนื่องจาก iPhone ของ Apple มักจะมี RAM น้อยกว่าโทรศัพท์ Android ระดับไฮเอนด์ ตัวอย่างเช่น ซีรีย์ iPhone 11 มี RAM เพียง 4GB ในขณะที่ iPhone 15 ทั่วไปกลับมี RAM เพียง 6GB เท่านั้น
Apple ไม่ใช่บริษัทมือถือรายเดียวที่พยายามจะลดขนาด LLM ชิปเรือธงใหม่ล่าสุดจาก Qualcomm และ MediaTek ทั้งคู่รองรับความแม่นยำของ INT4 เพื่อปรับขนาดโมเดลเหล่านี้ลง ไม่ว่าจะด้วยวิธีใด บริษัทต่างๆ ก็พยายามค้นหาโซลูชันใหม่ๆ เพื่อลดความต้องการของระบบสำหรับ AI บนอุปกรณ์ ช่วยให้โทรศัพท์รุ่นล่างก็สามารถนำเสนอฟีเจอร์ดังกล่าวได้
ลิงค์ที่มา
การแสดงความคิดเห็น (0)