Как Apple внедряет искусственный интеллект в старые iPhone

По данным Android Authority , в исследовательской работе Apple подробно описывается решение для запуска больших языковых моделей (LLM) на устройствах с ограниченным объемом оперативной памяти. В статье показано, как компания может хранить «параметры модели» и загружать их части в оперативную память устройства при необходимости вместо загрузки всей модели в оперативную память.

Apple стремится помочь старым iPhone с меньшим объемом оперативной памяти запустить общий ИИ

В статье утверждается, что этот метод позволяет запускать модели, требующие вдвое больше оперативной памяти, чем может иметь iPhone, при этом обеспечивая скорость вывода в 4-5 и 20-25 раз выше по сравнению с простыми методами загрузки на центральном процессоре и графическом процессоре соответственно.

Развертывание синтетического ИИ на устройствах с большим объемом оперативной памяти будет выгодным, поскольку оно обеспечивает более высокую скорость чтения/записи. Скорость важна для искусственного интеллекта на устройстве, поскольку она позволяет значительно сократить время вывода, поскольку пользователям не обязательно ждать десятки секунд (или больше), чтобы получить ответ или окончательный результат. Все это означает наличие встроенного помощника на основе искусственного интеллекта, который может работать со скоростью разговора, гораздо быстрее генерировать изображения/текст, быстрее резюмировать статьи... Но решение Apple означает, что пользователям не обязательно нужен большой объем оперативной памяти для ускорения реагирования на задачи искусственного интеллекта на устройстве.

Подход Apple может позволить как старым, так и новым iPhone предлагать функции искусственного интеллекта прямо на своих устройствах. Это важно, поскольку iPhone от Apple обычно имеют меньший объем оперативной памяти, чем высококлассные телефоны Android. Например, серия iPhone 11 предлагает всего 4 ГБ оперативной памяти, тогда как даже обычный iPhone 15 имеет только 6 ГБ оперативной памяти.

Apple — не единственная мобильная компания, пытающаяся сократить число степеней магистра права. Последние флагманские чипы от Qualcomm и MediaTek поддерживают точность INT4 для уменьшения масштаба этих моделей. В любом случае компании пытаются найти новые решения, чтобы снизить системные требования для встроенного ИИ, что позволит даже недорогим телефонам предлагать эту функцию.

Ссылка на источник: https://thanhnien.vn/cach-apple-dua-ai-tong-hop-vao-iphone-doi-cu-185231222160500661.htm