Материнская компания Facebook только что анонсировала две новые модели в своей коллекции Llama 4. Это те же самые модели, которые в настоящее время используются для веб-помощника Meta AI, а также в WhatsApp, Messenger и Instagram, помогая пользователям создавать более персонализированные мультимедийные приложения.
Две новые модели, доступные для скачивания на Meta или Hugging Face, — это Llama 4 Scout и Llama 4 Maverick. Meta заявляет, что все еще находится в процессе обучения Llama 4 Behemoth, огромной модели, которую генеральный директор Марк Цукерберг называет «самой высокоэффективной платформенной моделью в мире ».
Согласно данным Meta, контекстное окно Llama 4 Scout достигает 10 миллионов токенов, что во много раз больше, чем у модели с наибольшим количеством токенов на данный момент — Gemini. Это число представляет собой объем рабочей памяти модели ИИ.
Meta описывает эту модель как превосходящую Google Gemma 3 и Gemini 2.0 Flash-Lite, а также Mistral 3.1, «по ряду широко опубликованных тестов», при этом она способна «работать на одном графическом процессоре Nvidia H100».
Компания Llama 4 Maverick сделала аналогичные заявления о производительности, сравнивая его с OpenAI GPT-4o и Google Gemini 2.0 Flash. Задачи программирования и вывода в Maverick сопоставимы с DeepSeek-V3, несмотря на то, что он использует менее половины параметров.
 |
Фигурки новых моделей из коллекции Llama 4. Фото: Meta. |
Между тем, Behemoth может похвастаться 288 миллиардами активных параметров из общего числа 2 триллионов. Хотя он еще не выпущен, Meta утверждает, что Behemoth имеет потенциал превзойти своих конкурентов (в частности, GPT-4.5 и Claude Sonnet 3.7) «по нескольким показателям STEM».
Компания Meta объявила о переходе на архитектуру «смешанных экспертов» (MoE), ту же самую архитектуру, которая обеспечила успех DeepSeek. Такой подход экономит ресурсы, активируя только те части модели, которые необходимы для решения конкретной задачи. Более подробная информация о планах развития продукта будет объявлена на конференции LlamaCon 29 апреля.
Несмотря на критику в отношении ограничений лицензирования, Meta продолжает позиционировать Llama 4 как «открытый исходный код», подобно своим предыдущим моделям. Например, лицензия Llama 4 требует от коммерческих организаций с более чем 700 миллионами активных пользователей в месяц получения разрешения от Meta перед использованием этой модели.
Согласно данным организации Open Source Initiative за 2023 год, подобные правила «превратили эту модель из категории открытого исходного кода».
Источник: https://znews.vn/cha-de-facebook-ra-mo-hinh-ai-moi-post1543744.html
Комментарий (0)