Le fondateur de Facebook publie un nouveau modèle d'IA

La société mère de Facebook vient d'annoncer deux nouveaux modèles dans la collection Llama 4. Il s’agit du même modèle qui est utilisé pour l’assistant Meta AI sur le Web ainsi que dans WhatsApp, Messenger et Instagram, aidant les gens à créer des expériences multimédias plus personnalisées.

Les deux nouveaux modèles, désormais disponibles en téléchargement depuis Meta ou Hugging Face, sont le Llama 4 Scout et le Llama 4 Maverick. Meta affirme qu'il est toujours en train de former Llama 4 Behemoth, un modèle massif que le PDG Mark Zuckerberg décrit comme « le modèle de plateforme le plus performant au monde ».

Selon Meta, Llama 4 Scout dispose d'une fenêtre contextuelle pouvant atteindre 10 millions de jetons, soit bien plus que le modèle avec le plus grand nombre de jetons actuellement, Gemini. Ce nombre représente la mémoire de travail d’un modèle d’IA.

Meta décrit le modèle comme surpassant les Gemma 3 et Gemini 2.0 Flash-Lite de Google, ainsi que Mistral 3.1 « sur de nombreux benchmarks populaires disponibles au public », tout en étant capable de « fonctionner sur un seul GPU Nvidia H100 ».

Pour Llama 4 Maverick, la société fait des déclarations similaires sur les performances par rapport à GPT-4o d'OpenAI et Gemini 2.0 Flash de Google. Les tâches de programmation et d'inférence de Maverick sont comparables à celles de DeepSeek-V3, malgré l'utilisation de moins de la moitié des paramètres.

Figurines des nouveaux modèles de la collection Llama 4. Photo : Méta.

Pendant ce temps, Behemoth possède 288 milliards de paramètres actifs sur un total de 2 000 milliards de paramètres. Bien qu'il ne soit pas encore publié, Meta affirme que Behemoth est capable de surpasser ses concurrents (en particulier GPT-4.5 et Claude Sonnet 3.7) « sur un certain nombre de mesures dans le domaine STEM ».

Meta affirme être passé à une architecture de « mélange d'experts » (MoE), la même architecture qui a fait le succès de DeepSeek. La méthode permet d’économiser des ressources en activant uniquement les parties du modèle nécessaires à chaque tâche spécifique. Plus de détails sur les plans de produits seront annoncés lors de la conférence LlamaCon, qui aura lieu le 29 avril.

Malgré les critiques concernant les restrictions de licence, Meta qualifie Llama 4 d’« open source », comme les modèles précédents. Par exemple, la licence Llama 4 exige que les organisations commerciales comptant plus de 700 millions d’utilisateurs actifs mensuels demandent l’autorisation de Meta avant d’utiliser le modèle.

Selon l’Open Source Initiative en 2023, une telle réglementation « rend le modèle non plus open source ».

Source : https://znews.vn/cha-de-facebook-ra-mo-hinh-ai-moi-post1543744.html