Dans une publication Instagram Reels du 18 janvier, Mark Zuckerberg a déclaré que la « feuille de route future » de l'entreprise pour l'IA nécessite la construction d'une « infrastructure informatique massive ». D’ici fin 2024, cette infrastructure sera desservie par 350 000 puces Nvidia H100.

ms92shcq.png
Mark Zuckerberg affirme que l'IA est la principale priorité d'investissement de Meta en 2024. (Photo : Bloomberg)

Le PDG de Meta n'a pas révélé combien d'unités de traitement graphique (GPU) il a achetées, mais le H100 devrait arriver sur le marché fin 2022 et l'offre est extrêmement limitée. Les analystes de Raymond James estiment que Nvidia vend le H100 entre 25 000 et 30 000 dollars. Sur eBay, la puce peut coûter plus de 40 000 $. Si Meta est acheté à bas prix, le coût serait proche de 9 milliards de dollars.

De plus, Zuckerberg a également révélé que si d'autres GPU sont inclus, la puissance de calcul de l'infrastructure équivaut à 600 000 H100. En décembre 2023, Meta, OpenAI et Microsoft ont déclaré qu'ils utiliseraient la nouvelle puce d'IA Instinct MI300X d'AMD.

La raison pour laquelle Meta a besoin de puces informatiques aussi « robustes » est que l’entreprise poursuit l’intelligence artificielle générale (AGI), que Zuckerberg appelle une « vision à long terme » pour l’entreprise. OpenAI et Google DeepMind travaillent également sur l’AGI – une IA futuriste qui rivalise avec l’intelligence humaine.

Yann LeCun, scientifique en chef de Meta, a souligné l'importance des GPU lors d'un événement le mois dernier à San Francisco, aux États-Unis. Il estime que si vous voulez une AGI, vous devez acheter plus de GPU. « Il y a une guerre de l'IA en cours et c'est lui (le PDG de Nvidia, Jensen Huang) qui fournit les armes. »

Dans son rapport sur les résultats du troisième trimestre 2023, Meta a déclaré que les dépenses totales en 2024 se situeraient entre 94 et 99 milliards de dollars, en partie pour étendre la capacité de calcul. Lors d'une réunion avec des analystes, le patron du groupe a également affirmé que « en termes de priorités d'investissement, l'IA sera le domaine d'investissement le plus important en 2024, tant en termes de technologie que de ressources informatiques ».

Le 18 janvier également, Zuckerberg a déclaré qu'il prévoyait d'ouvrir de manière « responsable » le code source de l'AGI que l'entreprise développe, une approche similaire à celle de la grande famille de langues Llama. Meta forme Llama 3 et réunira les équipes de recherche Fundamental AI Research (FAIR) et GenAI pour travailler plus étroitement.

Peu de temps après la publication de Zuckerberg, l'ingénieur LeCun a écrit sur X : « Pour accélérer le processus, FAIR est désormais une organisation sœur de GenAI, la division des produits d'IA. »

(Selon CNBC)