Comment la Chine a créé DeepSeek et a secoué le monde

Fin janvier, DeepSeek a pris d'assaut le monde technologique mondial avec la sortie de deux modèles LLM qui sont à égalité avec les produits américains mais coûtent une fraction du prix. Parmi eux, le modèle de raisonnement open source DeepSeek-R1 peut résoudre certains des mêmes problèmes scientifiques que o1, le LLM le plus avancé d'OpenAI.

Alors que le monde était surpris, les chercheurs nationaux ont déclaré que cette réussite était totalement prévisible et conforme à l'ambition de Pékin de devenir une puissance leader en matière d'intelligence artificielle (IA).

Yunji Chen, informaticien à l'Institut d'informatique de l'Académie chinoise des sciences, souligne que tôt ou tard, une entreprise comme DeepSeek apparaîtra en Chine.

Cela est dû à l’énorme quantité de capitaux d’investissement investis dans les sociétés de développement de LLM et au nombre de personnes titulaires d’un doctorat dans les matières STEM (sciences, technologie, ingénierie ou mathématiques).

« S’il n’y avait pas DeepSeek, il y aurait d’autres LLM chinois », a déclaré Chen.

C'est un fait avéré. Quelques jours après le « tremblement de terre » de DeepSeek, Alibaba a publié son LLM le plus avancé à ce jour, Qwen2.5-Max, qui, selon lui, surpasse DeepSeek-V3.

Moonshot AI et ByteDance ont également annoncé de nouveaux modèles d'inférence, Kimi 1.5 et 1.5-pro, qui peuvent surpasser o1 dans certains tests de référence.

Priorités du gouvernement

En 2017, le gouvernement chinois a annoncé son intention de devenir un leader mondial de l’IA d’ici 2030. La Chine vise à réaliser des avancées majeures dans l’IA « afin que la technologie et les applications atteignent des niveaux de pointe mondiaux » d’ici 2025.

Pour y parvenir, le développement d’un système de talents IA est une priorité absolue. D'ici 2022, le ministère chinois de l'Éducation autorisera 440 universités à proposer des filières d'IA, selon un rapport du Centre pour la sécurité et les technologies émergentes (CSET) de l'Université de Georgetown.

La même année, la Chine comptait la moitié des meilleurs chercheurs en IA, tandis que les États-Unis n’en contribuaient qu’à hauteur de 18 %, selon le cabinet de conseil MacroPolo.

DeepSeek surprend avec une série de modèles linguistiques de grande taille, peu coûteux et performants. Photo : Bloomberg

Marina Zhang, chercheuse en sciences politiques à l'Université de technologie de Sydney, a déclaré que DeepSeek a probablement bénéficié de l'investissement du gouvernement dans la formation à l'IA et le développement des talents, notamment de nombreuses bourses, subventions de recherche et partenariats entre le monde universitaire et l'industrie.

Par exemple, des initiatives soutenues par l’État, comme le Laboratoire national d’ingénierie pour les technologies et applications d’apprentissage profond, ont formé des milliers d’experts en IA.

Il est difficile de trouver des chiffres exacts sur les effectifs de DeepSeek, mais le fondateur Liang Wenfeng indique que l'entreprise recrute des diplômés et des doctorants des plus grandes universités du pays.

Certains membres de l'équipe de direction ont moins de 35 ans et ont grandi avec l'essor de la Chine en tant que superpuissance technologique, a déclaré Zhang. « Ils sont profondément motivés par l’autonomie en matière d’innovation. »

Wenfeng, 39 ans, est diplômé en informatique de l'Université du Zhejiang. Il a cofondé le fonds spéculatif High-Flyer il y a près de dix ans et a fondé DeepSeek en 2023.

Les politiques nationales qui favorisent un écosystème modèle pour l'IA aideront les entreprises comme DeepSeek à attirer à la fois des financements et des personnes, selon Jacob Feldgoise, qui étudie les talents de l'IA en Chine au CSET.

Mais malgré l’augmentation des cours d’IA dans les universités, Feldgoise ne sait pas exactement combien d’étudiants obtiennent un diplôme en IA et s’ils acquièrent les compétences dont les entreprises ont besoin.

Ces dernières années, les entreprises chinoises d’IA se sont plaintes du fait que les diplômés de ces programmes ne répondent pas à leurs attentes, ce qui a incité certaines d’entre elles à s’associer à des universités pour améliorer la qualité.

« Tempérage »

L'élément le plus impressionnant du succès de DeepSeek, selon les scientifiques, est peut-être qu'ils ont développé DeepSeek-R1 et Janus-Pro-7B dans le contexte des contrôles à l'exportation du gouvernement américain qui bloquent l'accès aux puces informatiques d'IA avancées depuis 2022.

Selon Zhang, DeepSeek représente une approche typiquement chinoise de l’innovation, mettant l’accent sur l’efficacité face à une multitude de contraintes.

La startup de Wenfeng affirme avoir utilisé environ 2 000 puces Nvidia H800 pour former DeepSeek-V3. En revanche, le Llama 3.1 405B, un LLM sophistiqué sorti par Meta en juillet 2024, est basé sur plus de 16 000 puces Nvidia H100.

Le talent de 9x reçoit une attention particulière du Premier ministre chinois Li Qiang

Dans une publication WeChat de 2022, High-Flyer a déclaré disposer de 10 000 anciennes puces A100 de Nvidia. « Le problème auquel nous sommes confrontés n'a jamais été l'argent, mais l'interdiction des puces haut de gamme », a déclaré Wenfeng aux médias chinois en juillet 2024.

DeepSeek utilise diverses méthodes pour augmenter l’efficacité de ses modèles. Par exemple, il met en œuvre l’architecture Mixture of Experts (MoE), une approche d’apprentissage automatique qui entraîne les modèles plus rapidement avec moins de paramètres que les techniques traditionnelles.

Selon Chang Xu, informaticien à l'Université de Sydney, cela aide DeepSeek à former des modèles avec moins de puces.

Une autre technique est l’attention latente multi-têtes (MLA), qui permet au modèle de stocker plus de données avec moins de mémoire.

Les réalisations de DeepSeek pourraient servir de « guide » pour les pays ayant des ambitions en matière d’IA mais manquant de ressources financières et matérielles pour former des LLM massifs, a déclaré Yanbo Wang, chercheur en sciences politiques à l’Université de Hong Kong.

(Selon la nature, la fortune)

Source : https://vietnamnet.vn/cach-trung-quoc-tao-ra-deepseek-va-rung-chuyen-the-gioi-2391114.html