C'est l'évaluation d'une note interne du géant de la recherche qui a été récemment révélée. Dans ce document, les dirigeants de Google ont également exprimé leur profonde inquiétude quant à la possibilité de perdre la course en cours dans le domaine de l’IA.
Un représentant de Google a confirmé plus tard l'authenticité du document, affirmant qu'il s'agissait simplement de l'opinion d'un initié de l'entreprise, mais a admis qu'ils n'étaient « pas en mesure de gagner cette course, et OpenAI non plus ».
Le géant de la recherche note que la communauté open source bat les principales entreprises d'IA et que, même si leurs produits ont un léger avantage en termes de qualité, « l'écart se réduit incroyablement rapidement ».
La taille du capital n’est pas le facteur essentiel
L'IA fait des vagues auprès du public depuis fin 2022 avec le lancement de ChatGPT, un chatbot basé sur les LLM (large language models) développé par OpenAI - une startup étroitement liée à Microsoft. Le succès de ce produit a incité Google et de nombreuses autres entreprises technologiques à se lancer dans la course au LLM.
Les modèles LLM sont formés à partir de milliards de mots collectés sur Internet pour générer du texte ou du dialogue de type humain. Ce processus prend des mois et coûte des dizaines de millions de dollars, ce qui fait craindre que l’IA soit dominée par des entreprises technologiques « riches et puissantes ».
Cependant, la note interne de Google suggère que cette hypothèse est fausse. Les chercheurs de la communauté open source exploitent des ressources en ligne gratuites et obtiennent des résultats comparables aux plus grands modèles propriétaires actuels.
En conséquence, les LLM peuvent être « affinés » grâce à une technique appelée adaptation de bas niveau, ou LoRa, qui permet d’optimiser un LLM existant pour une tâche spécifique beaucoup plus rapidement et à moindre coût que la formation d’un LLM à partir de zéro.
Par exemple, en mars, LLaMa, un modèle créé par Meta, la société mère de Facebook, a été divulgué en ligne. Bien qu'il soit petit et assez « primitif » avec seulement 7 milliards de paramètres, contre 540 milliards de paramètres dans le plus grand LLM de Google, LLaMa a été rapidement affiné pour produire des résultats comparables à la version originale de ChatGPT sur certaines tâches.
Cela pourrait avoir des implications sismiques pour l’avenir du développement de l’IA, car « les obstacles à la formation et aux tests, allant de la nécessité d’un grand centre de recherche à la nécessité d’une seule personne, d’une soirée et d’un ordinateur portable haut de gamme ».
La bataille entre le géant Goliath et le berger David
Désormais, un LLM peut être peaufiné pour seulement 100 $ en quelques heures. Avec son modèle flexible, connecté et peu coûteux, « l’IA open source présente des avantages significatifs » que les grandes entreprises comme Google ne peuvent pas reproduire. L’article conclut donc que Google ou OpenAI sont vulnérables face à ces concurrents open source.
« Je ne pense pas avoir besoin de quelque chose d'aussi puissant que ChatGPT-4 pour de nombreuses tâches », a déclaré à NBC Simon Willison, programmeur et analyste technologique. La question est désormais de savoir jusqu'à quel point les modèles peuvent être petits tout en restant utiles. C'est une question que la communauté open source explore très rapidement.
Cela est tout à fait similaire à l'opinion de nombreux experts selon laquelle le point le plus fort est aussi le point le plus faible s'il est exploité et observé correctement, comme dans l'histoire du géant Goliath vaincu par le petit berger David avec seulement une fronde.
Cependant, avec l’histoire du développement de l’IA, tout le monde ne sera peut-être pas d’accord avec cet argument. La réalité est que les logiciels propriétaires payants existent toujours, comme Adobe Photoshop ou Microsoft Windows, et le domaine de l’IA est susceptible de suivre le même chemin de développement.
(Selon l'économiste YahooFinance)
Source
Comment (0)