Pho GPT signifie Pho - Generative Pre-trained Transformer, c'est un grand projet de modèle de langage dédié au vietnamien, mis en œuvre par l'équipe d'ingénierie VinAI - membre de Vingroup Corporation.
« Rattraper » la technologie mondiale
Pho GPT utilise du code open source au lieu d'un logiciel propriétaire comme ChatGPT d'OpenAI. Cela signifie que le code source de Pho GPT est public, disponible et que les utilisateurs peuvent contribuer au développement de Pho GPT via des applications personnalisées.
Selon l'introduction de VinAI, Pho GPT dispose de 7,5 milliards de paramètres, construits sur la plate-forme de décodage Transformer. Ce modèle est formé à partir de zéro, en utilisant des techniques de pointe telles que Flash Attention et l'extrapolation de la longueur du contexte AliBi.
Ces techniques aident non seulement Pho GPT à comprendre le contexte plus en profondeur, mais augmentent également la capacité de l'application à dialoguer et à interagir naturellement pendant son utilisation. Cela fait du modèle un outil polyvalent et multitâche, capable de répondre à un large éventail de besoins linguistiques des utilisateurs.
 |
M. Bui Hai Hung, directeur général de VinAI. |
Partageant l'importance de la naissance de Pho GPT, M. Bui Hai Hung, directeur général de VinAI, a déclaré que l'objectif du projet est de développer des modèles similaires à ChatGPT pour la langue et la culture vietnamiennes. Pho GPT a la capacité de comprendre et d'écrire du texte vietnamien d'une manière supérieure aux technologies linguistiques des générations précédentes. Le modèle est également formé à partir de zéro avec un ensemble de données vietnamiennes, indépendamment de tout autre modèle dans le monde, garantissant la maîtrise de la technologie de base avancée pour le Vietnam.
Il convient de mentionner que, juste au moment où le monde était en effervescence autour de la naissance de Chat GPT, un an plus tard, Pho GPT est apparu au Vietnam. Selon M. Bui Hai Hung, VinAI est le pionnier en Asie du Sud-Est à lancer un grand modèle linguistique avec un code open source. Quelques semaines plus tard, un produit similaire a été lancé à Singapour.
L'IA vietnamienne en plein essor
Les résultats de la comparaison de la version Pho GPT-7B5-Instruct avec le ChatGPT à source fermée (GPT-3.5-turbo) et d'autres modèles open source montrent que Pho GPT se classe deuxième, seulement après ChatGPT dans la plupart des catégories d'évaluation.
Pho GPT présente de nombreuses différences par rapport aux autres modèles de langage, en particulier ChatGPT. Il est conçu pour comprendre et écrire le style d'écriture vietnamien de manière naturelle, reflétant le contexte, la grammaire, le vocabulaire et les expressions du peuple vietnamien. Il peut interagir avec les utilisateurs sur des sujets liés à la culture vietnamienne, à l'histoire, à la géographie, à la société, au divertissement, aux sports, etc.
De plus, Pho GPT est open source et flexible. Les utilisateurs peuvent développer des applications personnalisées et uniques, en particulier celles nécessitant une sécurité élevée, sans dépendre de sources de logiciels propriétaires.
Dans le même temps, la priorité de Pho GPT est également la haute performance et les économies de coûts avec une formation utilisant les dernières techniques d'optimisation, contribuant à réduire la taille et à augmenter la vitesse de l'application. GPT Pho peut également fonctionner sur des plates-formes informatiques plus petites, réduisant ainsi les coûts et économisant des ressources.
Formé avec un entrepôt de données vietnamien allant jusqu'à 41 Go, dont 1 Go de texte Wikipédia et une variante de 40 Go qui a supprimé les doublons de l'ensemble de données d'actualités, formé à l'aide de la bibliothèque llm-foundry de Mosaicml llm, Pho GPT peut générer des fragments de texte en fonction des demandes des utilisateurs, tels que des articles, des poèmes, des chansons, des essais, des discours, des introductions... Pho GPT peut également créer du contenu créatif et humoristique, comme des nouvelles, des commentaires, des proverbes, des messages, des tweets, des mèmes... En même temps, il dialogue également avec les utilisateurs sur différents sujets tels que l'actualité, l'éducation, la santé, les voyages, la cuisine, le sport, le divertissement... Par ailleurs, Pho GPT peut également répondre aux questions des utilisateurs, fournir des informations, des conseils, un soutien, répondre aux questions...
De plus, Pho GPT peut traduire des textes ou types de textes de nature différente tels que des documents officiels, commerciaux, académiques, littéraires... du vietnamien vers d'autres langues et vice versa.
Une autre caractéristique remarquable est que Pho GPT analyse et traite des passages de texte, tels que le résumé, la classification, l'étiquetage, l'extraction d'informations, la détection des émotions, la détection des erreurs, l'amélioration du style d'écriture, etc.
À l’avenir, l’équipe de développement de Pho GPT a déclaré qu’elle continuerait d’améliorer le modèle et d’étendre le projet à d’autres langues, en particulier dans la région de l’Asie du Sud-Est.
« La naissance de Pho GPT marque la première fois que le Vietnam a l'opportunité de « rattraper » le monde dans ce domaine de technologie de pointe et de posséder un grand modèle linguistique avec un code source ouvert spécifiquement pour les Vietnamiens, optimisé pour la langue vietnamienne, indépendant du monde. « C'est la fierté de Vin AI en particulier et du peuple vietnamien en général », a ajouté un représentant de VinAI.
Commentant le potentiel et les opportunités de développement de Pho GPT dans les temps à venir, M. Tran Duy Dong, vice-ministre de la Planification et de l'Investissement, a souligné : « L'IA sera l'un des domaines dans lesquels le Vietnam a beaucoup de potentiel pour se développer fortement et rattraper bientôt le niveau mondial. Le Ministère soutiendra et accompagnera toujours la communauté de l'IA en particulier et la communauté scientifique et technologique en général, pour développer un écosystème d'innovation complet et dynamique, contribuant au développement global du pays.
Source
Comment (0)