En quoi ChatGPT est-il inférieur au chatbot de Baidu ?

D'après un rapport de NewsGuard, organisme de surveillance de la désinformation, ChatGPT fournit davantage d'informations inexactes en chinois qu'en anglais. Bien que les modèles soient multilingues, les langues représentent des régions distinctes et partiellement superposées de l'ensemble de données, et les modèles ne disposent d'aucun mécanisme permettant de comparer le degré de différence entre les phrases ou les prédictions au sein de ces régions.

Selon TechCrunch , lorsque les utilisateurs demandent à ChatGPT de répondre en anglais, celui-ci récupère principalement toutes les données en anglais dont il dispose, et il en va de même pour le chinois.

En mars, Baidu a lancé « Ernie Bot », un chatbot basé sur le modèle d'intelligence artificielle Ernie, développé par le géant chinois de la recherche. Dans le contexte de la course technologique intense qui oppose les États-Unis et la Chine, les investissements et le développement de l'IA par Baidu suscitent un intérêt accru.

Selon Reuters, Baidu a cité les résultats de tests effectués par le China Science Daily à l'aide des ensembles de données AGIEval et C-Eval, deux normes utilisées pour évaluer les performances des modèles d'IA.

La course au développement de l'IA en Chine compte actuellement trois acteurs majeurs : Tencent, Alibaba et Baidu.

Ernie, avec un score de 3,5, a démontré des aptitudes exceptionnelles à un test de langue chinoise basé sur des examens d'entrée et de compétence, tels que ceux des examens d'entrée à l'université ou des examens de certification du barreau.

Dans un autre test de langue chinoise comportant 13 000 questions à choix multiples couvrant 50 thèmes différents, Ernie 3.5 a continué de démontrer sa supériorité sur ses deux concurrents d'OpenAI. Cependant, lors d'un troisième test élaboré par un groupe d'universités américaines, incluant des questions de sciences et de sciences sociales, Ernie 3.5 a été largement surpassé par ChatGPT et GPT 4.

Le directeur technique de Baidu, Haifeng Wang, a déclaré que trois mois seulement après la sortie de la version bêta d'Ernie Bot, le modèle de langage à grande échelle (LLM) de Baidu, basé sur Ernie 3.0 et Ernie 3.5, a enregistré des améliorations significatives en termes d'efficacité, de fonctionnalités et de performances. Ces améliorations sont manifestes dans la rédaction, l'interrogation, le raisonnement et la génération de code, ainsi que dans les performances d'entraînement et d'inférence, a-t-il précisé.

Baidu a également indiqué que le nouveau modèle prendra en charge les plugins de Baidu et de tiers. L'entreprise a précisé que le plugin « Baidu Search » a été intégré et permet à Ernie Bot de générer des informations précises et en temps réel. Les plugins sont des applications supplémentaires qui permettent à l'IA de fonctionner dans des situations spécifiques, comme la synthèse de textes longs et la génération de réponses plus pertinentes.

D'après un test réalisé en juin par l'agence de presse Xinhua, Ernie Bot de Baidu s'est classé premier parmi les « ChatGPT chinois ». Baidu s'efforce d'intégrer Ernie Bot à d'autres produits, tels que ses services cloud, et a annoncé un fonds de capital-risque de 139 millions de dollars destiné à investir dans des startups chinoises spécialisées dans l'IA générative, selon le SCMP .

Robin Li, PDG et cofondateur de Baidu, a déclaré qu'il était prévisible que les grands modèles de langage pénètrent de plus en plus dans de nombreux domaines, devenant ainsi un facteur clé de la croissance de l' économie numérique.

Lien source