Une équipe de recherche en intelligence artificielle (IA) de l'Université Polytechnique de Valence, en Espagne, a découvert qu'à mesure que les grands modèles linguistiques deviennent plus grands et plus sophistiqués, ils ont tendance à être moins susceptibles d'admettre aux utilisateurs qu'ils ne connaissent pas la réponse.
 |
| Plus l’IA devient intelligente, moins elle est susceptible d’admettre aux utilisateurs qu’elle ne connaît pas la réponse. (Image d'illustration IA) |
Dans l’étude, publiée dans la revue Nature , l’équipe a testé les dernières versions de trois des chatbots IA les plus populaires sur la réactivité, la précision et la capacité des utilisateurs à repérer les réponses incorrectes.
Pour tester l’exactitude des trois LLM les plus populaires, BLOOM, LLaMA et GPT, l’équipe a posé des milliers de questions et comparé les réponses reçues avec les réponses des versions précédentes aux mêmes questions. Ils varient également en termes de sujets, notamment les mathématiques, les sciences, les mots croisés et la géographie, ainsi que la capacité à créer du texte ou à effectuer des actions comme trier des listes.
Les résultats de l’étude ont révélé quelques tendances notables. La précision globale des chatbots s’améliore à chaque nouvelle version, mais diminue toujours lorsqu’ils sont confrontés à des questions plus difficiles. Étonnamment, à mesure que les LLM deviennent plus grands et plus sophistiqués, ils ont tendance à être moins ouverts quant à leur capacité à répondre correctement.
Dans les versions précédentes, la plupart des LLM étaient francs avec les utilisateurs lorsqu'ils ne trouvaient pas de réponse ou avaient besoin de plus d'informations. En revanche, les versions plus récentes ont tendance à deviner davantage, ce qui donne lieu à davantage de réponses au total, y compris des réponses correctes et incorrectes. Plus inquiétant encore, l’étude a révélé que tous les LLM donnaient encore occasionnellement des réponses incorrectes, même à des questions faciles, ce qui suggère que leur fiabilité reste un problème qui doit être amélioré.
Ces résultats mettent en évidence un paradoxe dans l’évolution de l’IA : alors que les modèles deviennent plus puissants, ils peuvent également devenir moins transparents quant à leurs limites.
Cela pose de nouveaux défis dans l’utilisation et la confiance dans les systèmes d’IA, obligeant les utilisateurs à être plus prudents et les développeurs à se concentrer sur l’amélioration non seulement de la précision mais aussi de la « conscience de soi » des modèles.
Source : https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html
Comment (0)