인공지능이 똑똑해질수록 자신의 무지함을 감출 가능성이 높아지는 게 아닐까?

스페인 발렌시아 폴리테크닉 대학의 인공지능(AI) 연구팀은 대규모 언어 모델이 점점 더 크고 정교해질수록 사용자에게 답을 모른다고 인정할 가능성이 낮아지는 경향이 있다는 것을 발견했습니다. [광고_1]

AI가 더 똑똑해질수록 사용자에게 답을 모른다고 인정할 가능성은 줄어듭니다. (일러스트 이미지 AI)

Nature 저널에 게재된 연구에서 연구팀은 가장 인기 있는 AI 챗봇 3종의 최신 버전을 대상으로 반응성, 정확성, 사용자가 잘못된 답변을 찾아내는 능력 등을 테스트했습니다.

가장 인기 있는 LLM 3종인 BLOOM, LLaMA, GPT의 정확성을 테스트하기 위해 연구팀은 수천 개의 질문을 제시하고 이전 버전의 동일한 질문에 대한 답변과 받은 답변을 비교했습니다. 또한 수학, 과학, 단어 퍼즐, 지리 등 교과목이 다양하며, 텍스트를 작성하거나 목록 정렬과 같은 작업을 수행하는 능력도 뛰어납니다.

연구 결과에서는 몇 가지 주목할 만한 추세가 드러났습니다. 전반적인 챗봇의 정확도는 새로운 버전이 나올 때마다 향상되지만, 더 어려운 질문을 접하면 여전히 떨어집니다. 놀랍게도 LLM이 더 크고 정교해질수록 정답을 맞힐 수 있는 능력에 대해 덜 열려 있는 경향이 있습니다.

이전 버전에서는 대부분의 LLM은 사용자가 답변을 찾을 수 없거나 추가 정보가 필요할 때 사용자에게 직접 알렸습니다. 이와 대조적으로, 새로운 버전은 더 많은 것을 추측하는 경향이 있어, 전체적으로 정답과 오답을 모두 포함한 답변이 더 많아졌습니다. 더욱 우려스러운 점은, 이 연구에서 모든 LLM이 쉬운 질문에도 여전히 가끔 틀린 답변을 했다는 사실을 발견했는데, 이는 LLM의 신뢰도가 개선이 필요한 문제로 남아 있음을 시사합니다.

이러한 연구 결과는 AI 진화의 역설을 보여줍니다. 즉, 모델이 더욱 강력해지는 반면, 그 한계에 대한 투명성은 점점 낮아지고 있다는 것입니다.

이는 AI 시스템의 사용과 신뢰에 새로운 과제를 제기하며, 사용자는 더 신중해야 하고 개발자는 모델의 정확도뿐만 아니라 '자기 인식'을 개선하는 데 집중해야 합니다.

출처: https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html