OpenAI의 음성-텍스트 AI 도구가 스토리를 만들어내는 것으로 적발

기술 거대 기업인 OpenAI는 자사의 음성-텍스트 변환 도구인 Whisper를 '인간과 같은 정확성과 견고성을 갖춘' AI라고 선전했습니다. 하지만 위스퍼에는 큰 단점이 하나 있습니다. 완전히 허무한 텍스트와 문장을 생성한다는 것입니다.

AI가 생성한 텍스트 중 일부(환각이라고 함)에는 인종적 언급, 폭력적인 언어, 심지어 상상의 의료 치료까지 포함될 수 있습니다. 사진: AP

AP에 따르면, 소프트웨어 엔지니어, 개발자, 학계 연구자들과의 인터뷰를 통해 전문가들은 AI가 생성한 일부 텍스트는 "환각"이라 불리는 실제가 아니라고 밝혔습니다. 의미심장하게도, 이러한 영상에는 인종적 언급, 폭력적인 언어, 심지어 상상의 의학적 치료법까지 포함되어 있습니다.

AI가 생성한 텍스트의 높은 '환상' 비율

전문가들은 Whisper가 전 세계 여러 산업에서 인터뷰 번역 및 필사, 인기 있는 소비자 기술에 대한 텍스트 생성, 비디오 자막 생성 등에 널리 사용되고 있기 때문에 특히 우려하고 있습니다.

더욱 우려스러운 점은 많은 의료 센터가 Whisper를 사용하여 의사와 환자 간의 상담을 전송하고 있지만 OpenAI는 이 도구를 "고위험" 구역에 사용해서는 안 된다고 경고했습니다.

문제의 전체 규모를 파악하기는 어렵지만, 연구자와 엔지니어들은 업무 과정에서 위스퍼 "환각"을 정기적으로 접한다고 말합니다.

미시간 대학의 한 연구자는 자신이 테스트한 오디오 변환 10개 중 8개에서 "환각"을 발견했다고 밝혔습니다. 한 컴퓨터 엔지니어는 100시간 이상의 오디오를 분석한 결과 변환된 내용 중 약 절반에서 "환각" 현상을 발견했습니다. 또 다른 개발자는 Whisper를 사용하여 만든 26,000개의 녹음 중 거의 대부분에서 "환각"을 감지했다고 말했습니다.

짧고 명확하게 녹음된 오디오 샘플에서도 이 문제는 지속됩니다. 컴퓨터 과학자들이 실시한 최근 ​​연구에 따르면 13,000개가 넘는 명확한 오디오 클립에서 187개의 "환상"을 발견했습니다. 연구자들은 이러한 추세로 인해 수백만 건의 녹음에서 수만 건의 거짓 필사본이 발생할 수 있다고 밝혔습니다.

작년까지 바이든 행정부에서 백악관 과학기술국장을 지낸 알론드라 넬슨에 따르면, 이러한 오류는 특히 병원 환경에서 "매우 심각한 결과"를 초래할 수 있습니다.

"아무도 잘못된 진단을 원하지 않습니다." 현재 뉴저지주 프린스턴 고등연구소의 교수인 넬슨은 강조했습니다. "더 높은 기준이 필요합니다."

위스퍼는 청각 장애인과 난청인을 위한 자막을 만드는 데에도 사용됩니다. 청각 장애인과 난청인은 특히 잘못 번역될 위험이 큰 계층입니다. 청각 장애인이자 Gallaudet University의 기술 접근성 프로그램 책임자인 Christian Vogler는 청각 장애인이 "다른 모든 텍스트에 숨겨진" 조작된 문구를 식별할 방법이 없기 때문이라고 말합니다.

OpenAI는 문제를 해결하기 위해 요청되었습니다.

이러한 "환각"의 만연으로 인해 전문가, 옹호자 및 전 OpenAI 직원들은 연방 정부에 AI 규제를 고려할 것을 촉구했습니다. 최소한 OpenAI에서는 이 버그를 해결해야 합니다.

"회사가 우선순위를 정할 의향이 있다면 이 문제는 해결 가능합니다." 2월에 회사의 방향에 대한 우려로 OpenAI를 떠난 샌프란시스코의 연구 엔지니어 윌리엄 손더스의 말이다.

"만약 당신이 그것을 내놓았을 때 사람들이 그것이 무엇을 할 수 있는지에 대해 너무 자신감을 갖고 그것을 다른 모든 시스템에 통합한다면 문제가 될 것입니다." OpenAI 대변인은 회사가 "환상"을 완화하는 방법을 끊임없이 연구하고 있으며 연구자들의 발견에 감사하고 있으며 OpenAI가 피드백을 모델 업데이트에 통합한다고 덧붙였습니다.

대부분의 개발자들은 텍스트 음성 변환 엔진이 오타나 다른 실수를 할 수 있다고 생각하지만, 엔지니어와 연구자들은 Whisper만큼 "환각"을 유발하는 AI 기반 텍스트 음성 변환 엔진을 본 적이 없다고 말합니다.

출처: https://tuoitre.vn/cong-cu-ai-chuyen-loi-noi-thanh-van-ban-cua-openai-bi-phat-hien-bia-chuyen-20241031144507089.htm