오디오 딥페이크, 잘못된 정보에 대한 새로운 우려

[광고_1]

월요일, 뉴햄프셔 주 검찰총장실은 유권자 조작 가능성에 대한 조사에 착수한다고 발표했습니다. 이는 미국 대통령 조 바이든과 똑같은 목소리를 내는 가짜 목소리가 유권자들에게 해당 주의 예비선거에 투표하지 말라고 촉구한다는 불만이 제기된 이후에 나온 것입니다.

연구자들은 또한 정치인과 지도자를 모방하기 위해 딥페이크 오디오가 사용되는 사례에 대해 경고했으며, 이러한 주요 사례는 2023년 영국, 인도, 나이지리아, 수단, 에티오피아, 슬로바키아에서 발생했습니다.

딥페이크 새로운 오디오 새로운 정보 거짓 이미지 1 — 한 사람이 미국 뉴햄프셔주에서 실시된 예비선거에서 투표하고 있다. 사진: 게티

전문가들은 스타트업에서 저렴하면서도 효과적인 AI 도구가 다양하게 등장하면서 딥페이크 오디오가 대중적인 잘못된 정보의 한 형태가 되었다고 말합니다. 마이크로소프트는 단 3초간의 녹음만으로 음성을 복제할 수 있는 새로운 AI 모델을 개발했습니다.

AI 및 딥페이크 전문가이자 Adobe, Meta, EY의 컨설턴트인 헨리 아이더는 "시각적 조작에 관한 한 누구나 포토샵에 익숙하거나 적어도 그 존재를 알고 있습니다."라고 말했습니다. "오디오가 어떻게 조작될 수 있는지에 대한 인식이 거의 없어서 우리는 정말 취약한 존재라고 생각합니다."

9월, 뉴스 웹사이트의 품질과 신뢰성을 평가하는 시스템인 NewsGuard는 합법적인 뉴스 사이트를 사칭하는 TikTok 계정 네트워크를 발견했는데, 이 계정들은 AI가 생성한 콘텐츠를 사용해 음모론과 정치적 허위 정보를 퍼뜨렸습니다. 전 미국 대통령 버락 오바마의 음성을 포함한 딥페이크 오디오 녹음은 수억 회 조회되었습니다.

가짜 내레이션은 Andreessen Horowitz가 지원하는 ElevenLabs가 제공한 도구를 통해 생성된 것으로 보이며, 해당 클립은 수억 번의 조회수를 기록했다고 NewsGuard는 전했습니다.

ElevenLabs는 "저희 플랫폼을 사용하는 사용자의 99% 이상이 흥미롭고 창의적이며 유용한 콘텐츠를 만들고 있지만, 오용 사례가 있다는 것을 인지하고 있으며 이를 제한하기 위한 보호 장치를 지속적으로 개발하고 도입해 왔습니다."라고 밝혔습니다.

2년 전 Google과 Palantir의 전직 직원인 Piotr Dabkowski와 Mati Staniszewski가 설립한 ElevenLabs는 단 한 번의 클릭으로 기본적인 AI 오디오 생성 도구를 무료로 제공합니다. 구독 플랜은 월 1달러부터 월 330달러 이상까지 다양하며, 더욱 복잡한 서비스를 원하는 사람들을 위해 마련되었습니다.

작년에 미국 정보 기관은 보고서에서 "정교하고 잘 훈련된 AI 음성 복제 모델이 출시되면서 개인화된 AI 사기가 크게 증가했다"고 경고했습니다.

정치 전문가들은 금전적 목적을 가진 사기 외에도 바이러스성 딥페이크 오디오 클립과 로봇콜이나 캠페인에 딥페이크를 사용하는 것에 대해서도 경고하고 있습니다. 사이버 보안 그룹 ZeroFox의 부사장이자 저명한 정보 연구원인 AJ 내쉬는 "휴대전화를 표적으로 삼아 강력하고 광범위한 허위 정보 캠페인을 구축할 수 있다"고 말했습니다.

이들 회사 중 일부는 잘못된 정보를 퇴치하기 위해 적극적으로 다른 방법을 모색해 왔습니다. Microsoft는 윤리 성명을 발표하고 사용자들에게 AI 오디오 엔진의 오용을 신고해 줄 것을 촉구했습니다. ElevenLabs는 자체 시스템에서 생성된 녹음을 식별하기 위해 자체 감지 도구를 구축했습니다.

인권 단체인 프리덤 하우스에 따르면, 나이지리아의 2023년 선거 기간 동안 AI가 조작한 영상이 소셜 미디어에서 "야당 후보가 투표를 조작할 계획이라고 암시하는 내용"으로 퍼졌습니다.

슬로바키아에서는 야당 후보 미할 시메츠카가 선거를 조작하려는 음모를 꾸민 것으로 보이는 가짜 오디오 녹음이 9월 대선을 며칠 앞두고 급속도로 퍼졌습니다.

비영리 소비자 권익 옹호 단체인 퍼블릭 시티즌(Public Citizen)의 로버트 와이스먼 회장은 "뉴햄프셔의 딥페이크 사건은 딥페이크가 얼마나 다양한 방식으로 사람들을 혼란스럽게 하고 속일 수 있는지를 일깨워주는 사건"이라고 말했습니다. "정치적 딥페이크 시대가 도래했습니다. 정책 입안자들은 신속하게 안전장치를 마련해야 합니다. 그렇지 않으면 선거 혼란에 직면하게 될 것입니다."

마이안 (FT에 따르면)

[광고_2]
원천