AI의 치명적인 약점

AI는 아직 프로그래밍 분야에서 인간을 대체할 수 없습니다. 사진: 존 맥과이어 .

최근 들어 OpenAI, Anthropic의 선도적인 AI 모델이 프로그래밍 애플리케이션에 점점 더 널리 사용되고 있습니다. ChatGPT와 Claude는 수백 줄의 코드를 분석할 수 있도록 메모리와 처리 능력을 향상시켰고, Gemini는 프로그래머를 위해 특별히 Canvas 결과 표시 기능을 통합했습니다.

2024년 10월, 구글 CEO 순다르 피차이는 회사의 신규 코드 중 25%가 AI에 의해 생성되었다고 밝혔습니다. Meta의 CEO인 마크 주커버그도 회사 내에서 코딩 AI 모델을 광범위하게 배포하려는 야망을 표명했습니다.

그러나 Microsoft의 R&D 부서인 Microsoft Research의 새로운 연구에 따르면 Anthropic의 Claude 3.7 Sonnet과 OpenAI의 o3-mini를 포함한 AI 모델은 SWE-bench Lite라는 프로그래밍 테스트 벤치마크에서 많은 오류를 처리하지 못하는 것으로 나타났습니다.

연구 저자들은 Python 디버거와 같은 다양한 디버깅 도구와 통합된 9개의 서로 다른 AI 모델을 테스트했고, 단일 명령문으로 문제를 처리할 수 있었습니다. 이 모델은 SWE-bench Lite 데이터 세트에서 선택한 300개의 소프트웨어 버그를 해결하는 임무를 맡았습니다.

SWE-bench Lite 데이터세트를 사용하여 프로그래밍 문제를 풀 때의 성공률. 사진: 마이크로소프트.

더 새롭고 강력한 모델을 갖추었을 때에도 AI 에이전트가 할당된 디버깅 작업의 절반 이상을 성공적으로 완료하는 경우는 드물다는 결과가 나왔습니다. 테스트된 모델 중 Claude 3.7 Sonnet은 48.4%로 가장 높은 평균 성공률을 달성했고, 그 뒤를 이어 OpenAI의 o1이 30.2%, o3-mini가 22.1%를 기록했습니다.

이렇게 성능이 낮은 이유 중 하나는 일부 모델이 제공된 디버깅 도구를 적용하는 방법을 이해하지 못하기 때문입니다. 게다가 저자들에 따르면 더 큰 문제는 데이터가 부족하다는 것입니다.

그들은 모델을 훈련하는 시스템에는 아직 인간이 처음부터 끝까지 수행하는 디버깅 단계를 시뮬레이션하는 데이터가 부족하다고 주장합니다. 다시 말해, AI는 실제 소프트웨어 버그를 다룰 때 인간이 단계별로 어떻게 생각하고 행동하는지에 대해 충분히 학습하지 못했습니다.

모델을 훈련하고 미세 조정하면 소프트웨어 디버깅 능력이 향상됩니다. "하지만 이를 위해서는 훈련을 위한 전문적인 데이터 세트가 필요할 것"이라고 저자들은 말했다.

많은 연구에서 프로그래밍 논리를 이해하는 능력의 한계 등 AI의 약점으로 인해 코드 생성 과정에서 보안 취약성과 오류가 발생한다는 점을 지적했습니다. AI 프로그래밍 도구인 Devin에 대한 최근 리뷰에 따르면, 20개의 프로그래밍 테스트 중 3개만 완료한 것으로 나타났습니다.

AI의 프로그래밍 가능성은 여전히 ​​논란의 여지가 있다. 이전에 OpenAI의 제품 디렉터인 케빈 와일 씨는 올해 말까지 AI가 인간 프로그래머를 능가할 것이라고 말했습니다.

반면, 마이크로소프트의 공동 창립자인 빌 게이츠는 프로그래밍이 미래에도 지속 가능한 직업이 될 것이라고 믿고 있습니다. 암자드 마사드(Replit의 CEO), 토드 매키넌(Okta의 CEO), 아빈드 크리슈나(IBM의 CEO) 등 다른 리더들도 이러한 견해를 지지했습니다.

Microsoft의 연구는 새로운 것은 아니지만, 관리자를 포함한 프로그래머에게 코딩에 대한 완전한 제어권을 AI에 넘기기 전에 좀 더 신중하게 생각해야 한다는 것을 일깨워줍니다.

출처: https://znews.vn/diem-yeu-chi-mang-cua-ai-post1545220.html