GPT Pho, 베트남을 세계 기술 지도에 올려놓다

[광고1]

Pho GPT는 Pho - Generative Pre-trained Transformer의 약자로, Vingroup Corporation의 일원인 VinAI 엔지니어링 팀이 구현한 베트남어 전문 대규모 언어 모델 프로젝트입니다.

세계 기술을 따라잡다

Pho GPT는 OpenAI의 ChatGPT와 같은 독점 소프트웨어 대신 오픈 소스 코드를 사용합니다. 즉, Pho GPT의 소스 코드는 공개되어 있고, 사용 가능하며, 사용자는 맞춤형 애플리케이션을 통해 Pho GPT 개발에 기여할 수 있습니다.

VinAI의 소개에 따르면 Pho GPT는 Transformer 디코딩 플랫폼을 기반으로 75억 개의 매개변수를 보유하고 있습니다. 이 모델은 Flash Attention과 AliBi 컨텍스트 길이 외삽법과 같은 최첨단 기술을 사용하여 처음부터 훈련되었습니다.

이러한 기술은 Pho GPT가 맥락을 더욱 심층적으로 이해하는 데 도움이 될 뿐만 아니라 사용 중에 애플리케이션의 자연스러운 대화 및 상호 작용 기능을 향상시킵니다. 이로 인해 이 모델은 다양한 사용자 언어 요구 사항을 충족할 수 있는 다재다능하고 멀티태스킹 도구가 되었습니다.

VinAI의 총괄 이사, 부이 하이 훙 씨.

VinAI의 총괄 이사인 부이 하이 헝 씨는 Pho GPT의 탄생의 중요성에 대해 공유하면서, 이 프로젝트의 목표는 베트남어와 베트남 문화에 대한 ChatGPT와 유사한 모델을 개발하는 것이라고 말했습니다. Pho GPT는 이전 세대의 언어 기술보다 뛰어난 방식으로 베트남어 텍스트를 이해하고 쓸 수 있는 능력을 가지고 있습니다. 또한 이 모델은 세계의 다른 모든 모델과 독립적으로 베트남 데이터 세트를 사용하여 처음부터 훈련을 받았으며, 이를 통해 베트남의 첨단 핵심 기술에 대한 숙달이 보장됩니다.

전 세계가 Chat GPT의 탄생에 대해 떠들썩하던 바로 그 때, 1년 후 베트남에 Pho GPT가 등장했다는 점도 언급할 가치가 있습니다. Bui Hai Hung 씨에 따르면 VinAI는 오픈 소스 코드로 대규모 언어 모델을 출시한 동남아시아의 선구자입니다. 몇 주 후에 비슷한 제품이 싱가포르에서 출시되었습니다.

베트남 AI를 높이다

Pho GPT-7B5-Instruct 버전을 폐쇄 소스 ChatGPT(GPT-3.5-turbo) 및 기타 오픈 소스 모델과 비교한 결과에 따르면, Pho GPT는 대부분 평가 범주에서 ChatGPT에 이어 2위를 차지했습니다.

Pho GPT는 다른 언어 모델, 특히 ChatGPT와 비교하여 많은 차이점이 있습니다. 이 교재는 베트남 사람들의 맥락, 문법, 어휘, 표현 등을 반영하여 베트남어 글쓰기 스타일을 자연스럽게 이해하고 쓸 수 있도록 고안되었습니다. 베트남의 문화, 역사, 지리, 사회, 엔터테인먼트, 스포츠 등과 관련된 주제로 사용자와 상호 작용할 수 있습니다.

더욱이 Pho GPT는 오픈 소스이고 유연합니다. 사용자는 독점적인 소프트웨어 소스에 의존하지 않고도, 특히 높은 보안이 요구되는 맞춤형 및 고유한 애플리케이션을 개발할 수 있습니다.

동시에, Pho GPT의 우선순위는 최신 최적화 기술을 사용하여 학습을 진행하고, 이를 통해 고성능과 비용 절감을 달성하여 애플리케이션의 크기를 줄이고 속도를 높이는 것입니다. GPT Pho는 더 작은 컴퓨팅 플랫폼에서도 실행될 수 있어 비용을 줄이고 리소스를 절약할 수 있습니다.

최대 41GB의 베트남어 데이터웨어하우스로 학습되었으며, 여기에는 1GB의 위키피디아 텍스트와 뉴스 데이터 세트에서 중복을 제거한 40GB 변형이 포함되고 Mosaicml llm의 llm-foundry 라이브러리를 사용하여 학습된 Pho GPT는 기사, 시, 노래, 에세이, 연설, 소개 등과 같은 사용자 요청에 따라 텍스트 조각을 생성할 수 있습니다. Pho GPT는 또한 단편 소설, 코멘트, 속담, 메시지, 트윗, 밈과 같은 창의적이고 유머러스한 콘텐츠를 생성할 수 있습니다. 동시에, 시사, 교육, 건강, 여행, 요리, 스포츠, 엔터테인먼트와 같은 다양한 주제에 대해 사용자와 대화합니다. 그 외에도 Pho GPT는 사용자의 질문에 답하고, 정보를 제공하고, 조언과 지원을 제공하고, 질문에 답할 수도 있습니다.

또한, Pho GPT는 공식, 상업, 학술, 문학 문서 등 다양한 성격의 텍스트나 텍스트 유형을 베트남어에서 다른 언어로 번역할 수 있으며, 그 반대의 경우도 가능합니다.

또 다른 뛰어난 특징은 Pho GPT가 요약, 분류, 라벨 지정, 정보 추출, 감정 감지, 오류 감지, 글쓰기 스타일 개선 등 텍스트 구절을 분석하고 처리한다는 것입니다.

Pho GPT 개발팀은 앞으로도 모델을 개선하고 다른 언어, 특히 동남아시아 지역으로 프로젝트를 확장할 것이라고 밝혔습니다.

"Pho GPT의 탄생은 베트남이 이 첨단 기술 분야에서 세계를 "따라잡을" 수 있는 첫 번째 기회를 얻었고, 베트남인을 위해 특별히 오픈 소스 코드가 있는 대규모 언어 모델을 소유하게 되었으며, 베트남어에 최적화되었으며, 세계와 무관합니다. 이는 특히 Vin AI와 베트남인 전체의 자부심입니다." VinAI의 대표가 덧붙였습니다.

앞으로 Pho GPT의 잠재력과 개발 기회에 대해 논평하면서, 기획투자부 차관인 Tran Duy Dong 씨는 다음과 같이 강조했습니다. "AI는 베트남이 강력하게 개발하고 곧 세계 수준을 따라잡을 수 있는 많은 잠재력을 가진 분야 중 하나가 될 것입니다. 이 부처는 AI 커뮤니티, 특히 과학 기술 커뮤니티 전반을 항상 지원하고 동반하여 포괄적이고 역동적인 혁신 생태계를 개발하고 국가의 전반적인 발전에 기여할 것입니다."

[광고2]
원천