GPT Pho, 베트남을 세계 기술 지도에 올려놓다

[광고_1]

Pho GPT는 Pho - Generative Pre-trained Transformer의 약자로, Vingroup Corporation의 일원인 VinAI 엔지니어링 팀이 구현한 베트남어 전문 대규모 언어 모델 프로젝트입니다.

세계 기술을 따라잡다

Pho GPT는 OpenAI의 ChatGPT와 같은 독점 소프트웨어 대신 오픈 소스 코드를 사용합니다. 즉, Pho GPT의 소스 코드는 공개되어 있으며, 사용자는 맞춤형 애플리케이션을 통해 Pho GPT 개발에 기여할 수 있습니다.

VinAI의 소개에 따르면 Pho GPT는 Transformer 디코딩 플랫폼을 기반으로 75억 개의 매개변수를 가지고 있습니다. 이 모델은 Flash Attention 및 AliBi 컨텍스트 길이 외삽법과 같은 최첨단 기술을 사용하여 처음부터 학습되었습니다.

이러한 기술은 Pho GPT가 맥락을 더 깊이 이해하는 데 도움이 될 뿐만 아니라, 사용 중에 애플리케이션이 자연스럽게 대화하고 상호 작용할 수 있는 능력도 향상시킵니다. 이로 인해 이 모델은 다양한 사용자 언어 요구 사항을 충족할 수 있는 다재다능하고 멀티태스킹 도구가 되었습니다.

VinAI의 Bui Hai Hung 대표.

VinAI의 총괄 이사인 부이 하이 훙 씨는 Pho GPT 탄생의 의미에 대해 공유하면서, 이 프로젝트의 목표는 베트남어와 베트남 문화에 대한 ChatGPT와 유사한 모델을 개발하는 것이라고 말했습니다. Pho GPT는 이전 세대의 언어 기술보다 뛰어난 방식으로 베트남어 텍스트를 이해하고 쓸 수 있는 능력을 갖추고 있습니다. 또한 이 모델은 세계의 다른 모델과 독립적으로 베트남 데이터 세트를 사용하여 처음부터 학습되었으며, 이를 통해 베트남의 첨단 핵심 기술에 대한 숙달이 보장됩니다.

전 세계가 Chat GPT의 탄생에 열광하던 바로 그 때, 1년 후 베트남에 Pho GPT가 등장했다는 점도 언급할 가치가 있습니다. 부이 하이 훙(Bui Hai Hung) 씨에 따르면, VinAI는 오픈 소스 코드를 사용하여 대규모 언어 모델을 출시한 동남아시아의 선구자입니다. 몇 주 후에 싱가포르에서도 비슷한 제품이 출시되었습니다.

베트남 AI 향상

Pho GPT-7B5-Instruct 버전과 폐쇄형 소스인 ChatGPT(GPT-3.5-turbo) 및 기타 오픈 소스 모델을 비교한 결과, Pho GPT는 대부분 평가 범주에서 ChatGPT에 이어 2위를 차지했습니다.

Pho GPT는 다른 언어 모델, 특히 ChatGPT와 비교했을 때 많은 차이점이 있습니다. 이 교재는 베트남 사람들의 맥락, 문법, 어휘, 표현을 반영하여 베트남어 글쓰기 스타일을 자연스럽게 이해하고 쓸 수 있도록 고안되었습니다. 베트남의 문화, 역사, 지리, 사회, 엔터테인먼트, 스포츠 등과 관련된 주제에 대해 사용자와 상호 작용할 수 있습니다.

더욱이 Pho GPT는 오픈 소스이고 유연합니다. 사용자는 독점적인 소프트웨어 소스에 의존하지 않고도, 특히 높은 보안이 필요한 애플리케이션을 위해 맞춤형이고 고유한 애플리케이션을 개발할 수 있습니다.

동시에 Pho GPT의 우선순위는 최신 최적화 기술을 사용한 학습을 통해 고성능과 비용 절감이며, 이를 통해 애플리케이션 크기를 줄이고 속도를 높이는 데 도움이 됩니다. GPT는 더 작은 컴퓨팅 플랫폼에서도 실행될 수 있으므로 비용을 절감하고 리소스를 절약할 수 있습니다.

최대 41GB의 베트남어 데이터웨어하우스로 학습되었으며, 여기에는 1GB의 위키피디아 텍스트와 뉴스 데이터 세트에서 중복을 제거한 40GB 변형이 포함되고 Mosaicml llm의 llm-foundry 라이브러리를 사용하여 학습된 Pho GPT는 기사, 시, 노래, 에세이, 연설, 소개 등과 같은 사용자 요청에 따라 텍스트 조각을 생성할 수 있습니다. 또한 Pho GPT는 단편 소설, 댓글, 속담, 메시지, 트윗, 밈과 같은 창의적이고 유머러스한 콘텐츠를 생성할 수도 있습니다. 동시에 시사, 교육, 건강, 여행, 요리, 스포츠, 엔터테인먼트와 같은 다양한 주제에 대해 사용자와 대화합니다. 그 밖에도 Pho GPT는 사용자의 질문에 답하고, 정보를 제공하고, 조언과 지원을 제공하고, 질문에 답할 수도 있습니다.

또한 Pho GPT는 공식, 상업, 학술, 문학 문서 등 다양한 성격의 텍스트나 텍스트 유형을 베트남어에서 다른 언어로 번역할 수 있으며, 그 반대의 작업도 가능합니다.

또 다른 뛰어난 특징은 Pho GPT가 요약, 분류, 라벨링, 정보 추출, 감정 감지, 오류 감지, 글쓰기 스타일 개선 등 텍스트 구절을 분석하고 처리한다는 것입니다.

Pho GPT 개발팀은 앞으로도 모델을 개선하고 특히 동남아시아 지역을 중심으로 다른 언어로 프로젝트를 확장할 것이라고 밝혔습니다.

"Pho GPT의 탄생은 베트남이 이 첨단 기술 분야에서 세계를 '따라잡을' 수 있는 첫 번째 기회를 얻게 된 것을 의미하며, 베트남어에 최적화된 오픈 소스 코드를 갖춘 대규모 언어 모델을 보유하게 되어 세계와 무관하게 운영될 수 있게 되었습니다. 이는 특히 Vin AI, 그리고 베트남 국민 전체의 자부심입니다."라고 VinAI 관계자는 덧붙였습니다.

향후 포 GPT의 잠재력과 발전 기회에 대해 논평하며, 기획투자부 차관 쩐 주이 동(Tran Duy Dong)은 다음과 같이 강조했습니다. "AI는 베트남이 빠르게 발전하고 곧 세계 수준을 따라잡을 수 있는 잠재력이 큰 분야 중 하나입니다. 기획투자부는 AI 분야, 특히 과학기술 분야 전반을 지속적으로 지원하고 협력하여 포괄적이고 역동적인 혁신 생태계를 구축하고 국가 발전에 기여할 것입니다."

[광고_2]
원천