Pho GPT significa Pho - Generative Pre-trained Transformer, es un gran proyecto de modelo de lenguaje dedicado al vietnamita, implementado por el equipo de ingeniería de VinAI, miembro de Vingroup Corporation.
“Ponerse al día” con la tecnología mundial
Pho GPT utiliza código de fuente abierta en lugar de software propietario como ChatGPT de OpenAI. Esto significa que el código fuente de Pho GPT es público, está disponible y los usuarios pueden contribuir al desarrollo de Pho GPT a través de aplicaciones personalizadas.
Según la introducción de VinAI, Pho GPT tiene 7.5 mil millones de parámetros, construidos en la plataforma de decodificación Transformer. Este modelo se entrena desde cero, utilizando técnicas de última generación como Flash Attention y extrapolación de longitud de contexto AliBi.
Estas técnicas no solo ayudan a Pho GPT a comprender el contexto más profundamente, sino que también aumentan la capacidad de la aplicación para dialogar e interactuar naturalmente durante su uso. Esto hace que el modelo sea una herramienta versátil y multitarea, capaz de satisfacer una amplia gama de necesidades lingüísticas del usuario.
 |
Sr. Bui Hai Hung, Director General de VinAI. |
Al compartir sobre la importancia del nacimiento de Pho GPT, el Sr. Bui Hai Hung, Director General de VinAI, dijo que el objetivo del proyecto es desarrollar modelos similares a ChatGPT para el idioma vietnamita y la cultura vietnamita. Pho GPT tiene la capacidad de comprender y escribir texto vietnamita de una manera superior a las tecnologías lingüísticas de generaciones anteriores. El modelo también se entrena desde cero con un conjunto de datos vietnamitas, independientemente de cualquier otro modelo en el mundo, lo que garantiza el dominio de la tecnología central avanzada para Vietnam.
Vale la pena mencionar que, justo cuando el mundo hablaba del nacimiento de Chat GPT, un año después apareció Pho GPT en Vietnam. Según el Sr. Bui Hai Hung, VinAI es pionero en el sudeste asiático en lanzar un gran modelo de lenguaje con código fuente abierto. Unas semanas más tarde, se lanzó un producto similar en Singapur.
Mejorando la inteligencia artificial vietnamita
Los resultados de comparar la versión Pho GPT-7B5-Instruct con el modelo de código cerrado ChatGPT (GPT-3.5-turbo) y otros modelos de código abierto muestran que Pho GPT ocupa el segundo lugar, solo después de ChatGPT en la mayoría de las categorías de evaluación.
Pho GPT tiene muchas diferencias en comparación con otros modelos de lenguaje, especialmente ChatGPT. Está diseñado para comprender y escribir en estilo vietnamita de forma natural, reflejando el contexto, la gramática, el vocabulario y las expresiones del pueblo vietnamita. Puede interactuar con los usuarios sobre temas relacionados con la cultura, historia, geografía, sociedad, entretenimiento, deportes, etc. vietnamitas.
Además, Pho GPT es de código abierto y flexible. Los usuarios pueden desarrollar aplicaciones personalizadas y únicas, especialmente aquellas que requieren alta seguridad, sin depender de fuentes de software propietarias.
Al mismo tiempo, la prioridad de Pho GPT también es el alto rendimiento y el ahorro de costes con entrenamiento utilizando las últimas técnicas de optimización, ayudando a reducir el tamaño y aumentar la velocidad de la aplicación. GPT Pho también puede ejecutarse en plataformas informáticas más pequeñas, lo que reduce costos y ahorra recursos.
Entrenado con un almacén de datos vietnamita de hasta 41 GB, incluyendo 1 GB de texto de Wikipedia y una variante de 40 GB que ha eliminado los duplicados del conjunto de datos de noticias, entrenado usando la biblioteca llm-foundry de Mosaicml llm, Pho GPT puede generar fragmentos de texto según las solicitudes de los usuarios, como artículos, poemas, canciones, ensayos, discursos, introducciones... Pho GPT también puede crear contenido creativo y humorístico, como cuentos, comentarios, proverbios, mensajes, tweets, memes... Al mismo tiempo, también dialoga con los usuarios sobre diferentes temas como actualidad, educación, salud, viajes, gastronomía, deportes, entretenimiento... Además, Pho GPT también puede responder a las preguntas de los usuarios, proporcionar información, consejos, apoyo, responder preguntas...
Además, Pho GPT puede traducir textos o tipos de textos de distinta naturaleza como documentos oficiales, comerciales, académicos, literarios... del vietnamita a otros idiomas y viceversa.
Otra característica destacada es que Pho GPT analiza y procesa pasajes de texto, como resumir, clasificar, etiquetar, extraer información, detectar emociones, detectar errores, mejorar el estilo de escritura, etc.
En el futuro, el equipo de desarrollo de Pho GPT dijo que continuarán mejorando el modelo y expandiendo el proyecto a otros idiomas, especialmente en la región del Sudeste Asiático.
“El nacimiento de Pho GPT marca la primera vez que Vietnam ha tenido la oportunidad de “ponerse al día” con el mundo en este campo de tecnología avanzada y poseer un gran modelo de lenguaje con código fuente abierto específicamente para el pueblo vietnamita, optimizado para el idioma vietnamita, independientemente del mundo. "Este es el orgullo de Vin AI en particular y del pueblo vietnamita en general", añadió el representante de VinAI.
Al comentar sobre el potencial y las oportunidades de desarrollo de Pho GPT en el futuro, el Sr. Tran Duy Dong, Viceministro de Planificación e Inversión, enfatizó: “La IA será uno de los campos en los que Vietnam tiene mucho potencial para desarrollarse fuertemente y pronto alcanzar el nivel mundial. “El Ministerio siempre apoyará y acompañará a la comunidad de IA en particular y a la comunidad de ciencia y tecnología en general, para desarrollar un ecosistema de innovación integral y dinámico, contribuyendo al desarrollo general del país”.
Fuente
Kommentar (0)