PaLM 2, el último modelo de lenguaje grande (LLM) de Google anunciado la semana pasada, utiliza casi cinco veces la cantidad de datos de entrenamiento que su predecesor de 2022, lo que le permite realizar programación, matemáticas y creación de contenido más avanzados.
En la Conferencia de desarrolladores de Google I/O, el gigante de las búsquedas presentó PaLM 2, un modelo de lenguaje entrenado en 3,6 billones de tokens. Estos tokens son secuencias de palabras: los componentes básicos utilizados para entrenar al LLM para predecir la próxima palabra que aparecerá.
La versión anterior de PaLM se lanzó en 2022 y se acuñó con 780 mil millones de tokens.
Si bien Google ha promocionado constantemente su destreza en inteligencia artificial en búsquedas, correo electrónico, procesamiento de textos y hojas de cálculo, la empresa se ha mostrado reticente a revelar el tamaño o los detalles de sus conjuntos de datos de entrenamiento. OpenAI también mantiene en secreto los detalles de su último parámetro de entrenamiento LLM, GPT-4.
Las empresas tecnológicas atribuyen el declive a la naturaleza competitiva de sus negocios. Tanto Google como OpenAI están compitiendo para atraer usuarios con productos de chatbot en lugar de motores de búsqueda tradicionales.
Compacto, potente y rentable.
Google dice que PaLM 2 es más compacto que sus predecesores, y está entrenado con 340 mil millones de parámetros en comparación con los 540 mil millones de parámetros de la versión anterior. Esto demuestra que la tecnología de la empresa es cada vez más eficiente a la hora de realizar tareas complejas.
Para lograrlo, PaLM 2 utiliza una nueva técnica llamada “optimización computacional extendida”, que ofrece “un mejor rendimiento general, incluida una inferencia más rápida con menos parámetros que reducen la sobrecarga”.
El último modelo de inteligencia artificial lingüística de Google, entrenado en más de 100 idiomas, está realizando una variedad de tareas para 25 funciones y productos, incluido el chatbot experimental Bard. PaLM 2 viene en cuatro versiones según el tamaño, desde la más pequeña a la más grande: Gecko, Otter, Bison y Unicorn.
Según la documentación pública, PaLM 2 es más potente que cualquier modelo existente. LlaMA de Facebook, lanzado en febrero, está entrenado con 1,4 billones de tokens. Mientras tanto, la última vez que OpenAI reveló públicamente el tamaño de los datos de entrenamiento para ChatGPT fue para la versión GPT-3 con 300 mil millones de tokens.
La explosión de aplicaciones de IA ha creado controversia en torno a la tecnología. A principios de este año, El Mahdi El Mhamdi, un científico senior de Google Research, renunció en protesta por la falta de transparencia del gigante de las búsquedas.
Esta semana, el director ejecutivo de OpenAI, Sam Altman, también testificó ante el subcomité judicial del Senado de Estados Unidos sobre privacidad y tecnología en el contexto de la IA generalizada. Aquí, el “padre” de ChatGPT coincidió con los legisladores en que se necesitan nuevas regulaciones para gestionar la IA.
(Según CNBC)
Fuente
Kommentar (0)