PaLM 2, последняя большая языковая модель (LLM) от Google, анонсированная на прошлой неделе, использует почти в пять раз больше обучающих данных, чем ее предшественница 2022 года, что позволяет ей выполнять более сложные задачи программирования, математики и создания контента.
На конференции разработчиков Google I/O поисковый гигант представил PaLM 2 — языковую модель, обученную на 3,6 триллионах токенов. Эти токены представляют собой последовательности слов — строительные блоки, используемые для обучения LLM предсказывать следующее слово, которое появится.
Предыдущая версия PaLM была выпущена в 2022 году и состояла из 780 миллиардов токенов.
Хотя Google постоянно хвастается своими возможностями искусственного интеллекта в поиске, электронной почте, обработке текстов и электронных таблицах, компания неохотно раскрывает размер или детали своих обучающих наборов данных. OpenAI также хранит в секрете подробности своего последнего параметра обучения LLM, GPT-4.
Технологические компании объясняют спад конкурентным характером своего бизнеса. Google и OpenAI стремятся привлечь пользователей с помощью чат-ботов вместо традиционных поисковых систем.
Компактный, мощный, экономичный
Google утверждает, что PaLM 2 более компактен, чем его предшественники, поскольку обучается с использованием 340 миллиардов параметров по сравнению с 540 миллиардами параметров предыдущей версии. Это показывает, что технологии компании становятся более эффективными при выполнении сложных задач.
Для достижения этого PaLM 2 использует новую технологию, называемую «расширенной вычислительной оптимизацией», которая обеспечивает «более высокую общую производительность, включая более быстрый вывод с меньшим количеством параметров, что снижает накладные расходы».
Новейшая языковая модель искусственного интеллекта от Google, обученная более чем 100 языкам, выполняет различные задачи для 25 функций и продуктов, включая экспериментальный чат-бот Bard. PaLM 2 выпускается в четырех версиях в зависимости от размера, от самой маленькой до самой большой: Геккон, Выдра, Бизон и Единорог.
Согласно общедоступной документации, PaLM 2 мощнее любой существующей модели. LlaMA от Facebook, запущенный в феврале, обучен на 1,4 триллиона токенов. Между тем, последний раз, когда OpenAI публично раскрывала размер обучающих данных для ChatGPT, это была версия GPT-3 с 300 миллиардами токенов.
Бурный рост числа приложений на основе искусственного интеллекта вызвал споры вокруг этой технологии. Ранее в этом году Эль Махди Эль Мхамди, старший научный сотрудник Google Research, подал в отставку в знак протеста против непрозрачности поискового гиганта.
На этой неделе генеральный директор OpenAI Сэм Альтман также дал показания перед судебным подкомитетом Сената США по вопросам конфиденциальности и технологий в контексте всепроникающего ИИ. Здесь «отец» ChatGPT согласился с законодателями в том, что необходимы новые правила для управления ИИ.
(По данным CNBC)
Источник
Комментарий (0)