Мало параметров, много данных

VietNamNetVietNamNet18/05/2023


PaLM 2, последняя большая языковая модель (LLM) от Google, анонсированная на прошлой неделе, использует почти в пять раз больше обучающих данных, чем ее предшественница 2022 года, что позволяет ей выполнять более сложные задачи программирования, математики и создания контента.

На конференции разработчиков Google I/O поисковый гигант представил PaLM 2 — языковую модель, обученную на 3,6 триллионах токенов. Эти токены представляют собой последовательности слов — строительные блоки, используемые для обучения LLM предсказывать следующее слово, которое появится.

Предыдущая версия PaLM была выпущена в 2022 году и состояла из 780 миллиардов токенов.

Генеральный директор Google Сундар Пичаи на прошлой неделе на мероприятии Google I/O представил новейшую большую языковую модель компании PaLM 2

Хотя Google постоянно хвастается своими возможностями искусственного интеллекта в поиске, электронной почте, обработке текстов и электронных таблицах, компания неохотно раскрывает размер или детали своих обучающих наборов данных. OpenAI также хранит в секрете подробности своего последнего параметра обучения LLM, GPT-4.

Технологические компании объясняют спад конкурентным характером своего бизнеса. Google и OpenAI стремятся привлечь пользователей с помощью чат-ботов вместо традиционных поисковых систем.

Компактный, мощный, экономичный

Google утверждает, что PaLM 2 более компактен, чем его предшественники, поскольку обучается с использованием 340 миллиардов параметров по сравнению с 540 миллиардами параметров предыдущей версии. Это показывает, что технологии компании становятся более эффективными при выполнении сложных задач.

Для достижения этого PaLM 2 использует новую технологию, называемую «расширенной вычислительной оптимизацией», которая обеспечивает «более высокую общую производительность, включая более быстрый вывод с меньшим количеством параметров, что снижает накладные расходы».

Новейшая языковая модель искусственного интеллекта от Google, обученная более чем 100 языкам, выполняет различные задачи для 25 функций и продуктов, включая экспериментальный чат-бот Bard. PaLM 2 выпускается в четырех версиях в зависимости от размера, от самой маленькой до самой большой: Геккон, Выдра, Бизон и Единорог.

Согласно общедоступной документации, PaLM 2 мощнее любой существующей модели. LlaMA от Facebook, запущенный в феврале, обучен на 1,4 триллиона токенов. Между тем, последний раз, когда OpenAI публично раскрывала размер обучающих данных для ChatGPT, это была версия GPT-3 с 300 миллиардами токенов.

Бурный рост числа приложений на основе искусственного интеллекта вызвал споры вокруг этой технологии. Ранее в этом году Эль Махди Эль Мхамди, старший научный сотрудник Google Research, подал в отставку в знак протеста против непрозрачности поискового гиганта.

На этой неделе генеральный директор OpenAI Сэм Альтман также дал показания перед судебным подкомитетом Сената США по вопросам конфиденциальности и технологий в контексте всепроникающего ИИ. Здесь «отец» ChatGPT согласился с законодателями в том, что необходимы новые правила для управления ИИ.

(По данным CNBC)



Источник

Комментарий (0)

No data
No data

Та же тема

Та же категория

Вьетнамский игрок Ле Кхак Виктор привлекает внимание в сборной Вьетнама U22
Творения в сериале «Ремейк» произвели впечатление на вьетнамских зрителей
Та Ма — волшебный цветочный ручей в горах и лесах перед открытием фестиваля
Приветствуем солнце в древней деревне Дуонг Лам

Тот же автор

Наследство

Фигура

Бизнес

No videos available

Новости

Министерство - Филиал

Местный

Продукт