изображение001.jpg

Графический процессор — мозг компьютера с искусственным интеллектом

Проще говоря, графический процессор (GPU) действует как мозг компьютера с искусственным интеллектом.

Как вы знаете, центральный процессор (ЦП) — это мозг компьютера. Преимущество графического процессора в том, что он по сути является центральным процессором, специализирующимся на выполнении сложных вычислений. Самый быстрый способ выполнить эти вычисления — заставить группы графических процессоров решать одну и ту же задачу. Тем не менее, обучение модели ИИ может занять недели или даже месяцы. После создания она помещается в систему фронтальных вычислений, и пользователи могут задавать вопросы модели ИИ; этот процесс называется выводом.

Компьютер с искусственным интеллектом, содержащий несколько графических процессоров

Лучшая архитектура для решения задач ИИ — использование кластера графических процессоров в стойке, подключенного к коммутатору наверху стойки. Несколько стоек графических процессоров могут быть дополнительно подключены в иерархии сетевых подключений. По мере увеличения сложности решаемых задач растут и требования к графическим процессорам, и в некоторых проектах может потребоваться развертывание кластеров из тысяч графических процессоров.

Каждый кластер ИИ представляет собой небольшую сеть

При создании кластера ИИ необходимо настроить небольшую компьютерную сеть для подключения и обеспечения совместной работы графических процессоров и эффективного обмена данными.

изображение002.jpg
Кластер ИИ

На рисунке выше показан кластер ИИ, где круги в нижней части представляют рабочие процессы, выполняемые на графических процессорах. Графический процессор подключается к коммутаторам в верхней части стойки (ToR). Коммутаторы ToR также подключаются к магистральным коммутаторам сети, показанным над схемой, демонстрируя четкую сетевую иерархию, необходимую при использовании нескольких графических процессоров.

Сети являются узким местом в развертывании ИИ
Осенью прошлого года на глобальном саммите Open Computer Project (OCP), где делегаты работали вместе над созданием инфраструктуры ИИ следующего поколения, делегат Лой Нгуен из Marvell Technology высказал ключевую мысль: «Сети — это новое узкое место».

С технической точки зрения большие задержки пакетов или потеря пакетов из-за перегрузки сети могут привести к повторной отправке пакетов, что значительно увеличит время выполнения задания (JCT). В результате миллионы или десятки миллионов долларов, потраченных компаниями на графические процессоры, тратятся впустую из-за неэффективных систем искусственного интеллекта, что наносит ущерб как доходам компаний, так и времени выхода продукции на рынок.

Измерение — ключевое условие успешной работы сетей ИИ

Для эффективной работы кластера ИИ необходимо обеспечить возможность полного использования графических процессоров, чтобы сократить время обучения и внедрить обучающие модели для максимальной отдачи от инвестиций. Поэтому необходимо протестировать и оценить производительность кластера ИИ (рисунок 2). Однако эта задача не из легких, поскольку с точки зрения архитектуры системы существует множество настроек и взаимосвязей между графическим процессором и сетевыми структурами, которые должны дополнять друг друга для решения этой проблемы.

изображение005.jpg
Платформа тестирования центров обработки данных ИИ и как она тестирует кластеры центров обработки данных ИИ

Это создает множество проблем при измерении сетей ИИ:

- Сложность воспроизведения целых производственных сетей в лабораторных условиях из-за ограничений по стоимости, оборудованию, нехватке квалифицированных инженеров по сетевому ИИ, пространству, мощности и температуре.

- Измерение в производственной системе снижает доступную мощность обработки самой производственной системы.

- Трудность точного воспроизведения проблем из-за различий в масштабе и сфере действия проблем.

- Сложность коллективного соединения графических процессоров.

Для решения этих проблем предприятия могут протестировать подмножество предлагаемых настроек в лабораторной среде, чтобы оценить ключевые параметры, такие как JCT (время выполнения задания), пропускную способность, которую может обеспечить команда ИИ, и сравнить ее с использованием коммутационной платформы и использованием кэша. Этот тест помогает найти правильный баланс между рабочей нагрузкой на графический процессор/вычислительную мощность и проектированием/настройкой сети. Удовлетворившись результатами, компьютерные архитекторы и сетевые инженеры могут применить эти настройки в производственной среде и измерить новые результаты.

Корпоративные исследовательские лаборатории, научно-исследовательские институты и университеты работают над анализом всех аспектов создания и эксплуатации эффективных сетей ИИ для решения проблем работы в крупных сетях, особенно с учетом того, что передовой опыт продолжает меняться. Этот повторяемый совместный подход является единственным способом для предприятий выполнять повторяющиеся измерения и быстро тестировать сценарии «что если» — основу для оптимизации сетей для ИИ.

(Источник: Keysight Technologies)