Описание AI-сервера НОРСИ-ТРАНС НТ ПАЛАДИН-ML
Назначение и применение:
AI-сервер гетерогенный вычислительный “НТ” «Паладин-ML» предназначен для:
- Задач выполнения (инференс) нейросетевых моделей;
- Высокопроизводительных векторно-матричных вычислений, требующих операций двойной точности (FP64).
Платформа построена на базе материнской платы НИКА.469555.001 Паладин-Х01.
Архитектура гетерогенного вычислителя:
В качестве векторно-матричных сопроцессоров вычислителя используются процессоры NM6408 NeuroMatrix.
Суммарно вычислитель обеспечивает установку 12 шт. модулей сопроцессоров. Подключение каждого сопроцессора выполняется PCIe 4x линиями к основным процессорам Scalable-2. Доступная производительность на операциях FP64 за счет сопроцессоров – 1,53 ТФлоп.
Операционная система устанавливается на М2. SATA SSD (2 шт, объединяемые через PCH в RAID). Для работы высокопроизводительного кеша промежуточного буферизирования данных для обработки и вычисленных результатов предусмотрены 2xNVME PCIe 4x диска.
Также доступна загрузка операционной системы через PXE, в таком случае системные М.2 SATA не устанавливаются (для загрузки ОС) либо в случае установки могут быть использованы как дополнительный дисковый кеш.
Внешние сетевые подключения:
Вычислитель дает возможности установки следующих сетевых карт для подключения к внешней высокоскоростной сети (интерконнекту):
- OCP 3.0 (PCIe 16x): 2x10G, 4x10G, 2x25G, 2x40G, 2x100G;
- OCP 2.0 (PCIe 8x): 2x10G, 2x25G.
Интерфейсы взаимодействия с вычислительными ядрами:
Запуск обученных моделей нейросетей выполняется с предварительным проеобразованием в ONNX-формат, который через библиотеку NMDL (NeuroMatrix® DeepLearning комплект программных средств для разработки и реализации глубоких нейронных сетей) преобразовывается в формат для запуска на сопроцессорах. Полученный формат используется C/C++ кодом для запуска моделей на установленных в вычислитель сопроцессорах.
Электропитание:
- 1+1 CRPS блоки питания мощностью по 1200 Вт включительно;
- Сервер комплектуется блоком питания 220В или 48В по желанию Заказчика.
Удобство обслуживания и эксплуатации:
- Установка в типовые 19’ шкафы (1000мм);
- Направляющая для укладки кабелей, кабельные застёжки на блоках питания;
- Фирменная система удаленного управления оборудованием с мобильных устройств.
Полноценный монтажный комплект и фирменная транспортная упаковка «НТ»:
- Стандартные рельсы частичного выдвижения;
- Фирменная транспортная упаковка «НОРСИ-ТРАНС».
Возможности по построению специализированных вычислительных кластеров:
- Организация общего управления кластером, распределения задач, очередей и приоритетов обработки средствами Slurm;
- Интегрированный мониторинг оборудования и вычислительных задач.
