Azure представляет серию мощных и масштабируемых виртуальных машин для ускорения генеративного ИИ.
Сегодня Microsoft представляет виртуальную машину ND H100 v5, которая позволяет по требованию использовать от восьми до тысяч графических процессоров NVIDIA H100, связанных между собой сетью NVIDIA Quantum-2 InfiniBand. Клиенты увидят значительно более высокую производительность для моделей ИИ по сравнению с нашими виртуальными машинами ND A100 v4 последнего поколения с такими инновационными технологиями, как:
8 графических процессоров NVIDIA H100 с тензорными ядрами, соединенных между собой через NVSwitch следующего поколения и NVLink 4.0
400 Гбит/с NVIDIA Quantum-2 CX7 InfiniBand на GPU с 3,2 Тбит/с на ВМ в неблокируемой сети Fat Tree
NVSwitch и NVLink 4.0 с двойной полосой пропускания 3,6 ТБ/с между 8 локальными графическими процессорами в каждой виртуальной машине
Процессоры Intel Xeon 4-го поколения
Соединение между хостом и графическим процессором PCIE Gen5 с пропускной способностью 64 ГБ/с на каждый графический процессор 16 каналов памяти DDR5 DIMM 4800 МГц
Теперь мы знаем на чем это будет работать.
UM v3.01 Деньги на диване, и нейронные сети совсем чуть чуть …