Amazon анонсировала серверные Arm-процессоры Graviton3 и ИИ-чипы Trainium
AWS, облачное подразделение Amazon, анонсировало EC2-инстансы C7g на базе Graviton3, третьего поколения Arm-процессоров собственной разработки, а также инстансы Trn1, использующие ИИ-ускорители Trainium, созданные силами AWS специально для задач машинного обучения.
Впрочем, оба анонса носят предварительный характер. Так, для Graviton3 не уточняется ни поколения архитектуры Arm, ни число ядер, ни частоты. Зато утверждается, что новинки по сравнению с инстансами на базе Graviton2 имеют на четверть более высокую производительность и вдвое быстрее в вычислениях с плавающей запятой и при работе с криптографией. При этом они потребляет на 60 % меньше энергии.
Упомянуты и некоторые архитектурные изменения. Так, поддержка bfloat16 позволяет втрое ускорить выполнение ИИ-задач (речь, вероятно, всё же об инференсе), а переход на DDR5 — на 50 % повысить пропускную способность памяти. У каждого vCPU есть выделенный кеш, а дополнительную безопасность обеспечивает аппаратная защита стека. Кроме того, в новых инстансах по умолчанию используется принудительное шифрование памяти, есть поддержка шифрованных EBS-томов, а скорость EFA-подключения достигает 30 Гбит/с.
EC2 C7g, по словам AWS, подойдут для HPC, EDA, аналитики, игровых и рекламных платформ, медиакодирования и т.д. Для них доступны дистрибутивы Amazon Linux 2, RHEL, SUSE и Ubuntu, а также целый ряд уже адаптированного ПО. Пока что C7g доступны в рамках закрытого тестирования по заявкам, но их уже успели оценить Epic Games, Formula 1 Management, Honeycomb.io и Twitter.
Сами процессоры Graviton3, как и его предшественники, вряд ли будут продаваться «на сторону» и за пределами основной инфраструктуру AWS попадут разве что в Outposts. Тем не менее, для самой Amazon это — наряду с внедрением Nitro — важный шаг к независимости от сторонних поставщиков и повышению производительности собственных сервисов. На базе Graviton2 сейчас предлагается всего 12 типов инстансов, однако AWS довольно активно и успешно переводит все остальные сервисы и услуги на собственные CPU.
EC2-инстансы Trn1, в целом, направлены на достижение тех же целей. Они базируются на ускорителях Trainium, это второй чип собственной разработки Amazon, созданный специально для задач машинного обучения. Чип оснащён 32 Гбайт HBM2e, а его производительность составляет до 210 Топс. Инстансы Trn1 объединяют до 16 таких ускорителей, связанных интерконнектом NeuronLink (768 Гбайт/с), имеют EFA-подключение со скоростью до 800 Гбит/c (вдвое выше, чем у нынешних GPU-инстансов) и предлагают до 8 Тбайт NVMe SSD.
AWS позволяет формировать кластеры из десятков тысяч Trainium, объединённых сетью петабитного класса и подключённых посредством Amazon FSx к петабайтному Lustre-хранилищу. Всё это позволяет быстро обучать гигантские модели. Для работы предлагается фирменный набор инструментов Neuron SDK (тот же, что и для AWS Inferentia), но есть и поддержка популярных фреймворков вроде Tensorflow или PyTorch. Trn1 пока что находятся в предварительном доступе по запросу.
Источник: