Cerebras Systems поставила рекорд в области машинного обучения для одиночных систем
За успехами компании Cerebras Systems с её необычными детищами, сверхбольшими процессорами Cerebras, занимающими целую кремниевую подложку, наблюдать как минимум интересно. Её системы необычны, но в деле машинного обучения им, похоже, нет равных — одна-единственная платформа Cerebras CS-2 может заменить при обучении крупной модели едва ли не целый кластер. И это компания доказала делом, установив новый рекорд.
Сравнительные характеристики WSE-1 и WSE-2. Источник: Cerebras SystemsРечь идёт о тренировке модели с 20 млрд параметров, чего не может никакая другая одиночная система в мире. Открывая доступ к обучению столь сложных нейросетей, Cerebras оказывает услугу исследователям в области машинной обработки естественных языков, поскольку время обучения серьёзной модели может сократиться с месяцев до минут, при этом исключается необходимость трудоёмкой операции разделения (partitioning) модели по узлам традиционной кластерной системы — вся она запускается в «монолитном» режиме.
Конструкция CS-2 и некоторые её технические параметры. Источник: Cerebras SystemsКроме того, модели такого размера требуют и немалых средств — далеко не каждый исследователь обладает достаточным для аренды кластера бюджетом. Но CS-2 сделает демократичными даже такие огромные модели, как GPT-3 1.3B, GPT-J 6B, GPT-3 13B и GPT-NeoX 20B. Их запуск стал возможен с последним обновлением фирменного ПО Cerebras Software Platform. Радуются новой возможности и генетики из GSK, использующие огромные по объему наборы данных.
Напомним, что сердце CS-2, процессор WSE-2, по праву считается крупнейшим в мире — он содержит 850 тыс. ядер, оптимизированных под задачи, характерные для машинного обучения. Чтобы «накормить» такой нейропроцессор данными и исключить простои, используется сразу 12 каналов со скоростью 100 Гбит/с. За снабжение данными отвечает отдельный суперсервер HPE Superdome Flex 280, сам по себе обладающий весьма впечатляющими характеристиками.
Источник: Cerebras Systems