Ангара (интерконнект): различия между версиями

Ангара — высокоскоростная отказоустойчивая коммутируемая компьютерная сеть, используемая в высокопроизводительных вычислениях с большой пропускной способностью и низкой задержкой приёма/передачи пакетов. Используется в высокопроизводительных коммутаторах и для прямого соединения суперкомпьютерных вычислительных узлов. По состоянию на 2019 год, Ангара является уникальной российской технологией для суперкомпьютеров. Контроллеры Ангара (host bus adapter) и сетевые коммутаторы спроектированы и производятся в НИЦЭВТ, входящей в холдинг «Росэлектроника».

В качестве коммуникационной сети кластеров Ангара конкурирует со стандартами Ethernet и InfiniBand, а так же проприетарными технологиями, например, компаний Cray и IBM.

Краткое описание

Высокоскоростная отказоустойчивая коммуникационная сеть Ангара (серия ЕС843Х) имеет топологию «многомерный тор» и создана на базе отечественной СБИС. Сеть Ангара совместима с коммерчески доступными вычислительными платформами на базе процессоров с архитектурами х86, ARM и Эльбрус, а также с аппаратными ускорителями на основе GPU и FPGA.

Высокопроизводительная вычислительная платформа Ангара — базовый элемент для построения энергоэффективных масштабируемых вычислительных кластеров и суперкомпьютеров с высокой плотностью компоновки. Платформы серии ЕС1740.000х разработаны и серийно выпускаются на производственных мощностях АО «НИЦЭВТ». Технические и технологические решения, использованные при разработке платформы, обеспечивают высокую реальную производительность, надежность и отказоустойчивость вычислительной системы.

Ключевые особенности сети Ангара:

• Топология сети: 1D .. 4D-тор
• Адаптер на базе СБИС
• До 8 каналов связи с соседними узлами
• Прямой доступ в память удаленного узла (RDMA)
• Поддержка многоядерности
• Адаптивная передача пакетов
• Задержка на MPI ping-pong: 0,85/1,54 мкс (x86/Эльбрус-8С)
• Задержка на хоп: 130 нс
• Масштабирование: до 32 тысяч узлов
• Энергопотребление: до 20 Вт
• Различные физические среды передачи данных

Варианты исполнения:

1. Высокопроизводительное решение на базе FHFL адаптера и Samtec HDLSP кабеля
2. Универсальное решение на базе 24-портового коммутатора, low-profile адаптера и CXP кабеля
3. Заказное решение на базе объединительной платы и оптических кабелей

Производительность

Ангара ЕС8430

• 1x-соединение: 7,5 Гбит/c (750 МБ/c)
• агрегатная: 120 Гбит/c (14 ГБ/c)

История

Первое поколение «Ангары» выпущено в 2016 году, когда «Объединенная приборостроительная корпорация», входящая в состав «Ростеха», разработала сетевой адаптер, предназначенный для соединения вычислительных кластеров. Адаптер представлял собой плату с интерфейсом PCI Express х16, оснащённую сверхбольшой интегральной схемой (СБИС).

В 2018 году «Росэлектроника» представила второе поколение сети, в котором скорость передачи данных между подключенными компьютерами выросла в три раза по сравнению с первым поколением.

Применение

Объединённый институт высоких температур РАН:

• Суперкомпьютер «Десмос» из 32 гибридных (CPU + GPU) вычислительных узлов. Сеть Ангара в конфигурации 4D-тор 4х2х2х2. Общая производительность суперкомпьютера – 52,24 Тфлоп/с
• Суперкомпьютер «Фишер» из 24 вычислительных узлов. Узлы объединены коммуникационной сетью «Ангара» в коммутаторном исполнении. Пиковая производительность составляет 13,5 Тфлоп/с

Научно-исследовательский центр электронной вычислительной техники:

• Кластер «Ангара-К1» из 36 вычислительных узлов, котрые объединены сетью Ангара с топологией 3D-тор 4х3x3. Пиковая производительность кластера – 6,998 Тфлоп/с

См. также

• RoCE
• iWARP
• RapidIO
• Omni-Path
• InfiniBand