Ангара (интерконнект)

Ангара — высокоскоростная отказоустойчивая коммутируемая компьютерная сеть, используемая в высокопроизводительных вычислениях с большой пропускной способностью и низкой задержкой приёма/передачи пакетов. Используется в высокопроизводительных коммутаторах и для прямого соединения суперкомпьютерных вычислительных узлов[1]. Контроллеры Ангара (host bus adapter) и сетевые коммутаторы спроектированы и производятся в НИЦЭВТ[2][3], входящей в холдинг «Росэлектроника».

В качестве коммуникационной сети кластеров Ангара конкурирует со стандартами Ethernet и InfiniBand, а также проприетарными технологиями, например, компаний Cray и IBM.

Описание

Высокоскоростная отказоустойчивая коммуникационная сеть Ангара (серия ЕС843Х) имеет топологию «многомерный тор» и создана на базе российской СБИС. Сеть Ангара совместима с коммерчески доступными вычислительными платформами на базе процессоров с архитектурами х86, ARM и Эльбрус, а также с аппаратными ускорителями на основе GPU и FPGA.

Высокопроизводительная вычислительная платформа Ангара — базовый элемент для построения энергоэффективных масштабируемых вычислительных кластеров и суперкомпьютеров с высокой плотностью компоновки. Платформы серии ЕС1740.000х разработаны и серийно выпускаются на производственных мощностях АО «НИЦЭВТ». Технические и технологические решения, использованные при разработке платформы, обеспечивают высокую реальную производительность, надежность и отказоустойчивость вычислительной системы.

Ключевые особенности сети Ангара:

  • Топология сети: 1D—4D-тор
  • Адаптер на базе СБИС
  • До 8 каналов связи с соседними узлами
  • Прямой доступ в память удаленного узла (RDMA)
  • Поддержка многоядерности
  • Адаптивная передача пакетов
  • Задержка на MPI ping-pong: 0,85/1,54 мкс (x86/Эльбрус-8С)
  • Задержка на хоп: 130 нс
  • Масштабирование: до 32 тысяч узлов
  • Энергопотребление: до 20 Вт
  • Различные физические среды передачи данных

Варианты исполнения:

  1. Высокопроизводительное решение на базе FHFL адаптера и Samtec HDLSP кабеля
  2. Универсальное решение на базе 24-портового коммутатора, low-profile адаптера и CXP кабеля
  3. Заказное решение на базе объединительной платы и оптических кабелей

Характеристики СБИС ЕС8430:

  • Техпроцесс TSMC 65 нм GP
  • Размер кристалла 13×10,5 мм
  • Кол-во транзисторов 180 млн
  • Частота 500 МГц
  • TDP 36 Вт
  • Интерфейсы:
    • GEN II PCI-E x16 (5,0 Гб/с на линию, 80 Гб/с на один коннект)
    • Links x8 (1-12 линий/соединение 3,125—6,25 Гб/с на линию, макс. 75 Гб/с на соединение в каждом направлении, всего макс. 600 Гб/с)
    • DDR3 SDRAM 8,5 ГБ/с (72 бит, 1066 MT/с)
  • Электропитание:
    • SerDes 1,0 В ± 5 %
    • Core 1,0 В ± 5 %
    • I/O 2,5 В ± 10 %
  • Температурный диапазон 0—70 °C
  • Корпус FCBGA-1521 размером 40×40 мм

Производительность

Ангара ЕС8430

  • соединение: 75 Гбит/c (7,5 ГБ/c)[4]
  • агрегатная: 1,2 Тбит/c (120 ГБ/c)[4]

История

Первое поколение «Ангары» выпущено в 2016 году, когда «Объединенная приборостроительная корпорация», входящая в состав «Ростеха», разработала сетевой адаптер, предназначенный для соединения вычислительных кластеров. Адаптер представлял собой плату с интерфейсом PCI Express х16, оснащённую сверхбольшой интегральной схемой (СБИС).[5]

В 2018 году «Росэлектроника» представила второе поколение сети, в котором скорость передачи данных между подключенными компьютерами выросла в три раза по сравнению с первым поколением.[6]

Применение

Объединённый институт высоких температур РАН:

  • Суперкомпьютер «Десмос» из 32 гибридных (CPU + GPU) вычислительных узлов. Сеть Ангара в конфигурации 4D-тор 4х2х2х2. Общая производительность суперкомпьютера — 52,24 Тфлоп/с[7]
  • Суперкомпьютер «Фишер» из 24 вычислительных узлов. Узлы объединены коммуникационной сетью «Ангара» в коммутаторном исполнении. Пиковая производительность составляет 13,5 Тфлоп/с[8]

Научно-исследовательский центр электронной вычислительной техники[9]:

  • Кластер «Ангара-К1» из 36 вычислительных узлов, которые объединены сетью Ангара с топологией 3D-тор 4×3×3. Пиковая производительность кластера — 6,998 Тфлоп/с[10]

Омский НИИ приборостроения и компания Промобит (BITBLAZE):

См. также

Примечания

  1. ПаВТ 2016: Высокоскоростная сеть «Ангара» для суперкомпьютеров и кластеров – сделано в России / ServerNews
  2. http://angara.nicevt.ru
  3. Архивированная копия (недоступная ссылка). Дата обращения: 21 сентября 2019. Архивировано 16 сентября 2019 года.
  4. http://2013.nscf.ru/TesisAll/Section%201/12_2761_SimonovAS_S1.pdf (недоступная+ссылка) Архивировано 19 июля 2020 года.
  5. «Росэлектроника» начала поставки коммуникационных адаптеров «Ангара» — Рамблер/финансы
  6. В России разработали «систему для создания суперкомпьютеров в домашних условиях» - CNews
  7. Top50 | Суперкомпьютеры
  8. НИЦЭВТ и «Скирус» создали модульный суперкомпьютер «Фишер» для Российской академии наук / ServerNews
  9. Руководство пользователя кластера Ангара-К1
  10. https://www.dislab.org/docs/rsd2016-angara-bench.pdf
  11. Максим КОПОСОВ, «Промобит»: «Российский «Эльбрус» при более низкой тактовой частоте может достигать той же производительности, как процессор Intel при более высокой»
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.