Суперкомпьютеры «Кристофари»

Christofari ( до 2021 г. — «Кристофари») — суперкомпьютеры Christofari (2019), Christofari Neo (2021) от Сбербанка на основе оборудования корпорации Nvidia. Основное предназначение — обучение нейросетей, также применяется для научно-исследовательских и коммерческих расчётов[1]. Названы в честь Николая Кристофари — первого клиента Сбербанка, открывшего в нём сберегательную книжку[2]. Входят в рейтинг Топ-500.

Суперкомпьютер Кристофари
ЦОД суперкомпьютера Кристофари

Разработка

Сбербанк представлял суперкомпьютеры совместно с дочерней компанией SberCloud[3][4]. В декабре 2019 года Сбербанк и SberCloud запустили в коммерческую эксплуатацию суперкомпьютер Christofari[5]. Через год мощности Christofari легли в основу облачной платформы ML Space, заточенной под работу с моделями машинного обучения, которую Сбербанк и SberCloud анонсировали в декабре 2020[6].

Более мощный суперкомпьютер Christofari Neo был представлен на международной конференции AI Journey в ноябре 2021 года[4].

Применение

Суперкомпьютеры предназначены для научно-исследовательских, коммерческих и государственных организаций, работающих в различных отраслях экономики. Основное их предназначение — работа с ИИ-алгоритмами, обучение нейросетей и инференс различных моделей[7].

Сбер использует Christofari для внутренних задач (распознаёт речь и генерирует голос автоответчика в колл-центре[8]) и сервиса по распознаванию снимков компьютерной томографии лёгких[9]. А команды SberDevices и Sber AI первыми получили доступ к Christofari Neo и разработали первый сервис на основе нейросети DALL-E, который создаёт изображения по запросу на русском языке[10].

Мощности суперкомпьютеров также предоставляются другим организациям при подключении услуг облачной платформы SberCloud ML Space[11].

Christofari

В основе — узлы Nvidia DGX-2, оснащённые графическими ускорителями Tesla V100[12][13], для межсоединения используется сеть Infiniband на базе оборудования Mellanox. Эффективная производительность — порядка 6,7 петафлопса, что сделало систему (на момент пуска в эксплуатацию 8 ноября 2019 года) 40-й в мире, седьмой в Европе и первой в России по мощности[14] (показатели предыдущего российского лидера — системы «Ломоносов-2» — превзойдены более, чем вдвое). Отмечается как первый в мире суперкомпьютер финансовой организации, доступный для использования сторонними пользователями. Также является первым суперкомпьютером, аттестованным в России для работы с персональными данными[15].

Характеристики отдельного узла DGX-2
  • энергопотребление пиковое — 10 кВт;
  • ЦПУ — 2× Intel Xeon Platinum 8168, 2,7 ГГц, 24 ядра;
  • графические ускорители — 16× Nvidia Tesla v100 32 Гбайт;
  • память графических ускорителей — 512 Гбайт
  • ядра CUDA — 81920
  • тензорные ядра — 10240
  • ОЗУ — 1,5 Тбайт[16]

Для межсоединения использованы 36-портовые коммутаторы Mellanox, поддерживающие до четырёх соединений InfiniBand EDR со скоростью 100 Гбит/с[17].

Почти весь используемый стек машинного обучения ориентируется на операционную систему Ubuntu как на базовую платформу, в связи с чем применена специализированная серверная версия Ubuntu 18.04 LTS, поддерживаемая Nvidia, включая драйверы для графических ускорителей, стек сетевого программного обеспечения, необходимые инструменты для обслуживания и диагностики машины. Также в комплекте идёт проприетарное программное обеспечение от Nvidia CUDA Toolkit, cuDNN, NCCL, а также Docker Engine Utility для GPU Nvidia (весь основной стек для машинного обучения запускается в контейнерах).

Расположен в центре обработки данных Сбербанка в инновационном центре «Сколково». Занимает один машинный зал[18], был построен менее чем за год[19].

Позиции в рейтингах

Christofari Neo

Суперкомпьютер также создан на базе технологий Nvidia и оснащен графическими процессорами Nvidia A100 с 80 Гб памяти[23]. Для межсоединения используется высокоскоростная коммутирующая сеть Infiniband, обеспечивающая скорость обмена данными до 1600 Гбит/с на каждый вычислительный узел и минимальные задержки. Эффективная производительность составляет 11,95 петафлопс[24][25] .

Характеристики отдельного процессора DGX A100
  • энергопотребление пиковое — 6, 5 кВт;
  • ЦПУ — 2× AMD Rome 7742, 128 ядер, 2.25 ГГц (база), 3.4 ГГц (максимум);
  • графические ускорители — 8× Nvidia A100, 80 Гбайт;
  • память графических ускорителей — 640 Гбайт;
  • ОЗУ — 2 Тбайт[26].

Позиции в рейтингах
  • ноябрь 2021 — 7 место в рейтинге HPL-AI суперкомпьютеров и искусственного интеллекта[27];
  • ноябрь 2021 — 43 место среди 500 самых мощных суперкомпьютеров мира[28].

Примечания
  1. Несколько десятков компаний начали работу на запущенном Сбербанком суперкомпьютере. ТАСС (16 декабря 2019). Дата обращения: 16 декабря 2019.
  2. Сбербанк представил самый мощный в России суперкомпьютер «Кристофари»
  3. Сбербанк объявил о создании самого мощного в России суперкомпьютера. РБК. Дата обращения: 8 февраля 2022.
  4. «Сбер» представил второй суперкомпьютер. Ведомости. Дата обращения: 8 февраля 2022.
  5. В России запустили самый мощный суперкомпьютер «Кристофари». Известия (17 декабря 2019). Дата обращения: 8 февраля 2022.
  6. Сбербанк и SberCloud открыли свое суперкомпьютерное облако для всех разработчиков. CNews.ru. Дата обращения: 8 февраля 2022.
  7. Несколько десятков компаний начали работу на запущенном Сбербанком суперкомпьютере. ТАСС. Дата обращения: 8 февраля 2022.
  8. Давид Рафаловский: «Весь мир уже в облаке, и Россия там будет» :. РБК Тренды. Дата обращения: 8 апреля 2020.
  9. СберЗдоровье и SberCloud запускают бесплатный сервис искусственного интеллекта по распознаванию снимков КТ (рус.) ? (14.07.2020).
  10. Нейросеть Сбера создаст картинки на заданную тему - Газета.Ru | Новости. Газета.Ru. Дата обращения: 8 февраля 2022.
  11. Тарифы и услуги. SberCloud (2021).
  12. Сбербанк создал самый мощный в России суперкомпьютер
  13. SberCloud | TOP500 Supercomputer Sites. www.top500.org. Дата обращения: 18 марта 2020.
  14. TOP500 List - November 2019 | TOP500 Supercomputer Sites. www.top500.org. Дата обращения: 18 марта 2020.
  15. Суперкомпьютер «Кристофари» первым в РФ аттестовали для работы с персональными данными. ТАСС. Дата обращения: 8 апреля 2020.
  16. Nvidia. Nvidia DGX-2. Nvidia.com.
  17. NVIDIA. THE WORLD’S MOST POWERFUL DEEP LEARNING SYSTEM FOR THE MOST COMPLEX AI CHALLENGES (англ.). NVIDIA (2018).
  18. 808. Это самый мощный компьютер в России.
  19. Forbes. Давид Рафаловский: мощности суперкомпьютера Cristofari доступны всем. Forbes.ru (15 ноября 2019).
  20. Top50 | Суперкомпьютеры. top50.supercomputers.ru. Дата обращения: 8 февраля 2022.
  21. November 2021 | TOP500. www.top500.org. Дата обращения: 8 февраля 2022.
  22. TOP500 List — November 2020 | TOP500
  23. Сбербанк запустил самый мощный в России суперкомпьютер. CNews.ru. Дата обращения: 7 февраля 2022.
  24. Christofari Neo - NVIDIA DGX A100, AMD EPYC 7742 64C 2.25GHz, NVIDIA A100 80GB​, Infiniband | TOP500. www.top500.org. Дата обращения: 7 февраля 2022.
  25. «Сбер» представил свой новый суперкомпьютер. secretmag.ru. Дата обращения: 7 февраля 2022.
  26. NVIDIA DGX A100 | The Universal System for AI Infrastructure (англ.). NVidia (2020).
  27. Results. hpl-ai.org. Дата обращения: 7 февраля 2022.
  28. Россия поднялась на девятую строчку в мировом рейтинге суперкомпьютеров. Ведомости. Дата обращения: 7 февраля 2022.

Ссылки
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.