Blue Gene

Blue Gene/ L суперкомпьютер был уникальным в следующих аспектах:

• Замена скорости процессоров для снижения энергопотребления. Blue Gene/L использует низкочастотные и маломощные встроенные ядра PowerPC с ускоренным вычислением операций с плавающей точкой. В то время как производительность каждого чипа относительно низка, система достигает более высокой производительности с меньшим энергопотреблением, просто используя большее число узлов.
• Два процессора на узел с двумя режимами работы:
  • режим сопроцессора, в котором один процессор обрабатывает вычисления, а другой обрабатывает сообщения;
  • режим виртуальных узлов, в котором оба процессора доступны для запуска пользовательского кода, но они или совместно вычисляют, или обрабатывают сообщения.
• Архитектура system-on-a-chip. Все узлы-компоненты системы встроены в один чип, за исключением 512 Мб внешней DRAM.
• Большое количество узлов (масштабируемое с шагом 1024 до, по крайней мере, 65 536).
• Связь компонентов в виде трехмерного тора со вспомогательной сетью для глобальных коммуникаций (трансляции и сокращении), ввода/вывода и управления.
• Облегченная ОС на узел для минимальных накладных расходов системы (системные шумы).

Blue Gene/L архитектура — это эволюция QCDSP- и QCDOC-архитектур. Каждый Blue Gene/L узел вычисления или ввода/вывода — это одиночная ASIC (интегральная схема специального назначения), объединенная с DRAM чипом памяти. ASIC оснащена двумя встроенными 700 МГц-процессорами PowerPC 440 (каждый с двухканальным математическим сопроцессором (FPU) двойной точности), кэшем подсистемы со встроенным контроллером DRAM и логикой для поддержки нескольких коммуникационных подсистем. Двойной FPU дал каждому Blue Gene/L узлу теоретическую пиковую производительность в 5,6 Гфлопс. Процессоры не объединены когерентным кэшем.

На одну вычислительную карту помещаются по два вычислительных узла, на одну плату помещается по 16 вычислительных карт плюс не более 2 узлов ввода/вывода. В одну стойку помещается до 32 плат. При интеграции всех необходимых систем на один чип и использовании логических элементов малой мощности каждый узел вычисления или ввода/вывода тратит малую мощность (около 17 ватт , включая расходы DRAM). Это позволяет очень плотно упаковывать до 1024 вычислительных узлов (плюс дополнительные узлы ввода/ вывода) в стандартную 19-дюймовую стойку, обеспечивая её источниками электропитания и воздушного охлаждения в разумных пределах. Показатели эффективности с точки зрения флопс на ватт, флопс на квадратный метр площади и флопс на единицу стоимости позволяет масштабировать систему до очень высокой производительности. С таким большим количеством узлов сбои в работе компонентов неизбежны. Поэтому система может электрически изолировать ряд неисправных компонентов, чтобы продолжать нормально функционировать.

Каждый Blue Gene/L узел подключается к трем параллельным сетям связи:

• 3D-тороидальная сеть по протоколу P2P (peer-to-peer) между вычислительными узлами,
• общая сеть для коллективной связи (транзакций и операций редуцирования,
• глобальная сеть прерываний для быстрой синхронизации.

Узлы ввода/вывода, на которых работает ОС Linux, обеспечивают связь с хранилищем и внешними узлами через Ethernet сети. Узлы ввода/вывода обрабатывают операции с файловой системой вычислительных узлов. Наконец, отдельные и частные сети Ethernet сеть обеспечивает доступ к любому узлу для конфигурации, загрузки и диагностики.

Чтобы разрешить запуск нескольких программ одновременно, Blue Gene/L система должна быть разделена на электронно-изолированые разделы узлов. Число узлов в разделе должно быть кратным степени 2, по крайней мере, 25 = 32 узлов. Для запуска программы на Blue Gene/L, раздел сначала резервируется. Затем программа загружается и запускается на всех узлах в пределах раздела, и никакая другая программа не может получить доступ к узлам в пределах раздела, пока раздел используется. После завершения раздела узлы освобождаются для запуска следующих программ.

Вычислительные узлы Blue Gene/L используют максимально облегченную ОС, поддерживающую одну программу пользователя. Поддерживается только часть POSIX процедур, и одновременно только один процесс может работать на узле в режиме сопроцессора или один процесс на процессоре в виртуальном режиме. Программистам необходимо использовать Green threads для имитации локального параллелизма. Разработка приложений, как правило, выполняется в C, C++ или Fortran с использованием MPI для связи. Так же возможна разработка на некоторых скриптовых языках, таких как Ruby и Python, так как они интегрированы в ОС вычислительных узлов.

• 
  Блок-схема чипа Blue Gene/L, содержащая два ядра PowerPC 440
• 
  Одна из стоек BlueGene/L

Каждый 64-разрядный чип Cyclops64 работает на 500 МГц и содержит 80 процессоров. Каждый процессор имеет две нити потоков и математический сопроцессор (FPU). Каждая нить - это упорядоченное 64-разрядное RISC-ядро с 32 КБ дополнительной памяти, использующее 60-командное подмножество набора инструкций Power Architecture. Пять процессоров разделяют 32 Кб кэш инструкций.

Процессоры связаны через 96-ой порт^{[уточнить]} с матричным коммутатором. Они общаются друг с другом через глобальную разделяемую память (память, которую можно записывать и считывать всеми потоками) в SRAM.

Теоретическая пиковая производительность чипа Cyclops64 составляет 80 ГФлопс.

На одном процессоре работает две нити (два потока), на один чип помещается до 80 процессоров. На плату помещают 1 чип, далее на промежуточную плату устанавливают до 48 плат. В одну стойку влезает по 3 промежуточных платы. Система может включать до 96 (12х8) стоек.

То есть полная система содержит 13 824 Cyclops64 чипов, состоящих из 1105920 процессоров, на которых способны работать 2211840 параллельных потоков.

Cyclops64 предоставляет большую часть своих аппаратных возможностей для программирования, позволяя программисту писать очень высоко производительное и тонко настроенное программное обеспечение. Негативным моментом является трудность программирования под Cyclops64

В данный момент ведутся исследования и разработки, что система могла поддерживать TiNy-Threads (библиотека потоков, разработанная в Университете штата Делавэр ) и POSIX Threads.

Каждый чип Blue Gene/P состоит из четырёх процессорных ядер PowerPC 450 с тактовой частотой 850 МГц. Чип оперативной памяти 2 или 4 ГБ и сетевые интерфейсы образуют вычислительный узел суперкомпьютера. 32 вычислительных узла объединяются в карту (Compute Node card), к которой можно подсоединить от 0 до 2 узлов ввода-вывода. Системная стойка вмещает в себя 32 таких карты.

Конфигурация Blue Gene/P с пиковой производительностью 1 петафлопс представляет собой 72 системные стойки, содержащие 294 912 процессорных ядер, объединённых в высокоскоростную оптическую сеть. Конфигурация Blue Gene/P может быть расширена до 216 стоек с общим числом процессорных ядер 884 736, чтобы достигнуть пиковую производительность в 3 петафлопса. В стандартной конфигурации системная стойка Blue Gene/P содержит 4 096 процессорных ядер[2].

• Топалов Веселин Александров, болгарский шахматист, гроссмейстер (1992), шестой чемпион мира по шахматам по версии ФИДЕ (2005), в 2010 году подтвердил в интервью, что использовал Blue Gene/P суперкомпьютер во время его подготовки к матчу.
• Blue Gene/P компьютер был использован для имитации приблизительно одного процента коры головного мозга человека, содержащей 1 600 000 000 нейронов с примерно 9 000 000 000 000 соединений.
• Проект IBM Kittyhawk была перенесена Linux на вычислительные узлы и продемонстрировала типовые Web 2.0 рабочие задачи, выполняемых в масштабе на Blue Gene/P. Результат запуска стандартного программного обеспечения Linux (например, MySQL) по тесту SpecJBB является одним из самых высоких за всю историю.
• В 2011 команда Рютгерского университета, IBM и Техасского университета связали систему KAUST Shaheen с Blue Gene/P установки в Ватсоновском исследовательском центре в «федеративное высокопроизводительное вычислительное облако» для решения проблемы с оптимизацией использования нефтяных ресурсов.
• 12 ноября 2007 года в Германии начала работать первая система под названием JUGENE с 65 536 процессорами, в Исследовательском центре Юлих, с вычислительной мощностью в 167 терафлопс[3][4]. Он стал самым быстрым суперкомпьютером в Европе и шестым во всём мире. Первой лабораторией в Соединённых Штатах, использующей Blue Gene/P, была Аргоннская национальная лаборатория. Первые стойки Blue Gene/P использовались до 2007 года. Первая установка была системой в 111-teraflop, которая имела приблизительно 32 000 процессоров, и предназначалась для научно-исследовательского общества США весной 2008[5]. Полной системе была присвоена третья строчка июньского списка Топ 500 за 2008 год[6].
• С 2008 года на факультете ВМК МГУ имени М. В. Ломоносова работает суперкомпьютер IBM Blue Gene/P[7][8].

• 
  Одиночная стойка
• 
  Стойки
• 
  Плата с микросхемами

• Первой системой, построенной по архитектуре Blue Gene/Q, стала система Sequoia, которую разворачивали в Ливерморской национальной лаборатории с начала 2011 года и полностью ввели в эксплуатацию в июне 2012 года. Эта система рассчитывает научные программы лаборатории. Она состоит из 98.304 вычислительных узлов, содержащих 1.572.864 процессорных ядер и 1,6 Пб памяти. Располагается система в 96 стойках, потребляемая мощность составляет 6 мегаватт[11]. В списке Top500 за ноябрь 2014 года занимает 3-е место[12];
• июнь 2012: Avoca Victorian Life Sciences Computation Initiative, Австралия[13];
• июнь 2012: суперкомпьютер Fermi в суперкомпьютерном центре CINECA в г. Болонья, Италия[14][15];
• август 2012: Рочестерский университет, США[16];
• июнь 2013: суперкомпьютер JUQUEEN в Исследовательском центре Юлих, Германия[17]. В списке Top500 за ноябрь 2014 года занимает 8-е место[18];
• 1 июля 2013: суперкомпьютер Mira установлен в Аргонской национальной лаборатории в 2012 году. Он содержит около 50 тыс. вычислительных узлов (16 ядер на узел), 70 Пб дискового пространства и имеет жидкостную систему охлаждения.[19][20][21][22]. В списке Top500 за ноябрь 2014 года занимает 5-е место[23];
• 2013 год: суперкомпьютер Vulcan в Ливерморской национальной лаборатории[24]. В списке Top500 за ноябрь 2014 года занимает 9-е место[25].

Всего из десяти самых мощных суперкомпьютеров в списке Top500 на ноябрь 2014 года 4 построены на платформе Blue Gene/Q.

• 
  Суперкомпьютер Sequoia в Ливерморской национальной лаборатории
• 
  Суперкомпьютер Mira в Аргонской национальной лаборатории