QsNet

Сетевой интерфейс Elan соединяет сеть Quadrics с узлом обработки, содержащим один или несколько процессоров. Помимо генерации и приема пакетов в сеть и из сети, Elan обеспечивает значительную локальную вычислительную мощность для реализации высокоуровневых протоколов передачи сообщений, таких как интерфейс передачи сообщений (MPI). Внутренняя функциональная структура Elan сосредоточена вокруг двух основных процессоров обработки: процессора микрокода и процессора потока. 32-разрядный процессор микрокода поддерживает четыре аппаратных потока. Каждый поток может независимо выдавать конвейерные запросы памяти в систему памяти. В любой момент времени может быть выполнено до восьми запросов. Планирование для процессора микрокода позволяет потоку проснуться, запланировать новый доступ к памяти на основе результата предыдущего доступа к памяти и вернуться в спящий режим всего за два системных такта.

Четыре потока микрокода предназначены для

• блок ввода данных, который обрабатывает входные транзакции из сети;
• механизм DMA, который генерирует пакеты DMA для записи в сеть, определяет приоритетность невыполненных передач DMA и временные интервалы больших DMA для предотвращения неблагоприятной блокировки малых DMA;
• планирование процессора, которое определяет приоритеты и контролирует планирование процессора потоков;
• обработка команд, которая обрабатывает запрошенные операции (команды) от хост-процессора на уровне пользователя.

Потоковый процессор - это 32-битный RISC-процессор, который помогает реализовать библиотеки обмена сообщениями более высокого уровня без явного вмешательства основного процессора. Для этого QsNet дополняет набор инструкций дополнительными инструкциями, которые помогают создавать сетевые пакеты, управлять событиями, эффективно планировать потоки и блокировать сохранение и восстановление состояния потока при планировании.

Блок управления памятью (MMU) преобразует 32-битные виртуальные адреса либо в 28-битные локальные физические адреса SDRAM, либо в 48-битные физические адреса соединений периферийных компонентов (PCI). Чтобы перевести эти адреса, MMU содержит полностью ассоциативный буфер ассоциативной трансляции с 16 записями, операционный автомат и конечный автомат, для прохода по таблице страниц, чтобы заполнить буфер и сохранить информацию при сбое в работе MMU.

Elan содержит таблицы маршрутизации, которые переводят каждый номер виртуального процессора в последовательность тегов, определяющих сетевой маршрут. Системное программное обеспечение может загружать несколько таблиц маршрутизации для обеспечения различных стратегий маршрутизации.

Elan имеет 8-Кбайт кэш-памяти (организованный в виде четырех наборов по 2 Кбайт) и 64-Мбайт SDRAM. Размер строки кэша составляет 32 байта. Кэш выполняет конвейерное заполнение из SDRAM и может выдавать несколько заполнений кэша и обратных записей для разных блоков, одновременно обслуживая доступы для блоков, попавших в кэш. Интерфейс SDRAM имеет длину 64 бита с восемью контрольными битами, добавленными для обеспечения кода исправления ошибок. Интерфейс памяти также содержит 32-байтовые буферы записи и чтения.

Логическая связь передает и принимает данные из сети и генерирует 9 бит и тактовый сигнал на каждой половине тактового цикла. Каждое звено обеспечивает буферное пространство для двух виртуальных каналов со 128-входным 16-битным FIFO RAM для управления потоком.

Elite обеспечивает

• восемь двунаправленных каналов, поддерживающих два виртуальных канала в каждом направлении,
• внутренний полный матричный коммутатор 16 × 8 (коммутатор имеет два входных порта для каждого входного канала для размещения двух виртуальных каналов),
• номинальная пропускная способность передачи 400 Мбит/с в каждом направлении канала и задержка прохождения потока 35 нс,
• обнаружение и восстановление ошибок пакетов с помощью защищенной циклической избыточностью маршрутизации и транзакций данных,
• два уровня приоритета в сочетании с механизмом старения для обеспечения справедливой доставки пакетов на одном и том же уровне приоритета,
• аппаратная поддержка широковещательных передач,
• адаптивная маршрутизация.

QsNet соединяет коммутаторы Elite в четверной топологии fat tree (утолщённое дерево). Четверное утолщённое дерево размерности ${\displaystyle n}$ состоит из ${\displaystyle 4^{n}}$ обрабатывающих узлов и ${\displaystyle n\times 4^{n-1}}$ коммутаторов, соединенных между собой в виде дельта−сети; оно может быть рекурсивно построено путем соединения четырех четверных утолщённых деревьев размерности ${\displaystyle n-1}$.

Elan может передавать информацию непосредственно между адресными пространствами групп взаимодействующих процессов, сохраняя при этом аппаратную защиту между этими группами процессов. Эта возможность - называемая виртуальной операцией - представляет собой сложное расширение обычного механизма виртуальной памяти, основанного на двух концепциях: виртуальной памяти Elan и контексте Elan.

Важно отметить, что обнаружение неисправностей и отказоустойчивость происходит между двумя взаимодействующими Elan. При нормальной работе источник Elan передает пакет (то есть информацию о маршруте для маршрутизации источника с последующей одной или несколькими транзакциями). Когда получатель в целевом Elan получает транзакцию с флагом ACK Now, это означает, что эта транзакция является последней для пакета. После назначения Elan посылает пакет подтверждения токен возвращается к источнику Elan. Только когда источник Elan получает маркер подтверждения пакета и отправляет маркер окончания пакета, чтобы указать на завершение передачи пакета. Основное правило работы сети Elan заключается в том, что для каждого пакета, отправленного по ссылке, интерфейс Elan возвращает один токен подтверждения пакета. Сеть не будет повторно использовать ссылку до тех пор, пока конечный Elan не отправит такой маркер.

Если Elan обнаруживает ошибку во время передачи пакета по QsNet, он немедленно отправляет сообщение об ошибке, не дожидаясь маркера подтверждения пакета. Если Elite обнаруживает ошибку, он автоматически передает сообщение об ошибке обратно источнику и получателю. Во время этого процесса исходные и конечные Elan и Elite между ними изолируют неисправную связь и/или коммутатор с помощью обнаружения неисправностей на каждом прыжке; источник получает уведомление о неисправном компоненте и может повторить передачу пакета по умолчанию несколько раз. Если это не удается, источник может соответствующим образом перенастроить свои таблицы маршрутизации, чтобы избежать неисправного компонента.

• Пропускная способность: на уровне MPI около 300 МБ/сек.
• Время задержки: 3 мкс.
• Топология: Fat Tree. Архитектура поддерживает до 1024 узлов (QsNet) и до 4096 узлов (QsNet II).
• Программное обеспечение под GNU/Linux распространяется с исходными текстами по лицензии GNU GPL и поддерживает MPI (специализированную версию MPICH) и TCP/IP.

Ниже приведены наиболее часто используемые типы коммуникаций для суперкомпьютеров и их основные характеристики.

• Gigabit Ethernet
• Myrinet
• Scalable Coherent Interface
• InfiniBand

• Сравнение шин для суперкомпьютеров
• The Quadrics Network (QsNet): High-Performance Clustering Technology