HPC

Вычислительный узел – это многоядерный сервер, выполняющий часть задачи пользователя и который объединяется в единую структуру, которая своей общей мощностью уже решает полностью всю задачу. По своему значению данный компонент HPC-кластера первостепенный, ведь его параметры влияют на производительность и масштабируемость всей системы. 

Производительность определяют следующие характеристики процессоров: тактовая частота, количество ядер, возможность выполнения одновременных операций с группой регистров (земетим, не все приложения умеют пользоваться полным набором инструкций процессоров).

В свою очередь от количества оперативной памяти ( от 4 и более Гигабайт на ядро) напрямую зависит размерность  пользовательской задачи, которая может выполняться на  проектируемом высокопроизводительном кластер.

Это сервер имеющий значительные ресурсы, как процессорные, так и оперативной памяти, который осуществляет функции декомпозиции задачи (разделения на маленькие кусочки для вычислительных узлов), а так же планировщика, мониторинга, front-end и некоторые другие. Так, планировщик используется с целью распределения заданий, которые выполняются на вычислительных узлах. 

Это включает выявление свободных ресурсов, координацию при назначении и распределении заданий, отслеживание общего состояния выполняемых задач. В свою очередь, для того, чтобы производительность распределенных вычислений оставалась высокой, управляющий узел производит постоянный мониторинг всех аппаратных и программных компонентов вычислительного комплекса и принимает необходимые действия для обеспечения эффективной загрузки.

А непосредственно пользователи и администраторы могут в любой момент получить информацию о ходе выполнения заданий и при необходимости изменить приоритеты вычислений .

Разрабатывая проект кластера, важно знать, что управляющий узел напрямую не задействован в расчётах, в то же время от количества оперативной памяти на нем, зависит максимальная сложность (размерность) задачи которую весь кластер может вычислить в целом. Поэтому к составу и производительности управляющего узла предъявляются более жесткие требования.

GPU или графическое ускорение требуется для повышения производительности тех приложений, которые умеют выгружать задачи на ядра графических ускорителей и им необходимо максимум вычислительных мощностей. Одновременно с этим, за работу части приложений, не умеющих работать с GPU, продолжает отвечать центральный процессор (CPU) узла.

Главное отличие GPU-ускорителей, например, NVIDIA TESLA, которые оснащены тензорными ядрами Turing и новыми ядрами RT заключается в том, что они включают тысячи ядер, которые более энергоэффективны и могут параллельно выполнять  большое число вычислений.

Использование высокоскоростного интерконнекта необходима для быстрого обмена и доставки данных приложениям и повышения производительности HPC-кластера. Следовательно, коммутационные решения для интерконнекта должны отвечать таким критериям, как низкая задержка (latancy, латентность) и высокая пропускная способность. 

Необходимо, чтобы интерконнект – даже в условиях интенсивного обмена – не приводил к нагрузке на другие подсистемы вычислительных узлов в вычислительном кластере, а архитектура связности позволяла без взаимных блокировок производить обмен данными между всему узлами сети. 

В качестве примера таких решений можно привести Infiniband оборудование производства Mellanox (Mellanox был куплен NVidia в 2019 году) . Эти устройства позволяют достигать максимального быстродействия с минимальной задержкой и комплексно поддерживать функционирование спроектированного кластера в целом.

Для эффективной работы вычислительного кластера необходимо, чтобы промежуточные данные были доступны одновременно всем вычислительным узлам. Эту задачу решают параллельные системы хранения данных, от которых требуются, в первую очередь, надёжность и производительность. 

Есть два основных варианта организации СХД: в рамках параллельной файловой системы (данные поступают через интерконнект с специализированных узлов хранения)  и путем подключения каждого узла к  внешнему устройству хранения с производительным интерфейсом (Fibre Channel, SAS, Infiniband, редко NVMe-over-Fabric). 

Для хранения данных используются  накопители всех типов SSD, SAS, SATA, обычно объединенных в иерархическую структуру единого пула хранения. Увеличение объёмов происходит вертикальным масштабированием - наращиванием числа полок расширения с дисками, а увеличение производительности - горизонтальным масштабированием посредством увеличения числа узлов хранения.

ИБП – это обязательный компонент для стабильной и безопасной работы вычислительного кластера в силу того, что всегда существует риск потери информации в случае сбоев электропитания. Одно из главных требований к источнику бесперебойного питания – наличие ПО, способного автоматически и в безопасном режиме отключать кластер или отдельные ноды кластера, в том числе при отсутствии пользователя или администратора. 

Столь же важно обеспечить отказоустойчивость системы ИБП за счёт установки резервирующих блоков питания. Несмотря на уровень бюджета и специфику задач, организациям никогда не стоит экономить на источниках бесперебойного питания и резервировании.

Как правило, решая задачу построения вычислительного кластера, параллельно решается задача, как максимальную вычислительную мощность (узлы) спроектировать таким образом, чтобы они занимали минимальную физическую площадь, а значит применялся максимально плотный монтаж в корпуса вычислительных нод, в серверные шкафы, и учитывалась максимальная плотность размещения таких шкафов. 

А при соблюдении всего этого, вопрос грамотного охлаждения выходит на первый план. От его решения зависит надежность и длительная работоспособность всего кластерного комплекса в целом. Мы рекомендуем размещать HPC-оборудование в специализированных серверных комнатах, в которых все изначально продумано для правильного охлаждения воздухом, водой или другим образом.