В Астрофизическом институте им. Фесенкова (АФИФ) действует компьютерный кластер, состоящий из нескольких высокопроизводительных вычислительных узлов, оснащенных многоядерными центральными и графическими процессорами. Теоретическая производительность кластера с одинарной точностью в настоящее время достигает максимума в 75 терафлопс для операций с ЦПУ (820 ядер / 1640 потоков) и 1235 терафлопс для операций на графических процессорах (304 640 ядер CUDA). Кроме того, имеется отказоустойчивое хранилище данных объемом 230 терабайт. Сервера в кластере коммутируются по 10-гигабитным каналам связи и работают под управлением ОС Linux. Планирование задач организовано с помощью диспетчера рабочей нагрузки SLURM. Проведение вычислений и хранение данных на кластере АФИФ доступно также по онлайн-заявке, после утверждения которой, заявителю открывается SSH-доступ к кластеру с согласованными разрешениями.

Кластер АФИФ непрерывно развивается, по возможности увеличивается количество вычислительных серверов, gpu-карт, накопительная емкость, скорость интерлинка.

Вычислительные ноуды

Компьютерный кластер оснащен тремя видами вычислительных серверов: кастомные на базе компьютерных компонентов потребительского класса, профессиональные на базе процессоров Intel Xeon и профессиональные сервера на базе процессоров AMD Epyc.

Custom Server

Intel Xeon

AMD Epyc

Кастомные сервера призваны обеспечивать максимального производительность на ядро, недоступную в профессиональных решениях. Для этого в них используются разогнанные high-end процессоры, такие как i7-5960X, i9-9900K, i9-10900K. Максимальная рабочая частота одновременной работы всех ядер в таких системах достигает 5.5GHz, а количество ядер 10. Объем оперативной памяти варьируется от 16 до 64 гигабайт.

Профессиональными серверами на базе процессоров Intel Xeon являются двухпроцессорные рабочие станции от компании SuperMicro, в частности GPU SuperWorkstation 7049GP-TRT и GPU SuperServer SYS-740GP-TNRT. Эти системы оснащены процессорами Xeon 6126, Xeon 6226, Xeon 6326 и Xeon 8362. Объем оперативной памяти варьируется от 80 до 256 гигабайт. Количество ядер на процессор/сервер составляет 12/24, 16/32 и 32/64. Возможна установка до 4-х полноразмерных двухслотовых GPU-карт или 2-х трехслотовых.

Профессиональные сервера на базе процессоров AMD Epyc реализованы на двухпроцессорных платформах SuperMicro GPU A+Server 4124GS-TNR и GPU A+ Server AS-4125GS-TNRT2. Системы оснащены самыми многоядерными процессорами в кластере, а именно Epyc 7763 и Epyc 9654, которые имеют 64 и 96 ядер соответственно. Объем оперативной памяти в этих серверах достигает 512 и 768 гигабайт. Возможно размещение от 8 до 10 полноразмерных GPU-карт.

Совокупная CPU-производительность всех серверов составляет 75.2 терафлопса, при условии проведения вычислений с одинарной точностью и использования векторных инструкций.

GPU-карты

В кластере активно используются несколько моделей видеокарт класса high-end, такие как Nvidia GTX 1080, Nvidia GTX 1080 Ti и Nvidia RTX 2080 Ti, а также более новые Nvidia RTX Nvidia RTX 3090 24GB и Nvidia RTX 4090 24G. Хотя данные модели относятся к потребительскому и игровому сегменту, вместе с тем они содержат большое количество универсальных вычислительных ядер (Cuda Cores, CC) позволяющих проводить массивные вычисления общего назначения.

PALIT RTX 3090 GamingPro OC

INNO3D GeForce RTX 4090 X3 OC

Теоретическая вычислительная мощность всех видеокарт составляет 1296 терафлопс (для вычислений с одинарной точностью).

Хранение данных

Для хранения данных используется кластер из двух идентичных NAS-серверов Synology RackStation RS4021xs+. В каждый сервер установлены 16 жестких дисков Seagate Exos X18 емкостью 18 терабайт, которые организованы в RAID6 массив. Серверы соединены выделенным 10-гигабитным каналом для синхронизации данных. Каждый сервер может пережить одновременную потерю двух дисков, а кластер в целом – полный выход из строя одного из серверов, что обеспечивает высокую надежность хранения данных. Фактическая емкость кластера составляет 230 терабайт, с возможностью расширения до 1 петабайта.

Synolgy RackStation RS4021xs+ High Availability Cluster

Все место на NAS-кластере организовано в виде одного BTRFS-тома и доступно с каждого вычислительного сервера, а также с каждого рабочего компьютера в институте, в виде сетевой NFS-директории. Система обеспечивает хранение наблюдательных и вычислительных данных, а также рабочих данных пользователей.

Служебные сервера

Для полноценного функционирования кластера требуется работа разнообразных служб, таких как файрвол, DHCP, DNS, LDAP, Grafana, Slurm и многих других. Для этих целей в кластере АФИФ выделены два специализированных одноюнитовых сервера SuperMicro SuperServer SYS-510P-WTR с идентичными характеристиками (Intel Xeon 6314U 32C/64T, RAM 64GB). Оба сервера объединены в PROXMOX-кластер, в виртуальной среде которого выполняются все необходимые службы и сервисы. Высокие характеристики серверов позволяют заключать службы в индивидуальные контейнеры и виртуальные машины, при этом обеспечивая высокую скорость и низкие задержки в их работе. Благодаря двухсерверной архитектуре, в случае сбоя одного из серверов, все находящиеся на нем контейнеры мигрируют на рабочий сервер, обеспечивая практически бесперебойную работу всех служб.

Кластер SuperMicro SuperServer SYS-510P-WTR

Данные сервера также обеспечивают хостинг интернет-сервисов, разрабатываемых в институте, таких как vo.fai.kz и ssa.fai.kz.

Интерлинк

Все межсерверные коммуникации в кластере осуществляются по сетевым Ethernet-каналам через два 1-гигабитных TP-Link SG1016D и TP-Link SG1024D, и два 10-гигабитных коммутатора NETGEAR XS708T и NETGEAR XS728T. Кастомные сервера имеют 1 гигабитные Ethernet-подключение и коммутируются через гигабитный коммутатор UTP-кабелями 5-ой категории, в то время как практически все профессиональные (кроме 4124GS-TNR), сетевые и служебные сервера снабжены двумя 10 гигабитными Ethernet интерфейсами и подключены к 10 гигабитным коммутаторам кабелями 6-ой категории.

Интернет

Связь кластера АФИФ с внешним миром обеспечивается двумя независимыми интернет-соединениями – основным и резервным. Основное соединение осуществляется по оптоволоконной линии с шириной канала 100 мегабит. Резервное соединение, шириной 25 мегабит, идет через радиоканал. Оба канала работают параллельно в режиме балансировки нагрузки, увеличивая эффективную ширину канала связи до 125 мегабит. В случае отказа одного из каналов, все соединения, проходящие через него, автоматически переустанавливаются через второй канал, обеспечивая высокую отказоустойчивость линии связи с кластером.

Питание

Электропитание кластера осуществляется через 6 источников бесперебойного питания (ИБП) с функцией двойного преобразования Eaton 9SX 6000iR 6000 VA / 5400 кВт общей мощностью 6 × 5.4 кВт = 32.4 кВт. При этом пиковое энергопотребление кластера составляет 12 кВт. Избыточная мощность обусловлена резервированием питания для целей отказоустойчивости, а также созданием возможности для обслуживания и замены ИБП на лету, без отключения серверов. По этой причине, все профессиональные сервера подключены одновременно к нескольким независимым ИБП. Последнее возможно благодаря наличию в серверах нескольких (от 2-х до 4-х) блоков питания и наличию достаточного количества (8-и) разъемов С14 на каждом Eaton 9SX 6000iR. В результате, отключение или выход из строя одного ИБП или блока питания не приводит к обесточиванию сервера. Функция двойного преобразования обеспечивает высокую защиту и стабильные характеристики питания, а также минимизирует использование аккумуляторных батарей, продлевая их жизнь. При отключении сетевого электричества, питание всего кластера продержится в течении 5 минут, после чего питание сохраняется только для критической нагрузки – служебных серверов, NAS-серверов, коммутаторов, интернет-модемов и интернет-антенн – вплоть до полной разрядки ИБП, что позволяет обеспечить их работу примерно в течении 3.5 часов без сетевого питания.

Охлаждение

Для охлаждения кластера используется инверторный прецизионный сплит-кондиционер Mitsubishi Electric SPLIT EVO INV IN/OUT 0071 LT холодопроизводительностью 17.3 кВт. Кондиционер снабжен функцией естественного охлаждения (free-cooling), позволяющей большую часть года охлаждать кластер наружным воздухом без использования компрессора, существенно экономя электроэнергию.

Задачи

Основные задачи, решаемые кластером, – это компьютерное моделирование, хранение и обработка данных. В частности, численное моделирование динамики звездных скоплений, галактических центров, галактик и галактических систем, а также хранение и обработка наблюдательных данных, поступающих с обсерваторий АФИФ.

Доступ

Доступ к кластеру осуществляется посредством SSH-протокола в два этапа. Вначале производится авторизация на шлюз-сервере, после чего осуществляется авторизация на внутреннем сервере, как правило, master-сервере, с которого производится запуск вычислительных задач с использованием планировщика задач SLURM. По вопросу доступа к кластеру необходимо обратиться по адресу admin@fai.kz, или оформить заявку на портале Казахстанской Виртуальной Обсерватории: vo.fai.kz/comput_sub.php.