Атомная энергетика Конструкционный расчет Технология проведения вибрационных испытаний ТВС РУ ВВЭР-1000 Анализ опасных и вредных производственных факторов, имеющих место при работе цехов по производству ТВС

Атомная промышленность и атомная энергетика

Высокопроизводительный кластер «Стрела»

В начале 2004 года в открытом вычислительном центре «Стрела» (г. Снежинск, Челябинская область, Россия, учредителем центра является РФЯЦ-ВНИИТФ) был установлен высокопроизводительный кластер «Стрела». Необходимость создания кластера была продиктована потребностью в больших вычислительных ресурсах для решения научных задач по конверсионной тематике.

Архитектура кластера является вполне традиционной для подобных систем и допускает постепенное наращивание вычислительной мощности. В качестве узлов используются сервера двух типов: HP ProLiant DL380 G3 - 2 процессора Intel Xeon 2.8 ГГц (400 МГц FSB, 512 Кбайт кеш 2-го уровня), оперативная память 4 Гбайт (PC2100 DDR); HP ProLiant DL380 G4 - 2 процессора Intel Xeon 3.2 ГГц (800 МГц FSB, 1024 Кбайт кеш 2-го уровня), оперативная память 4 Гбайт (PC3200 DDR2).

Далее представлены основные компоненты кластера. Вычислительные узлы. В состав кластера входит 33 вычислительных узла, используемых для отладки и выполнения прикладных задач.

Система хранения данных. Обеспечивает долговременное хранение больших объемов данных и включает:

дисковую подсистему HP StorageWorks Modular SAN Array 1000 (MSA1000) общим объёмом 2044 Гбайт;

ленточную библиотеку HP StorageWorks MSL6030 общим объёмом 12000 Гбайт;

коммутатор Fibre Channel HP StorageWorks MSA SAN Switch 2/8, интегрированный с MSA1000.

Файловый сервер. Обеспечивает управление подсистемой хранения данных и предоставляет доступ к ней по протоколу NFS со стороны других узлов кластера.

Сервисный узел. Используется для следующих функций: загрузка операционной системы на вычислительные узлы, экспортирование корневой файловой системы и каталогов с программным обеспечением на вычислительные узлы, выполнение ряда сервисных систем кластера, например, системы планирования и управления задачами.

Фронт-машина. К этому узлу имеют доступ все пользователи кластера. Основное его назначение - подготовка и запуск прикладных программ. Кроме того, здесь находятся домашние каталоги пользователей, которые доступны по NFS с других узлов кластера.

Сервисная сеть. Основана на Fast Ethernet и используется для целей удаленного управления серверами (через платы iLO) и коммутаторами, мониторинга, запуска задач, доступа к файлам по NFS и т.д.

Вычислительная сеть. Используется для передачи сообщений параллельных прикладных программ, для доступа к файлам по NFS и базируется на аппаратуре InfiniBand производства InfiniCon Systems в составе:

канальные адаптеры InfiniServ 7000;

коммутатор InfinIO 3032;

система разделяемого ввода/вывода InfinIO 7000, включающая коммутирующий модуль InfiniBand, модуль расширения VEx (Virtual Ethernet Exchange Card), модуль IBx (InfiniBand 4x) и один модуль VFx (Fiber Channel Exchange Card).

Рабочие места пользователей. В локальную сеть Ethernet включено несколько персональных компьютеров, используемых в основном техническим персоналом и системными администраторами для текущих работ по сопровождению комплекса.

Доступ к кластеру из Internet осуществляется через шлюз, который выполняет также функции сетевой защиты. В настоящее время обеспечивается доступ по протоколам SSH и HTTPS.

Сопровождение и администрирование кластера выполняется в основном через Internet. Наиболее критичные компоненты - файловый сервер, дисковый массив, фронт-машина, сервисный узел, шлюз и коммутаторы Ethernet - подключены к источнику бесперебойного питания.

На кластере используется концепция бездисковых клиентов, что позволяет сократить время на установку и сопровождение вычислительных узлов, повысить надежность системы и сократить энергопотребление.

Далее рассмотрены основные компоненты программного обеспечения кластера «Стрела». Операционная система. На файловом сервере установлена операционная система Red Наt Advanced Server 2.1, на остальных узлах кластера - Red Hat Enterprise Linux AS 3.

Средства управления кластером. Сюда входят служебные утилиты, обеспечивающие такие функции, как удаленное включение узлов (через плату iLO), выполнение команд на группе узлов в параллельном режиме, передачу файлов на группу узлов и т.д.

Системы программирования и отладки. На кластере обеспечивается поддержка языков программирования C, C++ и Fortran. Установлены отладчик и компиляторы GNU из состава дистрибутива Red Hat Linux. Также доступны некоммерческие версии отладчика и компиляторов Intel 7.0, 8.1 и 9.0.

Коммуникационное программное обеспечение. На кластере установлено ПО InfiniServ 3.0 компании InfiniCon, включающее системные драйвера и реализации ряда прикладных интерфейсов. Реализация стандарта MPI-1 (InfiniMPI) основана на свободно распространяемом пакете MVAPICH. Также установлена библиотека MVAPICH2, реализующая стандарт MPI-2.

Система распределения ресурсов и планирования задач. На кластере установлена свободно распространяемая версия системы пакетной обработки PBS – Torque. В качестве планировщика задач используется также свободно распространяемая система Maui. Для удобства пользователей установлен Web-интерфейс – PBSWeb-Lite, позволяющий, наряду с запуском и удалением задач, просматривать их результаты и пересылать файлы между компьютером пользователя и фронт-машиной кластера.

Система сбора статистических данных и мониторинга. На всех узлах кластера установлено программное обеспечение производителя серверов HP, обеспечивающее контроль состояния аппаратуры (температурный режим, скорость вентиляторов и т.д.). В случае критических ошибок администраторам оправляется сообщение по e-mail. Для сбора и накопления различных статистических данных о работе узлов кластера (загрузка CPU, использование памяти и т. д.) применяется свободно распространяемый пакет Ganglia. Кроме того, установлен пакет pbsacct для обработки учетной информации о выполненных задачах, собираемой в PBS. Просмотр статистических данных возможен через web-интерфейс на фронт-машине.

Для оценки реальной производительности кластера были проведены расчеты по программе High Performance Linpack (HPL), используемой для формирования списка 500 наиболее мощных компьютеров мира . На задаче размером 110000 была достигнута производительность 261.8 Гфлоп/c, что составляет 67% от пиковой производительности кластера (390.4 Гфлоп/c).

С мая 2004 года на основе результатов теста HPL формируется список 50-ти наиболее мощных компьютеров СНГ (http://www.supercomputers.ru). Рейтинг организовали Межведомственный суперкомпьютерный центр РАН и Научно-исследовательский вычислительный центр МГУ им. М.В.Ломоносова при поддержке российской компании Т-Платформы. В первой редакции списка TOP50 СНГ кластер «Стрела» занимал 10-ю позицию с производительностью 118 Гфлоп/c. Наращивание памяти и оптимизация программного обеспечения позволили увеличить производительность до 153,8 Гфлоп/c (15-я позиция во 2-й редакции списка TOP50). Последующая модернизация кластера позволила довести данный показатель до 261.8 Гфлоп/c.

Кластер «Стрела» находится в эксплуатации с 2004 года. Все аппаратные компоненты кластера работают стабильно. За время эксплуатации не было зафиксировано ни одного отказа, вызванного неполадками в аппаратуре. Основное назначение кластера – решение ресурсоемких научных задач. Однако этим область его применения не ограничивается. Кластер может использоваться в качестве полигона для различных исследований и разработки прикладного, сервисного и системного программного обеспечения. Ресурсы кластера позволяют также проводить расчеты для промышленных предприятий.

Существующее структурное разделение энергетики на "традиционную" и "альтернативную" сложилось исторически и не отражает физической и технологической реальности. В работе предложена новая "трехмерная" классификация генерации: По физическому процессу энергетика подразделяется на тепловую, атомную и потоковую;
Создание библиотеки нейтронно-физических констант