Суперкомпьютер СКИФ

Введение. Общие сведения о Программе СКИФ Полное официальное наименование Программы СКИФ - Разработка и освоение в серийном производстве семейства моделей высокопроизводительных вычислительных систем с параллельной архитектурой суперкомпьютеров и создание прикладных программно-аппаратных комплексов на их основе очень хорошо показывает специфику данного проекта 1. Речь идет не о чисто академическом исследовании, а о доведении дела до серийного производства.

Значит, помимо исследовательских, необходимо выполнение и конструкторских работ. Необходимы разработка в соответствии со стандартами программной и конструкторской документации КД и ПД, прохождение в установленном порядке нормоконтроля, подготовка производства, выпуск опытных образцов, проведение предварительных и приемочных государственных испытаний, выпуск литерной документации с литерами О и О1 и т.п. Серийное производство означает учет требований потенциального рынка.

Значит, предстояло кроме обеспечения высоких технических показателей учитывать реальную покупательную способность отечественных предприятий и учреждений, бороться за приемлемые значения цены и отношения производительность к цене. 2. Целью программы являлся не одиночный уникальный образец. Цель - семейство моделей, высокопроизводительных вычислительных систем суперкомпьютеров, совместимых по программному обеспечению, имеющих широкий выбор возможных конфигураций, широкий спектр производительности

от единиц и десятков миллиардов операций в секунду 1-10-100 GFlops, до триллионов операций в секунду до 15 TFlops. 3. Недостаточно разработать только семейство машин и базовое программное обеспечение ПО для них. Для того чтобы обеспечить широкое внедрение суперкомпьютеров семейства СКИФ, предстояло разработать прикладные системы и даже законченные прикладные комплексы.

Например, кардиологический комплекс нового поколения, в котором медицинское оборудование сенсоры были интегрированы с небольшим вычислительным кластером, реализующим обработку первичной диагностической медицинской информации. Программа СКИФ выполнялась пять лет, с 2000 по 2005 годы. В программе были определены государственными заказчиками-координаторами от Республики Беларусь - Национальная академия наук Республики

Беларусь от Российской Федерации - Федеральное агентство по науке и инновациям. Институт программных систем Российской академии наук ИПС РАН являлся головным исполнителем программы СКИФ от Российской Федерации, головным исполнителем от Республики Беларусь являлся Объединенный институт проблем информатики

Национальной академии наук Республики Беларусь ОИПИ НАН Беларуси. Всего в Программе участвовали около двух десятков учреждений и предприятий, примерно поровну - по десятку предприятий от каждой страны. В последующих разделах будет кратко изложено описание основных результатов суперкомпьютерной программы СКИФ Союзного государства, рассмотрены перспективы использования этих результатов и перспективы развития данного научного направления.

1. Выпуск опытных образцов суперкомпьютеров семейства СКИФ За пять лет исполнения программы СКИФ было выпущено шестнадцать опытных образцов суперкомпьютеров семейства СКИФ, шесть из них было размещено в Беларуси, десять - в России. Из всех моделей семейства СКИФ особо отметим СКИФ К-500 и СКИФ К-1000 - эти суперкомпьютеры вошли в список 500 самых мощных компьютеров мира

СКИФ К-500 - 417 место в редакции рейтинга от ноября 2003 года СКИФ К-1000 - 98 место в редакции рейтинга от ноября 2004 года. Существенный вклад внесли суперкомпьютеры семейства СКИФ в парк высокопроизводительных установок, размещенных на территории СНГ. В ноябре 2004 года семь суперкомпьютеров СКИФ вошли в список пятидесяти самых мощных суперкомпьютеров

СНГ под номерами 1, 6, 8, 20, 22, 32, 34. Суперкомпьютер СКИФ К-1000 занимал тогда первое место в данном рейтинге. Также отметим, что суперкомпьютерные установки семейства СКИФ занимали в ноябре 2004 года в суперкомпьютерном рейтинге СНГ только 14 мест, а обеспечивали в данном рейтинге четверть суммарной пиковой и одну треть суммарной

Linpack-производительности. То есть, объективно эффективность КПД у семейства СКИФ была в полтора раза выше, чем в среднем по другим отечественным и зарубежным суперком-пьютерам, установленным в СНГ в ноябре 2004 года. Высокие места, занятые в мировых рейтингах и рейтинге стран СНГ, свидетельствуют о важной роли высокопроизводительных вычислительных систем семейства СКИФ в отечественной суперкомпьютерной отрасли. Необходимо подчеркнуть шестнадцать опытных образцов

создавались в рамках разработки и освоения в производство семейства подобных вычислительных установок. Эти образцы, по сути, являются верхушкой айсберга, в основании которого лежат исследовательские и конструкторские работы, разработка в соответствии со стандартами КД и ПД, прохождение в установленном порядке нормоконтроля, подготовка производства, проведение предварительных и приемочных государственных испытаний, выпуск литерной документации с литерами

О и О1. И в этой части, конечно, главный результат не эти 16 установок, а способность и готовность промышленности Беларуси и России выполнить любые заказы отечественных предприятий и организаций на вычислительные системы семейства СКИФ. 2. Спецвычислители ускорители в установках семейства СКИФ Помимо разработки универсальных кластерных вычислительных систем программа СКИФ предусматривала и разработку спецвычислителя для потоковых вычислений - однородной вычислительной

среды ОВС. Как и другие задания мероприятия Программы СКИФ, эта разработка была выполнена, и осенью 2004 года успешно прошли приемочные испытания опытного образца базового вычислительного модуля ОВС. Данный модуль содержал 1000 однобитовых процессоров с возможностью расширения до 4000 процессоров 2 платы расширяется до 8 на каждой по 20 СБИС, в каждой из которых по 25 процессоров. Испытаниям были подвергнуты и системное

ПО уровня ОВС диспетчер мета-процессов и средства программирования ОВС графовый язык, система подготовки и отладки программ. Отметим, что данная разработка является полностью отечественной российские и белорусские исполнители исполнители программы СКИФ разрабатывали принципы работы ОВС, разрабатывали и изготавливали микросхемы, печатные платы, конструктивные элементы, систему электропитания

и охлаждения, все аппаратные узлы и систему в целом, все программное обеспечение для нее. Высокая эффективность использования спецвычислителей для некоторых видов алгоритмов подвела к решению расширить спектр спецвычислителей, используемых в семействе суперкомпьютеров СКИФ. Был изготовлен опытный образец модульно наращиваемой многопроцессорной системы МНМС, созданный группой под руководством чл.корр. Каляева

И. А. разработчиков из НИИ МВС, Таганрог. Осенью 2004 года была выполнена стыковка МНМС с опытным образцом суперкомпьютерной системы ЕС1710.03 проведены приемочные испытания комплекса, в которых проверялись программа управления МНМС библиотека программного интерфейса система разработки приложений демонстрационные параллельные программы o система криптоанализа сообщений DES o программа выполнения быстрой свертки группы массивов o прикладная система реального времени сопровождения

цели. 3.Собственное программное обеспечение для семейства суперкомпьютеров СКИФ Огромные усилия, большая доля времени, сил и средств были потрачены в Программе СКИФ на разработку программного обеспечения ПО и литерной программной документации ПД. Отметим, что все ПД было разработано в соответствии с требованиями ЕСПД, проведено через нормоконтроль, успешно прошло

приемочные государственные испытания с присвоением литеры О1. Общий объем комплекта ПО для семейства суперкомпьютеров СКИФ составляет 10 дисков CD-ROM. Перечислим основные компоненты данного комплекта стандартное ядро ОС Linux и модифицированное ядро ОС Linux-SKIF с большим уровнем информационной безопасности параллельная файловая система PVFS-SKIF, модифицирована под специфику семейства

СКИФ система очередей OpenPBS-SKIF модифицирована оригинальная система мониторинга и управления установками семейства СКИФ FLAME-SKIF включает среди прочего и поддержку сервисной сети СКИФ-ServNet OpenTS - Т-система с открытой архитектурой оригинальная разработка ИПС РАН и МГУ им. М. В. Ломоносова, позволяющая существенно облегчить разработку параллельных прикладных программ. Т-система 2, 3- система автоматического и динамического распараллеливания программ.

В отличие от большинства аналогов Т-система поддерживает практически все параллельные платформы, начиная с многоядерных процессоров и включая все остальные архитектуры - SMP- и PVM-системы, MPI-кластеры, метакластерные системы и GRID-сети. TDB - распределенный интерактивный отладчик MPI-программ, с поддержкой отладки Т-программ отечественная замена дорогостоящей системы

TotalView 12 адаптированных к особенностям семейства СКИФ свободных пакетов, библиотек и параллельных приложений 7 прикладных программных систем, разработанных в среде OpenTS o MultiGen ЧелГУ - система расчета биологической активности молекул с учетом их конформационного многообразия, прогнозирование и проектирование в химии лекарства и другие соединения o Пакет расчета аэромеханики подвижных плохообтекаемых тел

НИИ механики МГУ им. М.В. Ломоносова o Обработка и поиск XML-данных НИИ механики МГУ им. М.В. Ломоносова o Программная система формирования фокусированных радиолокационных изображений НИИ КС o Программная система моделирования широкополосных пространственно-временных радиолокационных сигналов НИИ КС o Программная система поточечной обработки цветных и полутоновых видеоданных космических систем дистанционного зондирования НИИ КС o Программная система классификации гиперспектральных изображений

со спутника LANDSAT ИПС РАН 14 параллельных приложений собственной разработки o ИПС РАН, Росгидромет Модель проф. В М. Лосева и другие метеорологические модели ОИПИ НАН Беларуси. Республиканский Гидрометеорологический центр РГМЦ модели регионального прогноза погоды на 48 часов, численные методы прогнозирования погоды o ИЦИИ ИПС РАН три прикладные системы ИИ АКТИС - классификации текстов по заданным в процессе обучения

классам глубокий анализ текста, высокая релевантность INEX - извлечение знаний из неструктурированных текстов на естественном язы-ке, заполнение заданной реляционной БД MIRACLE система разработана на OpenTS - инструментальная система для проектирования интеллектуальных систем ОИПИ НАН Беларуси, РНПЦ Кардиология и УП НИИЭВМ Аппаратно-программный кардиологический комплекс ИВВиИС кардиологическая экспертная система реального

времени ADEPT-C. 4. Сервисная сеть СКИФ-ServNet Сервисная сеть СКИФ-ServNet разработана специалистами ИПС РАН. Сервисная сеть предназначена для удаленного управления вычислительными узлами суперкомпьютерных систем. СКИФ-ServNet обеспечивает селективные для узла или группы узлов операции управление электропитанием Power OnOff выполнение аппаратного сброса Reset контроль

Serial Console над программным обеспечением в узлах кластера реализацию функции черного ящика - чтение последних сообщений Serial Console на неработоспособном узле группе узлов. За счет интеграции с системой FLAME-SKIF мониторинга и управления установками семейства СКИФ сервисная сеть СКИФ-ServNet становится мощным средством автоматизированного управления в том числе и удаленного аппаратными и программными компонентами суперкомпьютеров семейства

СКИФ. Отметим, что система FLAME-SKIF и сервисная сеть СКИФ-ServNet нашла свое применение не только в установках семейства СКИФ, но и в кластерах других изготовителей. 5. Совместимость суперкомпьютеров семейства СКИФ с коммерческим программным обеспечением. Примеры реального использования суперкомпьютеров СКИФ Очень важным свойством суперкомпьютеров семейства

СКИФ является их совместимость с коммерческими инженерными пакетами, такими как LS-DYNE, STAR-CD и др. Это позволило, наряду с наличием отечественного ПО СКИФ, в короткие сроки обеспечить существенное реальное использование суперкомпьютеров семейства СКИФ в России и Беларуси. Приведем лишь краткий список примеров использования суперкомпьютеров СКИФ Химические приложения квантохимические расчеты, прогнозирование и проектирование в химии лекарства

и другие соединения. Проектирование химических реакторов. Аэрогидродинамические расчеты, включая аэромеханические расчеты для случая плохообтекаемых тел. Газодинамика, в том числе численное моделирование элементарных процессов радиационной газовой динамики. Обработка результатов дистанционного зондирования земли ДЗЗ формирование фокусированных радиолокационных изображений моделирование широкополосных пространственно-

временных радиолокационных сигналов поточечная обработка цветных и полутоновых видеоданных классификация изображения и др. Гидрометеорология модели регионального прогноза погоды на 48 часов, численные методы прогнозирования погоды, перспективные метеорологические модели. Прикладные системы искусственного интеллекта ИИ, аналитические службы, информационный сервис, наука и государственная безопасность o классификации текстов по заданным в процессе обучения классам o извлечение

знаний из неструктурированных текстов на естественном языке o инструментальные системы для проектирования интеллектуальных систем и др. Медицина и телемедицина кардиологическая экспертная система реального времени по сути, относится к телемедицине. Расчеты явлений с большой долей энергии излучения расчет характеристик лазерного факела, моделирование процессов лазерного спекания порошковых материалов для медицинских изделий, гиперзвуковое движение космического тела в плотных слоях атмосферы удар астероида

по поверхности Земли и др. Расчеты в интересах нанотехнологий численные модели, реализующие методы молекулярной динамики для моделирования наноструктур программный комплекс расчета зонной структуры твердых тел. Геомеханические задачи моделирование деформационных процессов на земной поверхности, моделирование устойчивости подземных сооружений напряженно-деформированное состояние подработанной толщи. Экологическое моделирование и прогнозирование, в том числе в чрезвычайных ситуациях комплекс оперативного

прогноза ветрового переноса загрязнений при чрезвычайных ситуациях. Государственная безопасность. Специальные математические задачи и алгоритмы, решения задач перебора большой размерности. Система идентификации личности по голосу, сбор, учет и поиск лиц по фонограммам их речи. Радиосвязь гражданская и военная. Оптимизация частотно-территориальных планов радиоэлектронных средств с учетом электронно-магнитной совместимости.

Банковские информационные системы. Инженерные расчеты o Автомобильная промышленность расчеты конструкций карьерных самосвалов БелАЗ расчеты столкновений транспортных средств с препятствиями расчет турбокомпрессоров для наддува дизельных двигателей проектирование карданных валов. o Сельскохозяйственные машины расчеты конструкций перспективных универсальных тракторов

Беларусь почвообрабатывающих агрегатов. o Аэрокосмическая техника детонационное горение, распространение пламени форсунки камеры сгорания газотурбинной установки, оценка прочности авиационных газотурбинных двигателей. o Легкая промышленность моделирование динамических характеристик швейных изделий и обуви. Иное моделирование деформационных процессов на земной поверхности расчеты конструкций шахтных крепей система охлаждения реактора и др. 6. Подготовка к серийному выпуску суперкомпьютеров семейства

СКИФ Очень важным результатом Программы СКИФ является подготовленная производственная база. Возможности участников программы СКИФ ИПС РАН, ОАО НИЦЭВТ, ООО Т-Платформы позволяют серийно выпускать суперкомпьютеры с производительностью до 15 TFlops - по технологиям, ранее проверенным на семействе СКИФ К-1000 адаптеры высокоскоростных сетей SCI для кластеров - полных аналогов адаптеров фирмы

Dolphin SCI PCI6466 Dolphin ICS, 1D- и 2D-тор, D330, D337, D335 адаптеры сервисной сети СКИФ-ServNet. А самым важным результатом Программы СКИФ можно назвать восстановление и создание кооперационных связей, организация такой команды исполнителей, которой по плечу самые сложные задачи в области суперкомпьютерных технологий. Это особенно ярко проиллюстрировал опыт создания СКИФ

К-1000. В ноябре 2004 года суперкомпьютер СКИФ К-1000 занял 98 место в рейтинге Top500. При этом суперкомпьютеры из первой сотни, кроме участников Программы СКИФ, выпускали в это время только США, Япония и Китай. Многие иные страны Западной Европы и Азии обладают развитой суперкомпьютерной отраслью и создавали в это время суперкомпьютеры, входящие в Top500, но не в первую сотню.

Этот факт доказывает тезис, что на этот момент команда исполнителей Программы СКИФ действительно достигла мирового уровня в освоении суперкомпьютерных технологий. И не использовать такой ресурс в интересах России и Беларуси - было бы ошибкой. 7. Перспективы развития направления работ программы СКИФ Дальнейшее развитие направления работ программы

СКИФ связано с усилиями по внедрению изделий семейства СКИФ и по развитию изделий семейства СКИФ. Заметим, что в системе программ Союзного государства научное направление СКИФ играет системообразующую роль - использование результатов Программы СКИФ и взаимодополнение с Программой СКИФ явно предусмотрены в новых Союзных программах Космос-БР 2004-2007 и Триада 2005-2008.

Среди прочего, в этих программах планируется использование суперкомпьютеров семейства СКИФ. Однако, разработка суперкомпьютеров семейства СКИФ завершилась вместе с завершением программы - в 2004 году. И к 2006 году существующие технические решения, существующая конструкторская документация морально устареет. А это значит, что в новых Союзных программах

Космос-БР и Триада не будет альтернативы закупке зарубежных суперкомпьютерных решений. Тем самым, со всей очевидностью есть необходимость скорейшей разработки и начала исполнения новой программы, которая стала бы продолжением Программы СКИФ. Эту необходимость понимают и в Правительствах России и Беларуси - в Постановлении Совета Министров Союзного Государства от 21 апреля 2005 г.

17 Об итогах выполнения программы Союзного государства Разработка и освоение в серийном производстве семейства высокопроизводительных вычислительных систем с параллельной архитектурой суперкомпьютеров и создание прикладных программно-аппаратных комплексов на их основе сказано Совет Министров Союзного государства постановляет 1. Считать завершенной программу Союзного государства

Разработка и освоение в серийном производстве семейства высокопроизводительных вычислительных систем с параллельной архитектурой суперкомпьютеров и создание прикладных программно-аппаратных комплек-сов на их основе и одобрить представленный Национальной академией наук Беларуси и Федеральным агентством по науке и инновациям Министерство образования и науки Российской Федерации отчет об итогах ее реализации в 2000-2004 годах

прилагается. 2. Федеральному агентству по науке и инновациям и Национальной академии наук Беларуси подготовить и внести установленным порядком в Совет Министров Союзного государства предложение о дальнейшем развитии работ в области создания и разработки высокопроизво-дительных вычислительных систем в рамках Союзного государства. 3. Настоящее постановление вступает в силу со дня его подписания.

В середине 2004 года в сотрудничестве ИПС РАН с белорусскими и российскими организациями были подготовлены такие предложения по формированию новой суперкомпьютерной программы Союзного государства Разработка и использование программно-аппаратных средств ГРИД-технологий и перспективных высокопроизводительных суперкомпьютерных вычислительных систем семейства СКИФ шифр СКИФ-ГРИД, включающие четыре направления работ

GRID-технологии развитие, исследование и внедрение средств высокопроизводительных вычисле-ний на основе GRID-технологий поддержка гетерогенных, территориально-распределенных вычислительных комплексов. Суперкомпьютеры семейства СКИФ создание суперкомпьютеров СКИФ нового поколения на базе новых перспективных процессоров и вычислительных узлов, новых технических средств системной сети, управления системой, спецвычислителей и гибридных узлов, разработка соответствующего

программного обеспечения. Защита информации реализация аппаратных и программных средств защиты информации в создаваемых вычислительных комплексах. Пилотные системы реализация прикладных систем в перспективных областях применения создаваемых вычислительных установок, решение актуальных задач на суперкомпьютерах и GRID-системах, усилия по подготовке и переподготовке кадров в области суперкомпьютерных и GRID-технологий. К сожалению, предложения по формированию новой суперкомпьютерной программы

Союзного государства СКИФ-ГРИД до сих пор не согласованы российскими ведомствами белорусские министерства и комитеты все согласования завершили еще весной. А без государственной поддержки продолжения научного направления Программы СКИФ тот самый научный задел, тот самый потенциал команды исполнителей Программы СКИФ, безнадежно теряется мировые суперкомпьютерные технологии развиваются вдвое за год по всем основным показателям. Последнее обстоятельство означает, что 1 год простоя оставляют 12 часть от

нашего задела и от нашего потенциала 2-года простоя - 14 часть и т.д. К сожалению, сегодня уже с уверенностью известно, что работы по Программе СКИФ-ГРИД в 2006 году начаты не будут. А это значит, что как минимум два года простоя уже имеется. Список литературы 1. TOP500 Supercomputer Sites - мировой рейтинг пятисот самых мощных компьютеров мира

Информационный ресурс в сети Интернет, httpwww.top500.org 2. Абрамов С.М Адамович А.И Инюхин А.В Московский А.А Роганов В.А Шевчук Е.В Шевчук Ю.В. Т-система с открытой архитектурой Труды Международной научной конференции Суперкомпьютерные системы и их применение. SSA2004, 26-28 октября 2004 г. Минск, ОИПИ НАН Беларуси, с.

18-22 3. Абрамов С.М Адамович А.И Коваленко М.Р. Т-система - среда программирования с поддержкой автоматического динамического распараллеливания программ. Пример реализации алгоритма построения изображений методом трассировки лучей Программирование, 1999, том 25 2, стр. 100-107, 1999 No 252.