Испытательная лаборатория проектаМВС.А. О. ЛацисРуководство по установке МВС-900.Краткая справка об устройствеМВС-900
МВС-900 – этопараллельная вычислительная система кластерной архитектуры, состоящая из одногохоста (управляющей машины) и нескольких (до 254) узлов. Хост и узлы – этовиртуальные машины, каждая из которых выполняется на отдельной физическоймашине.
/>/>
Общая структуравиртуального кластера МВС-900.
Для реализациивиртуальной машины в рамках физической используется монитор виртуальных машин VMware.
Конкретную конфигурациювиртуальной машины, которую требуется реализовать, VMware узнает из конфигурационного файла виртуальной машины.В этом файле указывается объем оперативной памяти, количество и объемвиртуальных дисков, MAC- адресавиртуальных сетевых карт и прочие подобные сведения. Конфигурационный файл –текстовый, его можно редактировать обычным порядком. Конечно, программноеобеспечение МВС-900 рассчитано на совершенно конкретную конфигурацию узлов ихоста.
Несколько слов о том, какименно VMware моделирует внешние устройствавиртуальных машин на физическом оборудовании.
Проще всего обстоит делос дисками. Каждая из виртуальных машин имеет хотя бы один виртуальный диск,которому в Windows физической машины соответствует одинили несколько файлов, называемых файлами с образом диска. В состав дистрибутивавходят файлы с образами дисков хоста и узла, на которых уже установлено всенеобходимое программное обеспечение кластера МВС-900.
Также каждая виртуальнаямашина оснащена несколькими виртуальными сетевыми картами. Отображениевиртуальных сетевых карт на физическую сеть VMware выполняет следующим образом.
Физическая сетевая картаи все отображаемые на нее виртуальные сетевые карты логически простообъединяются виртуальным hub’ом,который и выходит на физический сетевой кабель.
Таким образом, на уровне MAC- адресов виртуальные сетевые картыоказываются в том же сегменте локальной сети, что и моделирующие их физическиекарты. Возможность сетевого взаимодействия виртуальных и физических сетевыхкарт, тем самым, не содержит никакой «виртуальной специфики», и зависит толькоот настройки ip- адресов. Все работает в точноститак, как если бы упомянутый выше «виртуальный hub» существовал в действительности, а виртуальныесетевые карты были физическими и принадлежали отдельно стоящим физическиммашинам. В частности, нет никакой разницы во взаимодействии виртуальной машиныс той физической, на которой она установлена, и с любой другой физической иливиртуальной машиной этого сегмента. Если ОС виртуальной машины настроитвиртуальную сетевую карту на ip-адрес и маску из той же подсети, к которой относятся физические сетевые карты,все они смогут «разговаривать» друг с другом. Если же ОС нескольких виртуальныхмашин настроят свои сетевые карты на ip- адреса и маску другой подсети, эта подсеть будет существоватьнезависимо от физической, отображаясь на то же оборудование. Виртуальные машиныбудут «разговаривать» друг с другом, не мешая физическим, и наоборот.
В МВС-900 используютсяоба варианта настройки ip-адресов. Так, хост и узлы связаны между собой двумя внутренними сетями,изолированными от внешнего мира, и, кроме того, хост имеет внешний сетевой интерфейс,позволяющий ему общаться с внешним миром, то есть с физическими машинами, атакже с любым другим компьютером в Интернет, с которым связана локальная сетьфизических машин.
На следующем рисункеизображена структура внутренних сетей МВС-900 (выход хоста во внешнюю сеть непоказан):/> /> /> /> /> /> /> /> /> /> /> /> /> /> /> /> /> /> />
Сеть управления /> /> /> /> /> /> />
Узел
N /> /> /> /> /> /> /> /> /> /> /> /> />
Схема внутренних сетейМВС-900.
Конфигурирование МВС-900при установке сводится, в основном, к конфигурированию сетевых интерфейсовузлов и хоста. Конфигурирование внешнего сетевого интерфейса хоста производитсяв последнюю очередь, с локальной консоли хоста, средствами Linux. Об этом см. ниже. Конфигурированиевнутренних сетевых интерфейсов как хоста, так и узлов происходит по единойсхеме, разработанной специально для МВС-900.
Схема состоит вследующем. Обычно результатом конфигурирования сети является запись на дискконфигурируемой машины заданной при конфигурировании информации (ip- адреса, сетевой маски, имени машиныи т. п.). В МВС-900 так поступать было бы крайне неудобно – это означало бы,что при установке каждого узла с единого образа диска в этот образ дискаприходилось бы вносить изменения, и потом сохранять не просто образ диска узла,а образ диска узла №1, №2 и так далее. Чтобы этого избежать, в МВС-900 ip- адреса во внутренних сетях и всесопутствующие настройки генерируются автоматически, по значениям MAC- адресов внутренних интерфейсов. MAC- адрес виртуальной сетевой картызадается в конфигурационном файле виртуальной машины. Как мы уже знаем, этосовсем небольшой текстовый файл, поправить в котором «по месту» одну – две цифрымного проще, чем вносить изменения в файл образа диска и затем хранить измененныйобраз.
Конкретная схемаадресации во внутренних сетях устроена так.
VMware позволяет задавать в качестве MAC- адресов значения вида
00:50:56:00:X:Y
где X и Y выбираются произвольно. Именно эти поля в МВС-900 используютсядля задания полей ip- адресов.
В свою очередь, ip- адреса внутренних сетей МВС-900имеют вид:
10.X.C.N дляодной сети, и
10.X.C+32.N длявторой, маски в обеих сетях – 255.255.224.0
Значения X и C выбираются системным администратором по его усмотрению, идолжны быть одинаковыми для хоста и всех узлов. По умолчанию, X==100, C==5, и менять эти значения без особых на то оснований смысланет.
Значение N – это номер узла. Для хоста N равно 1, для узлов лежит в диапазонеот 2 до 254 (не обязательно подряд).
В заданных вконфигурационном файле виртуальной машины MAC- адресах значения X, C и N кодируются следующим образом:
ethernet0.address= 00:50:56:00:X:N
ethernet1.address= 00:50:56:00:C:N
Следует учитывать, что MAC- адреса задаются в шестнадцатиричномвиде.
Таким образом, вконфигурационном файле виртуальной машины хоста строки, задающие MAC- адреса, по умолчанию имеют вид:
ethernet0.address= 00:50:56:00:64:1
ethernet1.address= 00:50:56:00:05:1
и менять их нетоснований, если у Вас нет специальных претензий к выбранным значениям C и X.
В свою очередь, вконфигурационном файле виртуальной машины узла строки, задающие MAC- адреса, по умолчанию имеют вид:
ethernet0.address= 00:50:56:00:64:fe
ethernet1.address= 00:50:56:00:05:fe
то есть дистрибутивныйузел имеет номер 254. Чтобы сделать узел, например, третьим, надо написать:
ethernet0.address= 00:50:56:00:64:3
ethernet1.address= 00:50:56:00:05:3
Если значения X и C (0x64 и0x5) менялись для хоста, их надо поменятьсоответственно для всех узлов кластера.
Теперь мы знаем, что дляустановки комплекса МВС-900 требуется:
- установить накаждой из выбранных физических машин VMware,
- записать накаждую из машин файлы с образами дисков виртуальной машины, и соответствующиеконфигурационные файлы,
- поправить вконфигурационных файлах несколько символов, чтобы машины получили правильныеадреса во внутренних сетях,
- запустить каждуюиз виртуальных машин.
Пока мы, так или иначе,рассмотрели все пункты, кроме последнего. В самом деле, запускать хост и каждыйиз узлов вручную, физически обходя все физические машины и щелкая мышкой посоответствующим иконкам, причем всякий раз, когда требуется поработать наМВС-900, было бы довольно неудобно. Поэтому в МВС-900 используется, по меревозможности, автоматический запуск виртуальных машин в фоновом режиме.
Так, для узловвиртуальная машина запускается в фоновом режиме автоматически, при загрузке Windows, и работает, пока работает Windows. Никаких специальных действий повыключению узла МВС-900 не требуется – для выключения узла достаточно завершитьработу Windows обычным порядком. При этом негарантируется сохранность данных, записываемых на диск узла по мере его работы,но это и не требуется. МВС-900 устроена так, что все данные, которые должнысохраняться при выключении машин, хранятся на хосте. От узла лишь требуетсясохранять на виртуальном диске данные в процессе его работы, от включения довыключения. При каждом включении узла его виртуальный диск имеет некоторыйпервоначальный вид – ровно такой, какой зафиксирован в дистрибутивном образедиска узла.
Чтобы обеспечитьавтоматический запуск узла при старте Windows, запуск виртуальной машины оформляется как сервис. Этоделается однократно, при установке комплекса.
В случае хоста обеспечитьполностью автоматические запуск и завершение работы виртуальной машины непредставляется возможным, поскольку записываемые на виртуальный диск хоста вовремя работы данные должны сохраняться корректным образом в файле с образомдиска при выключении хоста. Для этого требуется, как и в случае физической,«железной» машины, аккуратно завершить работу операционной системы, и, крометого, аккуратно выключить виртуальное питание, а также аккуратно завершить работусамого приложения VMware. Словом,для завершения работы хоста требуются некоторые явно выполняемые вручнуюдействия, поэтому хост все равно «нуждается в присмотре», и автоматическийзапуск его не слишком актуален. В общем случае, рекомендуется запускать еговручную, щелкнув дважды по иконке приложения VMware, выбрав соответствующую виртуальную машину и щелкнув“Power on”.
Общий обзор порядкаустановки и работы МВС-900 на этом завершен. Обзор этот касается лишьсобственно установки комплекса и его общего взаимодействия с локальной сетью,на которую он ставится, но никак не работы на самой МВС-900. Краткое введение впорядок работы можно найти в документе howto.doc, аболее подробное описание – в документации по МВС-1000, виртуальным вариантомкоторой и является МВС-900.
Ниже описывается порядок установкихоста и узла с дистрибутива.Порядок установкиузла.
1. Однократно получить на физической машине администраторские права. Статьадминистратором. Здесь и далее имеется в виду локальный администратор, а неадминистратор домена.
2. Установить VMware. Дистрибутив – на этом диске. Местодля установки лучше выбрать по умолчанию.
3. После установки VMware в панели управления, в разделе «Сетьи удаленный доступ», появятся два новых сетевых подключения, в названии которыхприсутствует слово “VMware”. Эти сетевыеподключения следует выключить.
4. Создатьдиректорию C:\mvs900. В действительности, здесь и далее именасоздаваемых директорий и прочих системных объектов могут быть любыми, но винструкции, для простоты изложения, используются конкретные значения.
Скопировать сдистрибутивного диска директорию tocopyв C:\mvs900. В командной строке Windows, сделать директорию C:\mvs900\tocopy текущей, и выполнить в ней командураспаковки образа виртуального диска:
gzip –d node.vmdk.gz
5. В winnt\system32 записать instsrv.exe и srvany.exe, если их там еще нет.
6. Выполнить вкомандной строке Windows:
instsrv startnodec:\winnt\system32\srvany.exe
7. Сделать текущейдиректорию дистрибутива, в которой находится файл parameters.reg, и выполнить в командной строке Windows:
startparameters.reg
При этом в реестре, вразделе
HKEY_LOCAL_MACHINES\SYSTEM\CurrentControlSet\Services\startnode
Образуется подраздел Parameters, в нем – следующие значения типа STRING:
Application=C:\ winnt\system32\cmd.exe
AppParameters=/d /c c:\mvs900\tocopy\startnode.bat
Если место для размещениядистрибутивной директории tocopyвыбрано отличным от указанного выше, в п. 3, изменить значение второго параметра.
Замечание. В директориис:\mvs900\tocopy\nodeфайла node.vmx нет. Это не ошибка – так и должно быть.
8. В панелиуправления найти меню управления сервисами, а в нем – только что созданныйсервис startnode. Способ запуска сервису startnode указать «Автоматически», порядокзапуска – от имени администратора. Временно установить режим разрешения выводаокон на Desktop.
9. Пустить вручнуюсервис startnode. Он должен запустить виртуальнуюмашину. Поскольку для сервиса startnode вывод окон на Desktopпока разрешен, должно появиться окно VMware. При старте виртуальной машины появится одно или несколько небольшихокошек с предложениями как-то ее оптимизировать, выполнить какие-тодополнительные действия и т. п. Во всех этих окошках имеется место для галочки«never show this hint again» (никогда больше не показывать эту подсказку). Этугалочку везде надо проставить. Когда виртуальная машина стартует, поднять ей домаксимума Local priority и Global priority. Затем выключить виртуальноепитание, завершить VMware, остановитьсервис startnode и снова пустить. Повторять этупроцедуру (завершение и повторный запуск), пока старт виртуальной машины нестанет «чистым», безо всяких вопросов в виде дополнительных окошек. Еще раз всезавершить, не пуская повторно.
10. Статьадминистратором. Запретить сервису startnode вывод окон на Desktop,способ запуска сервиса сделать автоматическим, перевызвать Windows и, не выполняя logon, убедиться (по звуковому сигналу),что виртуальная машина стартовала.
11. Зайти какадминистратор в последний раз, убрать с Desktop иконку VMware,чтобы какой-нибудь пользователь из любопытства не запустил ее и не поменялжизненно важных настроек.
Замечание. В этомсостоянии система пригодна для копирования в виде образа системного диска Windows. Дальнейшая настройка касается лишьобеспечения индивидуальности узлов (присвоения им уникальных номеров).
11.Присвоить узлууникальный номер. Номер узла должен лежать в диапазоне от 2 до 254,включительно, и быть уникальным в кластере. MAC-адреса интерфейсов узла задаются в файле C:\mvs900\tocopy\node.saved\node.vmx, в строках ethernet0.address и ethernet1.address, соответственно.
Упомянутые строки должныиметь вид:
ethernet0.address= 00:50:56:00:X:N
ethernet1.address= 00:50:56:00:C:N
например
ethernet0.address= 00:50:56:00:64:N
ethernet1.address= 00:50:56:00:05:N
где N – номер узла в кластере, X (0x64==100) – номер куста кластеров, он же второй байт ip-адреса всех машин в кусте, C (0x5==5) – номер кластера, он же младшие 5 бит третьего байта(см. выше). Изменения вступают в силу при перезапуске виртуальной машины(придется опять перегрузить Windows).Порядок установкихоста.
1. Однократно получить на физической машине администраторские права. Статьадминистратором. Здесь и далее имеется в виду локальный администратор, а неадминистратор домена.
2. Установить VMware. Дистрибутив – на этом диске. Местодля установки лучше выбрать по умолчанию.
3. Создатьдиректорию C:\mvs900. В действительности, здесь и далее именасоздаваемых директорий и прочих системных объектов могут быть любыми, но винструкции, для простоты изложения, используются конкретные значения.
Скопировать сдистрибутивного диска директорию tocopyв C:\mvs900.
Если дистрибутивныхдисков для хоста несколько, скопировать со всех. Распаковать все файлы сименами вида host*.vmdk.gz припомощи gzip: gzip –d.Выполнить сетевое конфигурирование хоста во внутренних сетях, отредактировавфайл C:\mvs900\tocopy\host.vmx так, как это объяснено выше.
4. Запустить VMware. Выбрать виртуальную машину C:\mvs900\tocopy\host, и пустить ее.Переключение клавиатуры между виртуальной и физической машинами: для переходана виртуальную, щелкнуть мышью по внутренней области ее окна. Для возврата вфизическую – Ctrl+Alt.
5. Войти в Linux как root. Пароль – virtualcluster. Настроить сетевой адрес во внешней сети командой netconfig –d eth2. Сменить пароль root’а.Замечание: команда netconfig вуказанном выше виде характерна для RedHat, в то время как Вы уже заметили, что на управляющей виртуальной машинеустановлен Slackware Linux. Это не ошибка – команда netconfig из Slackware доработана так, чтобы она воспринималауказанные выше аргументы.
6. Правильнаякоманда регистрации пользователя на кластере лежит в /common/howtoaddauser. Регистрировать надо только на хосте. Документация – в /common/runmvs/doc.Файлы переписывать при помощи scp,например, при помощи pscp.exe, или Winscp.
7. Выключение хоста:войти как root, выполнить команду:
shutdown –hnow
После завершения Linux виртуальное питание выключится автоматически.Завершить приложение VMware.Замена образа дискаили файла конфигурации виртуальной машины узла.При необходимости обновитьверсию узла (например, заменить файл с образом диска) следует учитывать, чтоостановка сервиса “startnode” не останавливаетвиртуальную машину. «Выдергивание» открытого файла из-под работающейвиртуальной машины не желательно, точнее, просто невозможно. Поступать следуеттак.
- в панелиуправления отключить сервис “startnode”,
- перезагрузить Windows,
- заменить файлы,относящиеся к виртуальной машине,
- включить сервис “startnode” в режиме автоматического запуска,
- перезагрузить Windows.