Журнал PC Magazine/RE №08/2009 - PC Magazine/RE 8 стр.

Системные платы

Компания ASUS (www.asus.com.ru) объявила о выпуске системной платы ASUS P5QPL–VM, совместимой с процессорами Intel Core 2 LGA775 и многоядерными ЦП, изготовленными по 45-нм технологии. НМС Intel G41 Express позволяет устанавливать на плату многоядерные процессоры, имеющие системную шину с частотой 1333/1066/800 МГц; можно использовать двухканальную архитектуру памяти DDR2 800/667 МГц. Плата позволяет выводить сигналы на два монитора через разъемы DVI-DI и D-Sub; имеется также интерфейс DisplayPort. Доступна фирменная технология ASUS Express Gate – загрузка компактной ОС и возможность выхода в Интернет ужет через 5 с после запуска ПК.

Инфраструктура

Обзор технологий виртуализации в HP-UX

Александр Букреев – руководитель группы сопровождения бизнес-систем, отдел внедрения и сопровождения центров обработки данных компании «Ай-Теко» (www.i-teco.ru). Автор выражает признательность Екатерине Иванниковой (руководитель группы производительности бизнес-систем, «Ай-Теко») за ценные замечания и уточнения как по теоретическим, так и практическим аспектам данной темы.

Проблема недостаточного использования вычислительных ресурсов актуальна для большинства крупных центров обработки данных (ЦОД). Необходимость аппаратной и программной изоляции информационных систем, сложность которых растет год от года, приводит к тому, что каждая система (продуктивная или тестовая), как правило, располагается на отдельном физическом сервере. В то же время вычислительная нагрузка, создаваемая информационной системой, обычно бывает неоднородной, для нее характерны пиковые периоды, чередующиеся с моментами относительного затишья. Поскольку серверы, на которых эти системы работают, приобретались и конфигурировались с расчетом именно на пиковую нагрузку, среднее использование ресурсов оказывается невысоким (по экспертным оценкам оно не превышает 40 %).

Периоды пиковой активности прикладных систем часто не совпадают по времени. В этом случае полезно временно перемещать аппаратные ресурсы (процессоры, память, интерфейсы ввода-вывода) из одной системы в другую, забирая ресурсы у системы, которая в данный момент их не использует, и отдавая той, которая на пике активности испытывает в них дефицит.

Очевидно, что эти проблемы нужно решать путем консолидации: прикладные системы, располагающиеся на разных физических серверах, объединить на одном более мощном сервере. Чтобы такое решение работало, необходимо обеспечить аппаратную или программную изоляцию систем друг от друга, что позволит избежать конфликтов между ними, а также снизит вероятность того, что какой-либо программный или аппаратный сбой выведет из строя сразу несколько систем. Для этого в операционной системе HP-UX существует набор технологий виртуализации с разбиением физического сервера на разделы:

• аппаратные (nPartitions, nPar);

• виртуальные (Virtual Partitions, vPar);

• виртуальные машины (Integrity Virtual Machines);

• безопасные разделы ресурсов (Secure Resource Partitions, SRP).

Эти решения различаются прежде всего степенью изоляции разделов и позволяют прикладной системе видеть свой раздел как отдельный сервер с ОС (кроме SRP), обладающий собственными аппаратными ресурсами (на самом деле это часть общих ресурсов сервера).

Однако консолидация вычислительных ресурсов и изоляция разделов сами по себе не решают проблему неравномерных нагрузок и недостаточного использования ресурсов. Требуется еще при необходимости перемещать ресурсы из одного раздела в другой, причем делать это желательно без перезагрузки ОС, перезапуска СУБД и остановки прикладных систем. Перечисленные технологии в разной степени предоставляют такую возможность.

Аппаратные разделы (nPar) электрически изолированы друг от друга и выглядят и действуют подобно отдельной системе. Каждый раздел имеет свое оборудование и свою операционную систему. Благодаря этому обеспечивается изоляция сбоев – как аппаратных, так и в ПО. Это означает, что отказ аппаратуры или сбой ПО в одном аппаратном разделе не может повлиять на работу другого раздела.

Еще одним полезным свойством аппаратных разделов является то, что обеспечивается одновременная работа процессоров PA-RISC в одном аппаратном разделе и процессоров Itanium в другом на любой системе с наборами микросхем sx1000 и sx2000.

Аппаратные разделы могут быть созданы только на серверах, основанных на ячейках (cell-based). К таким серверам относятся следующие модели: Superdome, rp7400, rp7410, rp7420, rp7440, rp8400, rp8420, rp8440, rx7620, rx7640, rx8620, rx8640.

В версиях HP-UX 11.11 и 11.23 перемещение ячеек из одного аппаратного раздела в другой невозможно без остановки соответствующих разделов. Начиная с версии HP-UX 11.31 Update 1 поддерживается активация и деактивация ячеек аппаратного раздела в онлайновом режиме, т. е. без перезагрузки раздела и остановки работающих в нем приложений.

Благодаря этому появилась возможность динамически перемещать ячейки из одного раздела в другой. Ячейки, которые можно динамически отключить и перенести в другой раздел, называются плавающими (floating cells) в отличие от базовых (base cells), которые не могут быть отключены динамически. Каждый раздел должен иметь по крайней мере одну базовую ячейку, которая необходима для бесперебойного функционирования ОС.

Сервер может иметь ячейки, первоначально не принадлежащие ни одному разделу (unassigned cells). По мере необходимости их можно добавлять в нужный раздел при возникновении проблемы с производительностью.

Планируя перемещение памяти между разделами, необходимо учитывать факторы, касающиеся не только аппаратных разделов, но и остальных описанных технологий.

Во-первых, освободить можно лишь часть памяти, которая в данный момент не занята работающими приложениями, например, не является частью Oracle SGA.

Во-вторых, большинство приложений могут воспользоваться динамически добавленной памятью только с определенными оговорками. Скажем, сегмент разделяемой памяти, выделенный ОС под Oracle SGA, не может быть увеличен динамически (в большинстве случаев это и не требуется), но пользовательские сессии Oracle, созданные после динамического добавления памяти, смогут ее использовать. Таким образом, число одновременно работающих сессий в системе может быть увеличено.

Динамические аппаратные разделы работают не на всех серверах cell-based, а лишь на моделях Superdome, rp7420, rp7440, rp8420, rp8440, rx7620, rx7640, rx8620, rx8640.

Память, принадлежащая плавающим ячейкам аппаратных разделов, может быть только типа CLM (Cell Local Memory). Многие современные ОС используют на серверах cell-based технологию NUMA (non-uniform memory access) – оптимизированный доступ к памяти, когда выделяемая память физически находится внутри ячейки, на ЦП которой работает процесс, запросивший память. Обращение процессора к локальной памяти своей ячейки происходит быстрее, чем к памяти других ячеек, среднее время доступа к памяти сокращается, и благодаря этому увеличивается производительность. Таким образом, в системах, реализующих технологию NUMA, память может подразделяться на CLM и ILM (Interleaved Memory). Доступ к ILM-памяти однороден и не зависит от местоположения процессора, осуществляющего его.

Компания Hewlett-Packard в настоящее время поддерживает две аппаратные серверные платформы для UNIX-систем:

• HP 9000 – серверы на процессорах PA-RISC: модели PA-8700, PA-8700+, PA-8800 и PA-8900 (два последних – двухъядерные). Единственная ОС на платформе PA-RISC – это HP-UX. Хотя HP продолжает использовать эту платформу, серверы на процессорах PA-RISC уже не разрабатываются и не выпускаются;

• HP Integrity – серверы на процессорах Intel Itanium: модели Itanium 2, Itanium 9000 (Montecito), Itanium 9100 (Montvale). Процессоры Itanium 9000 и 9100 – двухъядерные. Платформа Integrity помимо HP-UX совместима с Windows, Linux и OpenVMS.

Все упомянутые технологии за исключением виртуальных машин работают на обеих платформах. Виртуальные машины Integrity VM существуют только на платформе Integrity.

Технология NUMA должна поддерживаться не только ОС, но и приложением. Многие приложения и СУБД последних версий декларируют такую совместимость, однако на практике все выглядит не так гладко, поскольку технология еще не достигла зрелости. Например, включение режима поддержки NUMA в Oracle может приводить к сбоям в работе системы и даже к «зависаниям» самой СУБД (см., в частности, Metalink Note 759565.1). Использование NUMA в MS SQL Server также не всегда приводит к желаемому результату.

Хотя теоретически работа с CLM более эффективна, на практике это бывает не так: здесь многое зависит и от того, как конкретное приложение использует память, и от того, насколько точно отлажена конфигурация CLM в каждом отдельном случае. Если все данные процесса так или иначе оказались в соседней ячейке, то среднее время доступа окажется даже больше, чем если бы эти данные лежали в ILM-памяти и были равномерно распределены по ячейкам. В таком случае мы, повторяя одну и ту же нагрузку (например, в процессе тестирования ПО), можем получать разное время исполнения.

Хотя теоретически работа с CLM более эффективна, на практике это бывает не так: здесь многое зависит и от того, как конкретное приложение использует память, и от того, насколько точно отлажена конфигурация CLM в каждом отдельном случае. Если все данные процесса так или иначе оказались в соседней ячейке, то среднее время доступа окажется даже больше, чем если бы эти данные лежали в ILM-памяти и были равномерно распределены по ячейкам. В таком случае мы, повторяя одну и ту же нагрузку (например, в процессе тестирования ПО), можем получать разное время исполнения.

Можно спорить о том, насколько эффективно использование CLM и NUMA на сегодняшнем этапе развития этих технологий, но бесспорно другое – необходимо иметь возможность выбора варианта конфигурации памяти. К тому же большинство прикладных задач могут получить выигрыш от комбинирования этих видов памяти (за исключением ОС Windows, где HP рекомендует для достижения максимальной производительности использовать только CLM). Динамические ячейки аппаратных разделов, в отличие от перемещаемой памяти виртуальных разделов (vPar), таких возможностей не предоставляют, вся память динамических ячеек – локальная (CLM).

Преимущества

• Основное преимущество аппаратных разделов – изоляция отказов оборудования: гарантируется, что никакой отказ аппаратуры в одном разделе не может повлиять на другой раздел. Это следствие электрической изоляции разделов внутри одной системы. Поскольку степень изоляции виртуальных разделов слабее, чем у аппаратных, то зачастую аппаратным разделам отдается предпочтение в случаях, когда на сервере работают несколько бизнес-критичных продуктивных систем.

• Аппаратные разделы Integrity-серверов, помимо HP-UX, обеспечивают также работу операционных систем Windows, Linux и OpenVMS. Для сравнения: виртуальные разделы (vPar) рассчитаны только на HP-UX.

Ограничения

• Возможность динамического перемещения ячеек между аппаратными разделами существует лишь в HP-UX, начиная с версии 11.31.

• Перемещать между разделами можно только ячейки целиком, в раздел нельзя добавить произвольное число процессоров или произвольный объем памяти.

• Память перемещаемых ячеек может быть только типа CLM.

Термин «виртуализация» в настоящее время трактуется очень широко. Связано это прежде всего с тем, что технологии в данной области развиваются весьма динамично, на рынке постоянно возникают новые решения, которые зачастую не вписываются в имеющуюся классификацию и образуют новые ветви, виды и подвиды. Несмотря на это, можно выделить основные технологические подходы к виртуализации – классы виртуализационных решений (см. материал А. Колесова в PC Magazine/RE, 5/2009).

Виртуализация серверов. Здесь приложение работает с выделенной ему частью общих ресурсов физического компьютера. Такой подход чаще всего реализуется путем запуска на физическом компьютере нескольких операционных сред. К этому классу обычно относят и так называемые виртуальные контейнеры или контейнеры ресурсов. Хотя в этом случае разделение ресурсов происходит внутри одного экземпляра операционной системы. Ведущий поставщик решений серверной виртуализации – компания VMware.

Виртуализация приложений. Здесь в отличие от виртуальных контейнеров виртуализируются не аппаратные ресурсы (процессоры, память, ввод-вывод), а ресурсы более высокого уровня – файлы, объекты, службы (Microsoft Application Virtualization, VMware Thinstall).

Виртуализация представлений. К этому классу относят технологии терминального доступа, когда приложение исполняется на сервере, а клиент отвечает лишь за визуализацию пользовательского интерфейса (Citrix XenApp, Microsoft Terminal Services).

Описанные в статье решения компании HP относятся к первому типу – серверной виртуализации. Различаются они прежде всего степенью изоляции ресурсов. Аппаратные разделы выделяются тем, что изоляция реализована вообще не на программном, а на аппаратном уровне, с помощью специального набора микросхем, которые «диспетчеризуют» электрические сигналы между разделами. Виртуальные разделы и виртуальные машины – это программные способы виртуализации, при этом каждый раздел (виртуальная машина) управляется собственной операционной средой. Наконец, разделы ресурсов – программный способ виртуализации в рамках одного экземпляра ОС. Таким образом, серверную виртуализацию вполне правомерно разделить на три подкласса: аппаратная виртуализация, программная виртуализация с использованием нескольких ОС и программная виртуализация внутри одной ОС.

Подобные многоуровневые решения в рамках серверной виртуализации предлагают и другие ведущие поставщики аппаратного обеспечения (Sun, IBM). Но каждый вендор при этом ориентируется на собственные аппаратные решения и свои флагманские операционные системы (Solaris, AIX, IBM i). Виртуальные машины в качестве гостевых ОС (помимо «профильной») везде поддерживают также Windows и Linux.

Виртуальные разделы (vPar) – это те, изоляция между которыми реализована программно средствами операционной системы HP-UX, в отличие от аппаратных разделов, изолированных на аппаратном уровне.

Каждый раздел функционирует точно так, как если бы он был отдельной системой, видит он только выделенную ему часть оборудования и аппаратных ресурсов физического сервера (рис. 1), использует отдельный экземпляр ОС, что обеспечивает изоляцию сбоев программного обеспечения (любой программный сбой внутри одного раздела, вплоть до краха ОС, не способен повлиять на другой раздел).

Программный слой, находящийся между виртуальными разделами и аппаратурой сервера (vPar monitor), после загрузки виртуального раздела практически не вмешивается в его работу. ОС обращается к vPar-монитору только при вызовах встроенного ПО (firmware), администрировании разделов и перезагрузке ОС. Поэтому vPar-монитор оказывает ничтожное влияние на производительность. Таким образом, по производительности виртуальные разделы почти не отличаются от аппаратных. По тем же причинам масштабируемость виртуальных разделов выше, чем у Integrity VM, кроме того, здесь не ограничивается число процессоров в одном разделе (у Integrity VM – восемь процессоров). В отличие от Integrity VM, виртуальные разделы прекрасно подходят для эксплуатации и тестирования крупных систем с большим числом процессоров.

Степень гранулирования ресурсов, выделяемых виртуальному разделу, гораздо выше, чем в случае аппаратных разделов. Здесь минимальной единицей является не целая ячейка, а один процессор (для многоядерных процессоров – ядро), 64 Мбайт памяти и один адаптер ввода-вывода.

Процессоры и, начиная с HP-UX 11.31, память могут динамически перемещаться между виртуальными разделами без перезагрузки операционной системы.

Несколько виртуальных разделов могут быть созданы внутри одного аппаратного раздела.

Однако виртуальные разделы не могут сосуществовать с виртуальными машинами (Integrity VM) в одном аппаратном разделе или – при их отстутствии – на одном физическом сервере.

Виртуальные разделы идеально подходят, когда на сервере соседствуют продуктивная и тестовая среды. В этом случае тестовая среда или среда разработки может выступать «донором» ресурсов для продуктивной среды в моменты ее максимальной загруженности.

Разделы vPar обладают столь же высокой производительностью, как и аппаратные.

Возможны случаи, когда одним разделом сервера является тестовая среда или среда разработки, а вторым – резервный узел отказоустойчивого кластера, поддерживающего продуктивную систему. Большую часть времени продуктивная система функционирует на основном узле, и мощности резервного узла могут быть переданы в тестовый раздел. Таким образом удается избежать главного недостатка кластерной архитектуры: ресурсы резервного узла не простаивают! Если же происходит плановая или неплановая миграция продуктивной системы на резервный узел кластера, то ему передается необходимая часть ресурсов тестового раздела.

Преимущества

• Среди всех вариантов разбиения на разделы, кроме nPar, этот способ обеспечивает самую высокую производительность и масштабируемость за счет низких накладных расходов.

• Более высокая по сравнению с nPar степень гранулирования аппаратных ресурсов: один процессор (ядро), 64 Мбайт памяти и один адаптер ввода-вывода.

• Уже в HP-UX 11.23 поддерживается динамическое перемещение процессоров. В этой же версии ОС в аппаратных разделах динамически перемещать ресурсы невозможно.

• При динамическом добавлении памяти в раздел можно явно задать, какая часть этой памяти будет использоваться операционной системой в качестве CLM, а какая – в качестве ILM (с учетом общего объема CLM и ILM, сконфигурированного в системе или аппаратном разделе). Для аппаратных разделов вся динамически добавляемая память является локальной (CLM).