Какой русский не любит быстрой езды? - 2 или новые решения для новых серверов

SMP-платформы на процессорах P4 Xeon и чипсете i7500, как мы увидели в предыдущей статье с похожим названием ("Компьютер-Маркет" N), действительно позволяют строить весьма мощные серверы при более чем умеренной цене. Однако быстрые процессоры - это еще далеко не весь сервер...

Одним из ключевых компонентов, определяющих реальную производительность сервера (особенно в роли файлового, WEB- или SQL-сервера) является дисковая подсистема. Она состоит из контроллера (иногда нескольких контроллеров) жестких дисков и самих дисков (HDD). Исторически в серверах применялись контроллеры и HDD с интерфейсом SCSI - и действительно, еще несколько лет назад это был единственный интерфейс, позволяющий работать с большим числом дисков и умеющий разумным образом разделять пропускную способность шины между ними. Однако времена меняются. И дело даже не в том, что появившийся недавно интерфейс SerialATA элементарно быстрее, надежнее и лучше масштабируется, чем SCSI. Просто даже наш старый знакомый, интерфейс IDE/ATA, вырос из коротких штанишек дешевых десктопов, нарастил скорость, уменьшил загрузку процессора, обзавелся достаточно вычурными контроллерами RAID-массивов с очередями команд - и начал претендовать на более значительные роли в секторе мощных рабочих станций и серверов начального и среднего уровня.

Теоретически интерфейс SCSI имеет более "продвинутую" архитектуру благодаря своему асинхронному характеру (то есть SCSI-контроллер может посылать команду одному жесткому диску, а затем продолжать работу с другими без необходимости ожидания ответа). Однако на деле оказалось, что простое увеличение числа каналов IDE делает синхронный обмен контроллера с дисками более эффективным, чем асинхронный обмен у SCSI (поскольку IDE контроллер может одновременно посылать команды и обмениваться данными с несколькими HDD, подключенными на разные каналы, а SCSI вынужден на одном канале делать это поочередно). Кроме того, пропускная способность каждого канала IDE/ATA133 составляет реально более 100 мегабайт в секунду (то есть для четырехканального контроллера суммарно более 400 мб/c), в то время как SCSI HDD в большинстве случаев вынуждены делить между собой одну шину с пропускной способностью максимум 160 мб/с.

Поскольку современные жесткие диски IDE имеют кэш-память, они могут буферизовать запись и выполнять опережающее чтение и оптимизацию очередей запросов (передачу отдельных блоков во время поиска и чтения других) намного более эффективно, чем это делает SCSI-контроллер, не имеющий представления о внутренней архитектуре конкретного HDD. Особенно это заметно при работе с дисками IBM, имеющими очень сложные алгоритмы оптимизации движения головок и заполнения буферов, в составе RAID-массивов.

RAID - что это такое и зачем?

Идея RAID (Redundant Array of Independent Disks - надежный массив из независимых дисков) очень проста: связать несколько жестких дисков вместе, получив в результате один логический том с увеличенной пропускной способностью и защитой данных. Когда появилась концепция RAID, определились и несколько стандартных схем объединения дисков, называемых "уровнями" (Levels).

Уровень 0 использует так называемую запись с чередованием и позволяет объединять в один том произвольное число дисков. Рассмотрим простейший случай RAID-0 с двумя дисками: данные на него пишутся блоками определенного, заданного при конфигурировании массива, размера (обычно контроллер позволяет выбрать размер блока от 4Kb до 256Kb и более). Блоки с нечетными номерами записываются на первый HDD, с четными - на второй HDD, и читаются в аналогичном порядке. При этом емкость тома оказывается равна суммарной емкости HDD, а скорость записи и чтения больших файлов теоретически вырастает вдвое (пропорционально числу HDD).

Разумеется, если записываемая или читаемая порция данных оказывается меньше размера блока, никакого выигрыша в скорости не происходит. С другой стороны, и чрезмерно уменьшать размер блока не следует - дело в том, что современные HDD наиболее эффективно оперируют порциями данных не менее определенного размера (обычно от 8Kb до 64Kb в зависимости от модели), и попытка общаться с ними более короткими блоками приводит к резкому падению производительности.

RAID-0 обеспечивает наибольшее из всех типов RAID увеличение производительности дисковой подсистемы, но при этом не только не улучшает надежности хранения данных, но напротив, ухудшает ее - поскольку данные полностью пропадают при выходе из строя любого из дисков, объединенных в массив. Понятно, что вероятность выхода из строя одного из двух дисков вдвое выше, чем одного отдельно взятого диска.

Однако существуют приложения, в которых эффективность важнее сохранности данных. Например, использование RAID-0 оправданно при редактировании цифрового видео (ведь всегда остается возможность восстановить исходный материал непосредственно с пленки), для хранения рабочей копии часто используемой базы данных или WEB-сервера (в случае, когда приемлемо обеспечение сохранности данных путем периодического создания резервных копий на другом носителе), или для хранения временных файлов (своп системы, индексы SQL-сервера).

Уровень 1 (также известный как "зеркало") использует так называемую параллельную запись, и может объединять диски только парами. Идея RAID-1 состоит в том, чтобы постоянно поддерживать точный дубликат содержания одного диска (так называемого "ведущего", или source) на другом диске ("ведомом" или backup). Если произошел отказ ведущего диска, его роль автоматически переходит к ведомому, если же отказал ведомый, то тем более ничего ужасного не происходит, все данные в любом случае сохраняются и система продолжает работать как ни в чем не бывало. После замены дефектного HDD происходит копирование информации на него с исправного HDD (этот процесс называется регенерацией тома и некоторыми контроллерами выполняется полностью автоматически в фоновом режиме, практически не мешая работе системы), и система полностью восстанавливает свою функциональность без потери данных. Потерять данные на RAID-1 можно только в случае одновременного отказа обоих HDD (точнее, в случае отказа второго HDD до того, как администратор заменит отказавший первый) - что при должной оперативности персонала практически невероятно. Таким образом, RAID-1 обеспечивает практически наивысшую сохранность данных из всех возможных конфигураций RAID и при отказе одного HDD не только не теряет производительности, но даже может ее несколько увеличить.

Однако RAID-1 не дает выигрыша в производительности по сравнению с одиночным HDD (операции чтения он выполняет несколько быстрее, чем одиночный диск, но запись происходит заметно медленнее), и при этом теряется 50% суммарной емкости дисков (то есть массив из двух дисков имеет размер одного).

Уровень 5 придуман для преодоления этого минуса. В нем к данным, записываемым на каждом диске, приписываются контрольные коды на других дисках, позволяющие полностью восстановить информацию с вышедшего из строя диска. Минимальное число дисков в RAID-5 - три, но эффективным его использование становится при существенном увеличении числа дисков.

Плюс RAID-5 в том, что он обеспечивает сохранность данных при выходе из строя одного HDD, при этом уменьшая полезную емкость тома ровно на емкость одного диска. Разумеется, поскольку вероятность отказа одного из трех и более дисков выше, чем отказа одного из двух дисков в RAID-1, теоретическая надежность RAID-5 ниже, чем RAID-1, и падает с ростом числа дисков - но на практике она достаточно высока даже при 15 и более дисках.

Более существенным недостатком RAID-5 является его низкая производительность при операциях записи. Дело в том, что запись каждого блока данных на один HDD вызывает операцию записи контрольных кодов на все остальные HDD, причем эти контрольные коды надо еще вычислить по не самым простым формулам. Именно поэтому контроллеры с поддержкой RAID-5 имеют на борту довольно мощные процессоры и весьма дороги - и все равно даже самые лучшие из них по скорости записи значительно уступают одиночному HDD.

Менее очевидным недостатком является катастрофическое падение производительности всех операций (включая чтение) при отказе одного из дисков. Теоретически контроллер может продолжать работу, рассчитывая недостающие данные по контрольным кодам с оставшихся дисков (хотя есть контроллеры, отказывающиеся выполнять что-либо до замены вышедшего из строя HDD), но на практике такая система столь медлительна, что работа на ней теряет какой-либо смысл.

Уровень 10 сочетает в себе технологии и, соответственно, достоинства RAID-0 и RAID-1. От первого он берет высокую скорость, а от второго - надежную сохранность данных, при этом он полностью избавлен от недостатков, присущих RAID-5. Однако число дисков, объединяемых в том RAID-10, должно быть четным и не менее четырех.

RAID-10 единственный из всех массивов способен продолжать работу при отказе до половины дисков массива, при этом практически не теряя своей производительности. Фактически, он выходит из строя с потерей данных только при одновременном отказе двух определенных HDD, образующих зеркальную пару. Другими словами, его надежность немного ниже, чем у RAID-1 (из-за большего числа дисков), но выше, чем у RAID-5 (который разрушается при отказе любых двух дисков).

Скорость работы у RAID-10 намного выше, чем у RAID-1, но существенно ниже, чем у RAID-0 с таким же числом дисков. С другой стороны, эта скорость самая высокая среди всех отказоустойчивых массивов. Полезная емкость у RAID-10 составляет, как и у RAID-1, 50% суммарной емкости дисков, но зато дисков можно установить произвольное количество.

RAID-5 против RAID-10 - кто кого?

Существует способ частично побороть один из недостатков RAID-5, а именно кошмарное падение производительности при отказе одного диска. Этот способ состоит в создании резервного HDD (так называемого Hot-Spare), который немедленно замещает отказавший диск. К сожалению, пока идет регенерация тома, падение производительности даже в этом случае остается. К тому же цена решения (лишний диск, не используемый в работе) для конфигураций с умеренным числом дисков слишком велика. RAID-10 не нуждается в таком решении, поэтому при числе дисков, равном четырем, он явно выигрывает у RAID-5 + HotSpare - размер тома тот же, скорость намного выше, надежность как минимум не хуже, да и падения производительности при отказе HDD нет.

Теперь поговорим о ценах решений. Лучшие диски IDE при сходных со средними SCSI параметрах (увеличение Seek из-за скорости вращения 7200 rpm компенсируется у современных IDE HDD большей плотностью записи, чем у 10000 rpm SCSI) стоят примерно втрое дешевле, чем SCSI. То есть за те же деньги можно купить дисков втрое больше или большей емкости. Емкость в 200Gb для IDE HDD - уже достигнутый этап и мало кого удивляет. По стоимости контроллеров IDE RAID с поддержкой Level-5 примерно равен SCSI RAID (около 350$), однако приличный IDE RAID с поддержкой Level-10 намного дешевле (около 60$), а дешевые двухканальные модификации можно купить и за 30$. То есть картина выглядит примерно так (см. табл.1):

Таблица 1. Сравнение стоимости RAID-5 и RAID-10 решений.

RAID-5 SCSI RAID-5 IDE RAID-10 IDE

Контроллер 350$ 350$ 60$

HDD 4x300$ (IBM по 36Gb) 4x95$ (IBM по 40Gb) 4x130$ (IBM по 80Gb)

Итого цена 1550$ 730$ 580$

Емкость тома 108Gb 120Gb 160Gb

В общем, ситуация понятна - сочетание IDE HDD и доступного RAID-10 контроллера обеспечивает при цене почти втрое ниже, чем у решения на SCSI, самый быстрый, самый надежный и самый большой массив. При этом обратите внимание на то, что цена отказоустойчивого и быстрого массива размером в 160Gb составила достаточно смешные для сервера 580$ - совсем недавно об этом можно было только мечтать!

На самом деле, решения на IDE RAID-5 тоже имеют свою сферу применения - это дешевые отказоустойчивые терабайтные хранилища данных, доступ к которым происходит в основном на чтение. Тут контроллеры типа 8-канальной Escalade от фирмы 3Ware в своей тарелке - подключив к ним 16 HDD по 200Gb каждый, мы получаем полезную емкость отказоустойчивого тома RAID-5 в 3000 Gb за совершенно смешные для такого объема деньги! По некоторым прикидкам, такого объема хватило бы для того, чтобы кэшировать в прокси-сервере весь Runet (все ресурсы Интернет на территории бывшей СССР) минимум дважды.

Для решений же на SCSI остается в основном область суперсерверов, где топовая производительность важна больше, чем цена системы. Но такие решения подразумевают многоканальные SCSI-контроллеры и количество дисков, исчисляемое десятками, а также цену системы в виде цифры со многими нулями.

В целом, современные реализации RAID-систем на основе IDE-дисков уже обладают всеми характеристиками, присущими ранее только RAID на основе SCSI-дисков: горячая замена HDD, горячий резерв и автоматическая регенерация томов. При этом общая стоимость системы снижается в разы - либо можно на тот же бюджет построить значительно более мощную конфигурацию. К тому же эффективность RAID-систем на основе IDE-дисков может в некоторых случаях даже превышать аналогичные параметры RAID на основе SCSI-дисков, такой эффект наблюдается, например, в тестах на обработку синхронных записей, используемых диспетчерами баз данных (что объясняется более высокой полосой пропускания нескольких шин IDE и их способностью общаться с несколькими HDD одновременно).

Тестируем!

Для тестов я построил несколько недорогих конфигураций RAID-массивов на основе IDE дисков IBM AVVN (Vancouver-2) емкостью 40Gb, обслуживавшихся контроллерами IDE RAID Promise FastTrack100 и Silicon Image 649U (бывший CMD-649). Конфигурация сервера была той же самой, которую я тестировал для предыдущей статьи (2xP4 Xeon 2000, MB Intel SE7500CW2 Raid, RAM 2x512Mb DDR registered ECC, корпус INWIN Q500), загрузка операционной системы Windows-2000 Advanced Server SP1 и запуск всех тестов осуществлялись с HDD Western Digital 200BB, подключенного к основному контроллеру IDE материнской платы. В корпус были установлены 4 штуки Swap-Rack ATA/100 со встроенными вентиляторами, в которые и устанавливались винчестеры, образующие RAID-массив.

Были протестированы следующие конфигурации RAID:

RAID-0 из двух HDD на контроллере Promise FastTrack

RAID-0 из двух HDD на контроллере Silicon Image 649U

RAID-10 из четырех HDD на контроллере Promise FastTrack

RAID-10 из четырех HDD на контроллере Silicon Image 649U

Комбинированный RAID-10, состоящий из двух аппаратных отказоустойчивых RAID-1 массивов на контроллерах Silicon Image 649U и Promise FastTrack (по два HDD в каждом), объединенных в программный RAID-0 средствами ОС Windows-2000 (итого 4 HDD).

Последний вариант был протестирован для того, чтобы выяснить, насколько подобная комбинированная реализация загружает процессор и не является ли работа HDD парами (master-slave) при реализации аппаратных RAID-10 на дешевых двухканальных контроллерах сдерживающим фактором для увеличения производительности аппаратного массива. Во всех случаях дисковые массивы форматировались файловой системой NTFS как один раздел максимального размера с установками по умолчанию.

На рис.1 хорошо видно, что загрузка столь мощного сервера комбинированной реализацией RAID-10 невелика и вместе с самим тестом Sandra Pro занимает всего около 25% мощности - то есть ровно один виртуальный процессор из четырех. Остальные процессоры совершенно свободны, что и видно на графиках загрузки.

Однако для начала посмотрим, какие "физические" параметры будут иметь RAID-массивы, для чего воспользуемся известным тестом Drive!. К сожалению, поскольку этот тест получает доступ непосредственно к контроллерам дисков, определить с его помощью параметры программной реализации массива не представляется возможным, поэтому тут я ограничился тестированием первых четырех вариантов массивов.

Уже первые графики скорости последовательного чтения RAID-10 (рис. 2 и 3) преподнесли сюрприз - если Silicon Image показывает достаточно типичную для IDE RAID картину одинаковой производительности на первых 60% емкости (ее ограничение на уровне около 65Mb/s вызвано недостаточной пропускной способности шины PCI 33Mhz 32bit) с равномерным падением в последних 40% емкости, то Promise демонстрирует некоторый подъем производительности в середине графика и в целом немного более высокую скорость работы - хотя и большую "изрезанность" графика, чем у Silicon Image. В частности, если Silicon Image имеет провалы скорости не хуже, чем до 36Mb/s, то скорость Promise иногда падает до 25Mb/s - и если Вы используете такой том для захвата видео в реальном времени, эта разница может оказаться критически важной.

Но, в конце концов, для большинства приложений эти графики зависимости скорости чтения от номера логического блока имеют лишь академическую ценность, и гораздо важнее интегральные, усредненные характеристики. На рис.4 можно увидеть результаты по скорости последовательного чтения томов RAID-0 и RAID-10 на контроллерах обоих производителей. Обозначение "RAID-10 rbd" означает, что параметры измерялись в момент регенерации тома RAID-10 "на лету", после замены одного из HDD на такой же чистый (для имитации отказа HDD и его последовавшей замены). К сожалению, дешевые контроллеры Promise не обеспечивают возможности регенерации тома RAID-10 "на лету" (для регенерации, согласно документации, надо заходить в SETUP контроллера при перезагрузке компьютера), поэтому в этом режиме удалось протестировать только контроллер Silicon Image. И, надо сказать, Silicon приятно удивил - падение производительности чтения при регенерации оказалось невелико (см. рис.4).

В целом видно, что на чтении отказоустойчивые тома RAID-10 из четырех HDD оказались даже чуть быстрее, чем тома RAID-0 из двух HDD, а в лидеры по средней производительности (хотя и с минимальным отрывом от конкурентов) вышел Promise RAID-10. Хотя, на практике, по средней скорости чтения все варианты будут равнозначны, ибо различия минимальны. Более заметным является различие в минимальных скоростях (где явно лидирует контроллер Silicon Image) - но это важно лишь для очень ограниченного спектра приложений.

А вот в суммарном индексе скорости (см. рис.5) побеждает Promise RAID-10. Причем побеждает он исключительно из-за более быстрого доступа к данным - в то время как все остальные варианты демонстрируют Average Seek величиной в обычные для таких массивов 13.3 ms (у примененных в массиве HDD этот параметр составляет 13.1 ms), Promise RAID-10 показывает 11.3 ms - то есть на целых 2 миллисекунды лучше! Это много, потому что ради достижения примерно такого же выигрыша скорость вращения HDD пришлось бы довести до 15.000 об/мин.

Кстати, возвращаясь к индексу скорости теста Drive!, у примененных в массивах HDD он составляет 271 (это уже очень много даже по меркам SCSI винчестеров), в то время как у лидирующего массива он достиг 527 - почти вдвое выше, таких быстрых HDD просто не существует в природе.

Попутно, раз уж зашла речь об Average Seek, хочу пояснить, почему я указываю цифры в районе 13-11 ms и говорю, что это хорошо, в то время как производители HDD указывают цифры гораздо меньше (7-8 ms). Дело в том, что производители хитрят. Я указываю так называемый True Average Seek, который меряется по примерно такой методике: у HDD последовательно запрашивается чтение секторов типового размера (512 байт) с номерами, генерируемыми генератором случайных чисел с равномерным распределением в диапазоне всей поверхности HDD, затем затраченное на эти операции время делится на число прочитанных секторов, и полученная цифра и есть True Average Seek. Нетрудно заметить, что в это время входит, кроме собственно перемещения головки, время ожидания поворота диска до начала нужного сектора и время чтения собственно сектора (это важно, потому что современные HDD используют укрупненные сектора с корректирующим ошибки перемежающимся кодом, что вынуждает их при запросе хотя бы одного байта читать довольно большую часть дорожки). Производители же при расчете Average Seek отбрасывают собственно операцию чтения данных, и номера секторов генерируют не совсем случайным образом - точнее, перед позиционированием головки к случайному сектору ее искусственно ставят на середину диска (естественно, не учитывая затраты времени на эту операцию). Обе этих уловки позволяют получить те самые "суперцифры" - причем, как показал опыт, далеко не всегда HDD с более хорошей "цифрой производителя" показывает более высокие результаты по методике True Average Seek.

Но продолжим наши тесты далее, для чего воспользуемся Drives Benchmark из комплекта тестов Sandra Pro. Напомню, что этот тест измеряет производительность логического тома с установленной на нем файловой системой, осуществляя операции чтения и записи тестового файла довольно значительного размера (чтобы уменьшить влияние кэширования дисков в операционной системе). Тесты чтения и записи проходят в трех режимах:

BUFFERED - когда ОС разрешено делать собственную оптимизацию доступа к диску (упреждающее чтение и отложенную запись);

SEQUENTIAL - когда ОС запрещено делать оптимизацию, но читается-пишется большой файл подряд;

RANDOM - когда ОС запрещено делать оптимизацию, и читаются или пишутся мелкие порции из тела большого файла.

С некоторой долей приближения можно сказать, что первый вариант соответствует роли файлового сервера, второй - видео или звуковому монтажу, третий - роли сервера баз данных (включая SQL и WEB серверы).

На тестах чтения (см. рис.6) ничего неожиданного нас не ждало - разве что Promise RAID-0 наконец-то вырвался в лидеры, с особенно заметным отрывом в Sequential тесте. Впрочем, все массивы демонстрируют очень высокую производительность на чтении. Комбинированное решение (2 аппаратных RAID-0, собранные в программный RAID-1) не показало каких-либо заметных преимуществ по скорости перед аппаратными RAID-10, что позволяет предположить наличие узкого места в не слишком торопливой для таких массивов системной шине PCI-33.

На записи (см. рис.7) результаты гораздо интереснее - там RAID-0 демонстрирует свое неоспоримое преимущество по скорости перед RAID-10, как и должно быть в теории. При этом если в тесте Buffered вперед вырывается (хотя и с небольшим отрывом) контроллер Silicon Image, то в тесте Sequential его RAID-0 с большим отрывом обходит RAID-0 Promise (причем с RAID-10 ситуация сохраняется обратная - Silicon Image по-прежнему быстрее Promise). Такая же картина и в тесте Random - самый быстрый из RAID-0 оказывается Promise, а самый быстрый из RAID-10 - Silicon Image. Комбинированное решение в данном случае уступает всем - хотя и не так уж сильно.

После всего этого результирующий рейтинг не принес неожиданностей - RAID-0 на контроллере Promise уверенно лидирует по скорости, однако для отказоустойчивых массивов RAID-10 показатели Promise уже мало отличаются от вдвое более дешевого Silicon Image. Комбинированное решение, несмотря на два контроллера и 4 IDE канала, проиграло всем, убедительно демонстрируя тот факт, что вовсе не IDE шина является фактором, ограничивающим рост производительности современных дисковых массивов.

Попутно и RAID-10 продемонстрировал свои преимущества - легко полученная на нем скорость записи в 37-38 Mb/s является в настоящее время практически недостижимой даже для SCSI RAID-5 массивов (собственно, около 30Mb/s на запись для RAID-5 обеспечивает двухканальный SCSI-контроллер Intel SRCU32, притом практически вне зависимости от числа HDD, что означает наступление предела либо по производительности его процессора, либо по трафику SCSI-шин, а конкурирующие решения Mylex обеспечивают скорость записи существенно более низкую).

Заключение

Выводы, по-моему, совершенно очевидны - для серверов стоимостью менее 4000$ нет смысла тратиться на SCSI дисковую подсистему, лучше поставить вдвое больше IDE винчестеров и IDE RAID контроллеры, и получить при этом не только прирост производительности и объемов массива (которых, на самом деле, никогда не бывает слишком много), но и экономию денег, на которые можно, в свою очередь, увеличить объем памяти системы, поставить более быстрые серверные процессоры или организовать систему резервного копирования (кстати, наиболее выгодно для объемов данных до 100Gb ее строить также на съемных IDE винчестерах, только менее быстрых и более дешевых, чем для рабочих массивов). Да мало ли куда можно с пользой для дела потратить сэкономленные средства...

При этом прогресс в построении IDE RAID дошел до того, что для них стали вполне доступными Hot-Swap кассеты и контроллеры, умеющие работать с такими кассетами, "на лету" регенерировать массивы при замене вышедших из строя дисков без остановки сервера, причем практически без потери производительности. Конечно, IDE HDD несколько менее надежны, чем SCSI - однако наша статистика показывает, что эта разница для нормальных (не "пересобранных" из брака) изделий известных фирм (таких, как IBM) уже совсем невелика, и все возможные проблемы радикально решаются отказоустойчивыми RAID-массивами - у Вас, и нормальной гарантийной службой - у продавца. Тем более и цены IDE HDD по сравнению со SCSI настолько социальны, что для них имеет прямой смысл воспользоваться технологией "запасного диска" (по вкусу системного администратора - Hot-Spare или просто лишнего диска в дополнительной Swap-кассете для оперативной замены).

Кстати, имеет смысл подумать об IDE RAID и владельцам персональных рабочих станций. Кому-то RAID-1 на паре недорогих HDD поможет больше не бояться потери полугодовых результатов труда из-за вышедшего из строя винчестера (что особенно актуально сейчас, поскольку надежность HDD постоянно падает из-за гонки их изготовителей за скоростными и емкостными параметрами), а кому-то RAID-0 позволит намного быстрее работать с цифровым видео, да и просто ускорит пересчет базы в 1C. Что, как ни крути, и нервы Ваши побережет, и продуктивность труда увеличит.

Что же касается перспективы серверных массивов, у SCSI вряд ли есть будущее - новый интерфейс SеrialATA имеет все достоинства SCSI без его недостатков, гораздо удобнее и при этом производительнее. В нем наконец-то сольются интерфейсы и продукты для рабочих станций и серверов - дав на выходе технологии более быстрые, более надежные и при том благодаря массовому выпуску более дешевые. А разве не этого мы все хотим?