RAID-массив. Что это? Зачем? И как создать? Дисковые массивы RAID: что это, и зачем нужно

Скачать на Телефон 28.08.2019
Скачать на Телефон

Многие пользователи слышали о таком понятии, как дисковые массивы RAID, однако на практике мало кто себе представляет себе, что это такое. Но как оказывается, ничего сложного тут нет. Разберем суть этого термина, что называется, на пальцах, исходя из объяснения информации для рядового обывателя.

Что представляют собой дисковые массивы RAID?

Для начала рассмотрим общую трактовку, которая предлагается интернет-изданиями. Дисковые массивы - это целые системы хранения информации, состоящие из связки двух и более жестких дисков, служащих либо для увеличения скорости доступа к хранимой информации, либо для ее дублирования, например, при сохранении бэкап-копий.

В такой связке количество винчестеров в плане установки теоретически ограничений не имеет. Все зависит только от того, сколько подключений поддерживает материнская плата. Собственно, почему используются дисковые массивы RAID? Тут стоит обратить внимание на то, что в направлении развития технологий (относительно именно жестких дисков) они давно замерли на одной точке (скорость вращения шпинделя 7200 об./мин, размер кэша и т. д.). Исключение в этом плане составляют только модели SSD, но и у них в основном производится только увеличение объема. В то же время в производстве процессоров или планок оперативной памяти прогресс более ощутим. Таким образом, за счет применения RAID-массивов осуществляется увеличение прироста производительности при обращении к винчестерам.

Дисковые массивы RAID: виды, назначение

Что же касается самих массивов, условно их можно разделить по используемой нумерации (0, 1, 2 и т. д.). Каждый такой номер соответствует выполнению одной из заявленных функций.

Основными в этой классификации являются дисковые массивы с номерами 0 и 1 (далее будет понятно, почему), поскольку именно на них возложены основные задачи.

При создании массивов с подключением нескольких винчестеров изначально следует использовать настройки BIOS, где в разделе конфигурации SATA устанавливается значение RAID. При этом важно обратить внимание, что подключаемые диски должны иметь абсолютно идентичные параметры в плане объема, интерфейса, подключения, кэша и т. д.

RAID 0 (Striping)

Нулевые дисковые массивы по сути своей предназначены для ускорения доступа к хранимой информации (записи или считывания). Они, как правило, могут иметь в связке от двух до четырех винчестеров.

Но тут самая главная проблема состоит в том, что при удалении информации на одном из дисков она исчезает и на других. Информация записывается в виде блоков поочередно на каждый диск, а увеличение производительности прямо пропорционально количеству винчестеров (то есть, четыре диска в два раза быстрее двух). Но вот потеря информации связана только с тем, что блоки могут находиться на разных дисках, хотя пользователь в том же «Проводнике» видит файлы в нормальном отображении.

RAID 1

Дисковые массивы с единичным обозначением относятся к разряду Mirroring (зеркальное отображение) и служат для сохранения данных путем дублирования.

Грубо говоря, при таком положении дел пользователь несколько теряет в производительности, зато может быть точно уверен, что при исчезновении данных из одного раздела они будут сохранены в другом.

RAID 2 и выше

Массивы с номерами 2 и выше имеют двойное назначение. С одной стороны, они предназначены для записи информации, с другой - используются для коррекции ошибок.

Иными словами, дисковые массивы этого типа совмещают в себе возможности RAID 0 и RAID 1, но среди компьютерщиков особой популярностью не пользуются, хотя в основе их работы лежит использование

Что лучше использовать на практике?

Безусловно, если на компьютере предполагается использование ресурсоемких программ, например, современных игр, лучше использовать массивы RAID 0. В случае работы с важной информацией, которую нужно сохранить любым способом, придется обратиться к массивам RAID 1. В силу того, что связки с номерами от двух и выше популярными так и не стали, их применение обусловливается исключительно желанием пользователя. Кстати, применение нулевых массивов является практичным и в том случае, если пользователь часто загружает на компьютер файлы мультимедиа, скажем, фильмы или музыку с высоким битрейтом для формата MP3 или в стандарте FLAC.

В остальном же придется полагаться на собственные предпочтения и нужды. Именно от этого и будет зависеть применение того или иного массива. И, конечно же, при установке связки лучше отдавать предпочтение дискам SSD, поскольку по сравнению с обычными винчестерами они уже изначально имеют более высокие показатели по скорости записи и считывания. Но они должны быть абсолютно одинаковыми по своим характеристикам и параметрам, иначе подключаемая комбинация попросту работать не будет. И именно это является одним из самых главных условий. Так что придется обратить внимание и на этот аспект.

  • Интерфейс scsi
  • 3.2. Запоминающие устройства на оптических дисках
  • 3.2.1. Оптические диски 3.2.2. Организация данных на оптических дисках
  • 3.2.3. Приводы оптических дисков
  • 3.2.1. Оптические диски
  • 3.2.2. Организация данных на оптических дисках
  • 3.2.3. Приводы оптических дисков
  • 3.3. Запоминающие устройства со сменными магнитными носителями
  • 3.3.1. Накопители на гибких магнитных дисках 3.3.2. Запоминающие устройства со сменными магнитными и магнитооптическими дисками 3.3.3. Накопители на магнитных лентах
  • 3.3.1. Накопители на гибких магнитных дисках
  • 3.3.2. Запоминающие устройства со сменными магнитными и магнитооптическими дисками
  • 3.3.3. Накопители на магнитных лентах
  • Глава 4. Методы оценки характеристик и повышения производительности памяти
  • 4.1. Методы оценки временных характеристик зу 4.2. Методы повышения производительности памяти эвм 4.3. Направления развития зу
  • 4.1. Методы оценки временных характеристик зу
  • 4.1.1. Экспериментальные методы оценки 4.1.2. Теоретические методы оценки
  • 4.1.1. Экспериментальные методы оценки
  • 4.1.2. Теоретические методы оценки
  • 4.2. Методы повышения производительности памяти эвм
  • 4.2.1. Использование кэш-памяти 4.2.2. Диспетчеризация (управление порядком) обслуживания обращений 4.2.3. Организация дисковых массивов (raid)
  • 4.2.1. Использование кэш-памяти
  • 4.2.2. Диспетчеризация (управление порядком) обслуживания обращений
  • 4.2.3. Организация дисковых массивов (raid)
  • 4.3. Направления развития зу
  • Литература и ссылки
  • 4.2.3. Организация дисковых массивов (raid)

    Еще одним способом повышения производительности дисковой памяти стало построение дисковых массивов, хотя этот нацелен не только (и не столько) на достижение более высокой производительности, но и большей надежности работы запоминающих устройств на дисках.

    Технология RAID (Redundant Array of Independent Disks – избыточный массив независимых дисков) задумывалась как объединение нескольких недорогих жестких дисков в один массив дисков для увеличения производительности, объема и надежности, по сравнению с одиночным диском. При этом ЭВМ должна видеть такой массив как один логический диск.

    Если просто объединить несколько дисков в (не избыточный) массив, то среднее время между отказами (СВМО) будет равно СВМО одного диска, деленному на количество дисков. Такой показатель слишком мал для приложений, критичных к аппаратным сбоям. Улучшить его можно применяя реализуемую различным образом избыточность при хранение информации.

    В RAID системах для повышения надежности и производительности используются комбинации трех основных механизмов, каждый из которых хорошо известен и по отдельности: - организация “зеркальных” дисков, т.е. полное дублирование хранимой информации; - подсчет контрольных кодов (четность, коды Хэмминга), позволяющих восстановить информацию при сбое; - распределение информации по различным дискам массива так, как это делается при чередовании обращений по блокам памяти (см. interleave), что повышает возможности параллельной работы дисков при операциях над хранимой информацией. При описании RAID этот прием называют “stripped disks”, что буквально означает “разделенные на полоски диски”, или просто "полосатые диски"..

    Рис. 43. Разбиение дисков на чередующиеся блоки - “полоски”.

    Изначально было определено пять типов дисковых массивов, обозначаемых RAID 1 – RAID 5, различающихся по своим особенностям и производительности. Каждый из этих типов за счет определенной избыточности записываемой информации обеспечивал повышенную отказоустойчивость по сравнению с одиночным дисководом. Кроме того, массив дисков, не обладающих избыточностью, но позволяющий повысить производительность (за счет расслоения обращений), стали часто называть RAID 0.

    Основные типы RAID массивов можно кратко охарактеризовать следующим образом .

    RAID 0 . Обычно этот тип массива определяется как группа дисков с чередованием (stripped) расположения информации без контроля четности и без избыточности данных. Размеры чередующихся областей (stripes – “полосок”, или блоков) могут быть большими в многопользовательском окружении или малыми в однопользовательской системе при последовательном доступе к длинным записям.

    Организация RAID 0 как раз и соответствует той, которая показана на рис. 43. Операции записи и чтения могут выполняться одновременно на каждом дисководе. Минимальное количество дисководов для RAID 0 – два.

    Для этого типа характерны высокая производительность и наиболее эффективное использование дискового пространства, однако, выход из строя одного из дисков приводит к невозможности работы со всем массивом.

    RAID 1 . Этот тип дискового массива (рис. 44, а ) известен также как зеркальные диски и представляет собой просто пары дисководов, дублирующих хранимые данные, но представляющиеся компьютеру как один диск. И хотя в рамках одной пары зеркальных дисков разбиение на полоски не производится, чередование блоков может быть организовано для нескольких массивов RAID 1, образующих вместе один большой массив из нескольких зеркальных пар дисков. Такой вариант организации получил название RAID 1 + 0. Существует и обратный вариант.

    Все операции записи производятся одновременно в оба диска зеркальной пары, чтобы информация в них была идентична. Но при чтении каждый из дисков пары может работать независимо, что позволяет выполнять одновременно две операции чтения, удваивая тем самым производительность при чтении. В этом смысле RAID 1 обеспечивает наилучшую производительность среди всех вариантов дисковых массивов.

    RAID 2 . В этих дисковых массивах блоки – сектора данных чередуются по группе дисков, часть из которых используется только для хранения контрольной информации – ECC (error correcting codes) кодов. Но поскольку во всех современных дисках имеется встроенный контроль с помощью ECC кодов, то RAID 2 мало что дает, по сравнению с другими типами RAID, и сейчас редко используется.

    RAID 3 . Как и в RAID 2 в этом типе дискового массива (рис. 44, б ) блоки –сектора чередуются по группе дисков, но один из дисков группы отведен для хранения информации о четности. В случае выхода дисковода из строя восстановление данных осуществляется на основе вычисления значений функции "исключающее ИЛИ" (XOR) от данных, записанных на оставшихся дисках. Записи обычно занимают все диски (так как полоски короткие), что повышает общую скорость передачи данных. Так как каждая операция ввода-вывода требует доступа к каждому диску, массив RAID 3 может обслужить в каждый момент времени только один запрос. Поэтому данный тип обеспечивает наилучшую производительность для одного пользователя в однозадачном окружении с длинными записями. При работе с короткими записями во избежание снижения производительности требуется синхронизация шпинделей дисководов. По своим характеристикам RAID 3 близок к RAID 5 (см. ниже).

    RAID 4. Эта организация, показанная на рис. 35, в ), похожа на RAID 3 с той лишь разницей, что в нем используются блоки (полоски) большого размера, так что записи можно читать с любого диска массива (кроме диска, хранящего коды четности). Это позволяет совмещать операции чтения на разных дисках. При операциях записи всегда происходит обновление диска четности, поэтому их совмещение невозможно. В целом, данная архитектура не имеет особых преимуществ перед другими вариантами RAID.

    RAID 5. Этот тип дискового массива похож на RAID 4, но хранение кодов четности в нем осуществляется не на специально выделенном диске, а блоками, располагающимися поочередно на всех дисках. Эту организацию даже иногда называют массив с “вращающейся четностью” (можно отметить некую аналогию с назначением линий прерываний для слотов шины PCI или с циклическим приоритетом контроллера прерываний в процессорах линии x86). Такое распределение позволяет избежать ограничения возможности одновременной записи из-за хранения кодов четности только на одном диске, характерного для RAID 4. На рис. 44, г ) показан массив, состоящий из четырех дисководов, причем для каждых трех блоков данных имеется один блок четности (эти блоки заштрихованы), местоположение которого для каждой тройки блоков данных изменяется, перемещаясь циклически по всем четырем дисководам.

    Операции чтения могут выполняться параллельно для всех дисков. Операции записи, требующие участия двух дисководов (для данных и для четности) обычно также могут совмещаться, так как коды четности распределены по всем дискам.

    Сравнение различных вариантов организации дисковых массивов показывает следующее.

    Организация RAID 0 – это наиболее быстрый и эффективный вариант, но не обеспечивающий устойчивости к сбоям. Он требует минимум 2 дисковода. Операции записи и чтения могут выполняться одновременно на каждом дисководе.

    Архитектура RAID 1 наиболее пригодна для высокопроизводительных высоконадежных приложений, но и наиболее дорогая. Кроме того, это единственный вариант, устойчивый к сбоям, если используются только два дисковода. Операции чтения могут выполняться одновременно для каждого дисковода, операции записи всегда дублируются для зеркальной пары дисководов.

    Архитектура RAID 2 используется редко.

    Дисковый массив типа RAID 3 можно использовать для ускорения передачи данных и повышения устойчивости к сбоям в однопользовательской среде при последовательном доступе к длинным записям. Но он не позволяет совмещать операции и требует синхронизации вращения шпинделей дисководов. Для него нужно, как минимум, три дисковода: 2 для данных и один для кодов четности.

    Архитектура RAID 4 не поддерживает одновременные операции и не имеет преимуществ, по сравнению с RAID 5.

    Организацию RAID 5 характеризует эффективность, устойчивость к сбоям и хорошая производительность. Но производительность при записи и в случае отказа дисковода хуже, чем у RAID 1. В частности, поскольку блок кодов четности относится ко всему записываемому блоку, то, если пишется только часть его, необходимо сперва считать ранее записанные данные, затем вычислить новые значения кодов четности и только после этого записать новые данные (и четность). Операции перестройки также требуют больше времени из-за необходимости формирования кодов четности. Для данного типа RAID нужно, как минимум, три дисковода.

    Кроме того, на основе наиболее распространенных вариантов RAID: 0, 1 и 5 могут формироваться так называемые двухуровневые архитектуры, в которых сочетаются принципы организации различных типов массивов. Например, несколько RAID массивов одного и того же типа можно объединить в одну группу массивов данных или массив четности.

    За счет такой двухуровневой организации можно достичь требуемого баланса между увеличением надежности хранения данных, характерным для массивов RAID 1 и RAID 5 и высокой скоростью чтения, присущей чередованию блоков на дисках в массиве типа RAID 0. Такие двухуровневые схемы иногда называют RAID 0+1 или 10 и 0+5 или 50.

    Управление работой RAID массивов может осуществляться не только аппаратно, но и программно, возможность чего предусматривается в некоторых серверных вариантах операционных систем. Хотя понятно, что такая реализация будет иметь существенно худшие характеристики производительности.

    Сегодня мы узнаем интересную информацию о том, что такое RAID массив и какую роль эти массивы играют в жизни жестких дисков, да-да, именно в них.

    Сами жесткие диски играют довольно важную роль в компьютере, так как, при помощи них мы запускаем систему и храним множество информации на них.

    Проходит время и любой жесткий диск может отказать, это могут быть любые , о которых мы сегодня не говорим.

    Я надеюсь, что многие слышали о так называемых raid массивах , которые позволяют не только ускорить работу жестких дисков, но и с в случае чего, спасти важные данные от исчезновения, возможно, навсегда.

    Также, данные массивы имеют порядковые номера, чем и отличаются. Каждый выполняет разные функции. Например, есть RAID 0, 1, 2, 3, 4, 5 и т. д. Вот об этих самых массивах мы сегодня и будем говорить, а потом я напишу статью, как использовать некоторые из них.

    Что такое RAID массив?

    RAID – это технология, которая позволяет объединить несколько устройств, а именно, жестких дисков, в нашем случае идет что-то вроде их связки. Таким образом, мы повышаем надежность хранения данных и скорость чтения/записи. Возможно и что-то одно из этих функций.

    Так что, если вы хотите или ускорить свой диск или просто обезопасить информацию зависит лишь от вас. Точнее сказать, зависит от выбора нужной конфигурации «Рейда», эти конфигурации и отмечены порядковыми номерами 1, 2, 3…

    Рейды очень полезная функция и я ее рекомендую использовать всем. Например, если использовать 0-вую конфигурацию, то вы ощутите прирост в скорости жесткого диска, все-таки, жестких диск, это почти самое низкоскоростное устройство.

    Если вы спросите почему, то тут, я думаю, все ясно. с каждым годом становятся все мощнее, их обзаводят и более высокой частотой, большим количеством ядер, и многим другим. То же самое с и . А жесткие диски растут пока что только в объеме, а скорость оборота как была 7200, так и осталась. Конечно есть и более редкие модели. Ситуацию пока что спасают так называемые , которые ускоряют систему в несколько раз.

    Допустим, вы заходили построить RAID 1 , в этом случае вы получите высокую гарантию защиты ваших данных, так как, они будут дублироваться на другое устройство (диск) и, если один жесткий диск откажет, вся информация останется на другом.

    Как видите из примеров, рейды очень важны и полезны, их нужно использовать.

    Итак, RAID-массив физически представляет собой связку от двух жестких дисков, подключенных к системной плате, можно и три, и четыре. Кстати говоря, тоже должна поддерживать создание RAID-массивов. Подключение жестких дисков проводиться по стандарту, а создание рейдов проходит на программном уровне.

    Когда мы программно создали рейд, на глаз особо ничего не изменилось, вы всего лишь поработаете в BIOS, а все остальное как было, так и останется, то есть, заглянув в Мой компьютер, вы увидите все те же подключённые диски.

    Чтобы создать массив нужно не так много: материнская плата с поддержкой RAID, два идентичных жестких диска (это важно ). Они должны быть одинаковы не только в объеме, но и по кэшу, интерфейсу и т. д. Желательно, чтобы и производитель был один и тот же. Теперь включаем компьютер и , там ищем параметр SATA Configuration и ставим на RAID . После перезагрузки компьютера должно появится окно в которой мы увидим информацию о дисках и рейдах. Там мы должны нажать CTRL+I , чтобы начать настройку рейда, то есть, добавлять или удалять из него диски. Потом начнется и ее настройка.

    Сколько всего этих рейдов? Их несколько, а именно RAID 1 , RAID 2 , RAID 3 , RAID 4 , RAID 5 , RAID 6 . Более подробно я расскажу только о двух из них.

    1. RAID 0 – позволяет создавать дисковый массив для того, чтобы увеличить скорость чтения/записи.
    2. RAID 1 – позволяет создавать зеркальные дисковые массивы для защиты данных.

    RAID 0, что это такое?

    Массив RAID 0 , который еще называют «Striping» использует от 2 до 4 жестких дисков, редко больше. Работая совместно, они повышают производительность. Таким образом, данные при таком массиве разбивается на блоки данных, а потом записываются сразу на несколько дисков.

    Производительность повышается из-за того, что на один диск записывается один блок данных, на другой диск, другой блок и т. д. Думаю понятно, что 4 диска больше увеличат производительность, чем два. Если говорить о безопасности, то она страдает на всем массиве. Если один из дисков выйдет из строя, то в большинстве случаев, вся информация пропадет безвозвратно.

    Дело в том, что в массиве RAID 0 информация располагается на всех дисках, то есть, байты какого-то файла, расположены на нескольких дисках. Поэтому, при выходе из строя одного диска, пропадет и какое-то количество данных, восстановление при этом невозможно.

    Из этого следует, что необходимо делать постоянные на внешние носители.

    RAID 1, что это такое?

    Массив RAID 1 , его еще называют Mirroring – зеркало. Если говорить о недостатке, то в RAID 1 объем одного из жестких дисков вам как-бы «недоступен», потому что, он используется для дублирования первого диска. В RAID 0 это место доступно.

    Из преимуществ, как вы, наверное, уже догадались, следует, что массив предоставляет высокую надежность данных, то есть, если выйдет из строя один диск, все данные останутся на втором. Выход из строя сразу двух дисков маловероятен. Такой массив часто используется на серверах, но это не мешает использовать его и на обычных компьютерах.

    Если вы выбрали RAID 1, то знайте, что производительность упадет, но если данные вам важны, то используйте данных подход.

    RAID 2-6, что это такое?

    Сейчас вкратце опишу остальные массивы, так сказать, для общего развития, а все потому, что они не такие популярные, как первые два.

    RAID 2 – нужен для массивов, которые используют код Хемминга (не интересовался, что за код). Принцип работы примерно, как в RAID 0, то есть информация также разбивается на блоки и поочередно записываются на диски. Остальные диски используются для хранения кодов коррекции ошибок, при помощи которых, в случае выхода из строя одного из дисков, можно восстановить данные.

    Правда, для данного массива лучше использовать 4 диска, что довольно затратно, да и как выяснилось, при использовании стольких дисков, прирост производительности довольно спорный.

    RAID 3, 4, 5, 6 – про эти массивы я не буду здесь писать, так как, необходимая информация уже есть на Википедии , если хотите узнать о данных массивах, то читаем.

    Какой выбрать RAID массив?

    Допустим, что вы часто устанавливаете различные программы, игры и копируете много музыки или фильмов, тогда вам рекомендуется к использованию RAID 0. При выборе жестких дисков будьте внимательные, они должные быть очень надежными, чтобы не потерять информацию. Обязательно делайте резервные копии данных.

    Есть важная информация, которая должна быть в целости и сохранности? Тогда на помощь приходит RAID 1. При выборе жестких дисков, также их характеристики должны быть идентичными.

    Вывод

    Вот мы и разобрали для кого-то новую, а для кого-то старую информацию по RAID-массивам. Надеюсь, что информация для вас окажется полезной. Скоро буду писать о том, как эти массивы создавать.

    RAID-массив. Что это? Зачем? И как создать?

    За долгие десятилетия развития компьютерной индустрии средства хранения информации для ЭВМ прошли серьезный эволюционный путь развития. Перфоленты и перфокарты, магнитные ленты и барабаны, магнитные, оптические и магнито-оптические диски, полупроводниковые накопители - это лишь короткий перечень уже опробованных технологий. Сейчас в лабораториях мира предпринимаются попытки создания голографических и квантовых накопителей, которые позволят многократно повысить плотность записи и надежность ее хранения.

    Пока же наиболее распространенным средством хранения информации в персональном компьютере уже продолжительное время остаются жесткие диски. Иначе их могут называть НЖМД (накопители на жестких магнитных дисках), винчестерами, хард-дисками, но суть от изменения названия не меняется - это накопители с пакетом магнитных дисков в едином корпусе.

    Первый жесткий диск, называвшийся IBM 350, был собран 10 января 1955 года в лаборатории американской компании IBM. При размере с хороший шкаф и весе в тонну этот винчестер вмещал пять мегабайт информации. С современной точки зрения подобный объем даже смешным назвать нельзя, однако во время массового использования перфокарт и магнитных лент с последовательным доступом это был колоссальный технологический прорыв.


    Выгрузка первого жесткого диска IBM 350 с самолета

    С того дня прошло меньше шести десятков лет, но сейчас никого не удивишь жестким диском весом меньше двухсот грамм, длиной десять сантиметров и объемом информации в пару терабайт. При этом принципиально технология записи, хранения и считывания данных ничем не отличается от применяемой в IBM 350 - те же магнитные пластины и скользящие над ними головки чтения/записи.


    Эволюция винчестеров на фоне дюймовой линейки (фото из " Википедии " )

    К сожалению, именно особенности этой технологии служат причиной возникновения двух основных проблем, которые связаны с использованием жестких дисков. Первой из них является слишком низкая скорость записи, чтения и передачи информации от диска к процессору. В современном компьютере именно винчестер является медленным устройством, зачастую определяющим производительность всей системы в целом.

    Вторая проблема - недостаточная защищенность хранимой на жестком диске информации. При поломке винчестера вы можете безвозвратно утратить все данные, которые на нем хранились. И хорошо, если потери ограничатся утратой семейного фотоальбома (хотя и в этом хорошего на самом деле мало). Уничтожение же важной финансовой и маркетинговой информации может оказаться причиной краха бизнеса.

    Отчасти помогает защитить хранимую информацию регулярное резервное копирование (бэкапирование) всех или только важных данных на винчестере. Но и в этом случае при его поломке будет потеряна та часть данных, которая была обновлена с момента последнего бэкапа.

    К счастью, существуют методы, которые помогают устранить указанные выше недостатки традиционных жестких дисков. Одним из таких методов является создание RAID - массивов из нескольких винчестеров.

    Что такое RAID

    В Интернете и даже современной компьютерной литературе нередко можно встретить термин "RAID-массив", что фактически является тавтологией, так как аббревиатура RAID (redundant array of independent disks) уже расшифровывается как "избыточный массив независимых дисков".

    В названии полностью раскрывается физический смысл таких массивов - это набор из двух и более жестких дисков. Совместная работа этих дисков управляется специальным контроллером. В результате работы контроллера такие массивы воспринимаются операционной системой как один жесткий диск и пользователь может не задумываться над нюансами управления работой каждого винчестера в отдельности.

    Существует несколько основных типов RAID, каждый из которых по-разному влияет на суммарную надежность и скорость работы массива в сравнении с одиночными дисками. Обозначаются они условным номером от 0 до 6. Подобное обозначение с подробным описанием архитектуры и принципа работы массивов было предложено специалистами Калифорнийского университета в Беркли. Помимо основных семи типов RAID возможны и различные их сочетания. Рассмотрим их далее.

    Это простейший тип массива жестких дисков, основным назначением которого является повышение производительности дисковой подсистемы компьютера. Достигается это путем разделения потоков записываемой (считываемой) информации на несколько подпотоков, которые одновременно пишутся (считываются) на несколько винчестеров. В результате суммарная скорость обмена информацией, например, для двухдисковых массивов возрастает на 30-50% по сравнению с одним жестким диском того же типа.

    Общий объем RAID 0 равен сумме объемов включенных в него винчестеров. Разбиение информации выполняется на блоки данных фиксированной длины, независимо от длины записываемых файлов.

    Основным достоинством RAID 0 является существенный прирост скорости обмена информацией между дисковой системой без потери полезного объема жестких дисков. Недостаток - снижение общей надежности системы хранения. При выходе из строя любого из дисков RAID 0 безвозвратно пропадает вся записанная в массиве информация.

    Подобно рассмотренному выше, этот тип массивов также является самым простым в организации. Строится он на основе двух винчестеров, каждый из которых является точным (зеркальным) отражением другого. Информация параллельно записывается на оба диска в массиве. Чтение данных происходит одновременно с обоих дисков последовательными блоками (распараллеливание запросов), за счет чего достигается некоторое повышение скорости чтения по сравнению с одним жестким диском.

    Общий объем RAID 1 равен объему меньшего из входящих в массив жестких дисков.

    Достоинства RAID 1: высокая надежность хранения информации (данные невредимы, пока цел хотя бы один из входящих в массив дисков) и некоторый прирост скорости чтения. Недостаток - покупая два жестких диска, вы получаете полезный объем только одного. Несмотря на потерю половины полезного объема, "зеркальные" массивы достаточно популярны из-за высокой надежности и относительно малой стоимости - пара дисков все же дешевле, чем четыре или восемь.

    При построении этих массивов используется алгоритм восстановления информации с помощью кодов Хэмминга (американский инженер, разработавший этот алгоритм в 1950 году для коррекции ошибок при работе электромеханических вычислителей). Для обеспечения работы этого RAID контроллером создаются две группы дисков - одна для хранения данных, вторая группа для хранения кодов коррекции ошибок.

    Подобный тип RAID получил малое распространение в домашних системах из-за чрезмерной избыточности количества жестких дисков - так, в массиве из семи жестких дисков под данные будут отведены только четыре. При росте количества дисков избыточность снижается, что отражено в приведенной таблице.

    Основным достоинством RAID 2 является возможность коррекции возникающих ошибок "на лету" без снижения скорости обмена данными между дисковым массивом и центральным процессором.

    RAID 3 и RAID 4

    Эти два типа дисковых массивов очень похожи по схеме построения. В обоих для хранения информации используется несколько жестких дисков, один из которых используется исключительно для размещения контрольных сумм. Для создания RAID 3 и RAID 4 достаточно трех винчестеров. В отличие от RAID 2 восстановление данных "на лету" невозможно - информация восстанавливается после замены вышедшего из строя жесткого диска в течение некоторого времени.

    Разница между RAID 3 и RAID 4 заключается в уровне разбиения данных. В RAID 3 информация разбивается на отдельные байты, что приводит к серьезному замедлению при записи/считывании большого количества мелких файлов. В RAID 4 происходит разбиение данных на отдельные блоки, размер которых не превышает размер одного сектора на диске. В результате повышается скорость обработки небольших файлов, что критично для персональных компьютеров. По этой причине RAID 4 получил большее распространение.

    Существенным недостатком рассматриваемых массивов является повышенная нагрузка на жесткий диск, предназначенный для хранения контрольных сумм, что существенно снижает его ресурс.

    Дисковые массивы этого типа фактически являются развитием схемы RAID 3/RAID 4. Отличительной особенностью является то, что для хранения контрольных сумм не используется отдельный диск - они равномерно распределяются по всем жестким дискам массива. Результатом распределения стала возможность параллельной записи на несколько дисков сразу, что несколько повышает скорость обмена данными по сравнению с RAID 3 или RAID 4. Однако это повышение не столь существенно, так как тратятся дополнительные ресурсы системы на вычисление контрольных сумм операцией "исключающее или". В то же время скорость чтения возрастает значительно, так как возможно простое распараллеливание процесса.

    Минимальное число жестких дисков для построения RAID 5 - три.

    Массивы, построенные по схеме RAID 5, имеют весьма существенный недостаток. При выходе из строя любого диска после его замены необходимо несколько часов на полное восстановление информации. В это время неповрежденные жесткие диски массива работают в сверхинтенсивном режиме, что существенно повышает вероятность выхода из строя второго диска и полной потери информации. Хоть и редко, но подобное происходит. Кроме того, во время восстановления целостности RAID 5 массив почти полностью занят этим процессом и текущие операции записи/чтения выполняются с большими задержками. Если для большинства обычных пользователей это не критично, то в корпоративном секторе такие задержки могут привести к определенным финансовым потерям.

    В значительной степени указанную выше проблему решает построение массивов по схеме RAID 6. В этих структурах под хранение контрольных сумм, которые также циклично и равномерно разносятся на разные диски, выделяется объем памяти, равный объему двух жестких дисков. Вместо одной вычисляются две контрольные суммы, что гарантирует целостность данных при одновременном выходе из строя сразу двух винчестеров в массиве.

    Достоинства RAID 6 - высокая степень защищенности информации и меньшее, чем в RAID 5, падение производительности в процессе восстановления данных при замене поврежденного диска.

    Недостаток RAID 6 - снижение общей скорости обмена данными примерно на 10% из-за увеличения объема необходимых вычислений контрольных сумм, а также из-за роста объема записываемой/считываемой информации.

    Комбинированные типы RAID

    Помимо рассмотренных выше основных типов широко применяются различные их комбинации, которые компенсируют те или иные недостатки простых RAID. В частности, широко распространено использование схем RAID 10 и RAID 0+1. В первом случае пару зеркальных массивов объединяют в RAID 0, во втором наоборот - два RAID 0, объединяют в зеркало. И в том и в другом случае к защищенности информации RAID 1 добавляется повышенная производительность RAID 0.

    Нередко с целью повышения уровня защиты важной информации используются схемы построения RAID 51 или RAID 61 - зеркалирование и так высокозащищенных массивов обеспечивает исключительную сохранность данных при любых сбоях. Однако в домашних условиях такие массивы реализовывать нецелесообразно из-за чрезмерной избыточности.

    Построение массива дисков - от теории к практике

    Построением и управлением работой любого RAID занимается специализированный RAID-контроллер. К большому облегчению рядового пользователя персонального компьютера, в большинстве современных материнских плат эти контроллеры уже реализуются на уровне южного моста чипсета. Так что для построения массива жестких дисков достаточно озаботиться приобретением необходимого их количества и определения желаемого типа RAID в соответствующем разделе настройки BIOS. После этого в системе вместо нескольких жестких дисков вы увидите только один, который уже по желанию можно разбивать на разделы и логические диски. Учтите, что тем, кто еще пользуется ОС Windows XP, понадобится установить дополнительный драйвер.

    Внешний RAID-контроллер c четырьмя портами SATA

    Отметим, что интегрированные контроллеры, как правило, способны создать RAID 0, RAID 1 и их сочетания. Для создания более сложных массивов все же потребуется приобретение отдельного контроллера.

    И напоследок еще один совет - для создания RAID приобретайте жесткие диски одинакового объема, одного производителя, одной модели и желательно из одной партии. Тогда они будут оснащены одинаковыми наборами логики и работа массива этих жестких дисков будет наиболее стабильной.

    RAID (Redundant Array of Independent Disks) — избыточный массив независимых дисков, т.е. объединение физических жестких дисков в один логический для решения каких либо задач. Скорее всего, вы его будете использовать для отказоустойчивости. При выходе из строя одного из дисков система будет продолжать работать. В операционной системе массив будет выглядеть как обычный HDD. RAID – массивы зародились в сегменте серверных решений, но сейчас получили широкое распространение и уже используются дома. Для управления RAID-ом используется специальная микросхема с интеллектом, которая называется RAID-контроллер. Это либо чипсет на материнской плате, либо отдельная внешняя плата.

    Типы RAID массивов

    Аппаратный – это когда состоянием массива управляет специальная микросхема. На микросхеме есть свой CPU и все вычисления ложатся на него, освобождая CPU сервера от лишней нагрузки.

    Программный – это когда состоянием массива управляет специальная программа в ОС. В этом случае будет создаваться дополнительная нагрузка на CPU сервера. Ведь все вычисления ложатся именно на него.

    Однозначно сказать какой тип рейда лучше – нельзя. В случае программного рейда нам не нужно покупать дорогостоящий рейд-контроллер. Который обычно стоит от 250 у.е. (можно найти и за 70 у.е. но я бы не стал рисковать данными) Но все вычисления ложатся на CPU сервера. Программная

    реализация хорошо подходит для рейдов 0 и 1. Они достаточно просты и для их работы не нужны большие вычисления. Поэтому программные рейды чаще используют в решениях начального уровня. Аппаратный рейд в своей работе использует рейд-контроллер. Рейд-контроллер имеет свой процессор для вычислений, и именно он производит операции ввода/вывода.

    Уровни RAID-массивов

    Их достаточно много. Это основные – 0, 1, 2, 3, 4, 5, 6, 7 и комбинированные – 10, 30, 50, 53… Мы рассмотрим только самые ходовые, которые используются в современной инфраструктуре предприятия. Буква D в схемах означает Data (данные), или блок данных.

    RAID 0 (Striped Disk Array without Fault Tolerance)

    Он же stripe. Это когда два или более физических дисков объединяются в один логический с целью объединения места. То есть берем два диска по 500 Гб, объединяем их в RAID 0 и в системе видим 1 HDD объемом в 1 Тб. Информация распределяется по всем дискам рейда равномерно в виде небольших блоков (страйпов).

    Плюсы – Высокая производительность, простота реализации.

    Минусы – отсутствие отказоустойчивости. При использование этого рейда надежность системы понижается в два раза (если используем два диска). Ведь при выходе из строя хотя бы одного диска вы теряете все данные.

    RAID 1 (Mirroring & Duplexing)

    Он же mirror. Это когда два или более физических дисков объединяются в один логический диск с целью повышения отказоустойчивости. Информация пишется сразу на оба диска массива и при выходе одного из них информация сохраняется на другом.

    Плюсы – высокая скорость чтения/записи, простота реализации.

    Минусы – высокая избыточность. В случае использования 2-х дисков это 100%.

    RAID 1E

    RAID 1E работает так: три физических диска объединяются в массив, после чего создается логический том. Данные распределяются по дискам, образуя блоки. Порция данных (strip), помеченная ** – это копия предшествующей ей порции *. При этом каждый блок зеркальной копии записывается со сдвигом на один диск

    Наиболее простое в реализации из отказоустойчивых решений – это RAID 1 (mirroring), зеркальное отображение двух дисков. Высокая доступность данных гарантирована наличием двух полных копий. Такая избыточность структуры массива сказывается на его стоимости – ведь полезная емкость вдвое меньше используемой. Поскольку RAID 1 строится на двух HDD – этого явно мало современным, прожорливым до дискового пространства приложениям. В силу таких требований область применения RAID 1 обычно ограничивается служебными томами (OS, SWAP, LOG), для размещения пользовательских данных ими пользуются разве что в малобюджетных решениях.

    RAID 1E – это комбинация распределения информации по дискам (striping) от RAID 0 и зеркалирования – от RAID 1. Одновременно с записью области данных на один накопитель создается их копия на следующем диске массива. Отличие от RAID 1 в том, что количество HDD может быть нечетным (минимум 3). Как и в случае с RAID 1, полезная емкость составляет 50% суммарной емкости дисков массива. Правда, если количество дисков четное, предпочтительней использовать RAID 10, который при той же утилизации емкости состоит из двух (или больше) «зеркал». При физическом отказе одного из дисков RAID 1E контроллер переключает запросы чтения и записи на оставшиеся диски массива.

    Преимущества:

    • высокая защищенность данных;
    • неплохая производительность.

    Недостатки:

    • как и в RAID 1, используется лишь 50% емкости дисков массива.

    RAID 2

    В массивах такого типа диски делятся на две группы - для данных и для кодов коррекции ошибок, причем если данные хранятся на дисках, то для хранения кодов коррекции необходимо дисков. Данные записываются на соответствующие диски так же, как и в RAID 0, они разбиваются на небольшие блоки по числу дисков, предназначенных для хранения информации. Оставшиеся диски хранят коды коррекции ошибок, по которым в случае выхода какого-либо жёсткого диска из строя возможно восстановление информации. Метод Хемминга давно применяется в памяти типа ECC и позволяет на лету исправлять однократные и обнаруживать двукратные ошибки.

    Недостаток массива RAID 2 в том, что для его функционирования нужна структура из почти двойного количества дисков, поэтому такой вид массива не получил распространения.

    RAID 3

    В массиве RAID 3 из дисков данные разбиваются на куски размером меньше сектора (разбиваются на байты) или блока и распределяются по дискам. Ещё один диск используется для хранения блоков чётности. В RAID 2 для этой цели применялся диск, но большая часть информации на контрольных дисках использовалась для коррекции ошибок на лету, в то время как большинство пользователей удовлетворяет простое восстановление информации в случае поломки диска, для чего хватает информации, умещающейся на одном выделенном жёстком диске.

    Отличия RAID 3 от RAID 2: невозможность коррекции ошибок на лету и меньшая избыточность.

    Достоинства:

    • высокая скорость чтения и записи данных;
    • минимальное количество дисков для создания массива равно трём.

    Недостатки:

    • массив этого типа хорош только для однозадачной работы с большими файлами, так как время доступа к отдельному сектору, разбитому по дискам, равно максимальному из интервалов доступа к секторам каждого из дисков. Для блоков малого размера время доступа намного больше времени чтения.
    • большая нагрузка на контрольный диск, и, как следствие, его надёжность сильно падает по сравнению с дисками, хранящими данные.

    RAID 4

    RAID 4 похож на RAID 3, но отличается от него тем, что данные разбиваются на блоки, а не на байты. Таким образом, удалось отчасти «победить» проблему низкой скорости передачи данных небольшого объёма. Запись же производится медленно из-за того, что чётность для блока генерируется при записи и записывается на единственный диск. Из систем хранения широкого распространения RAID-4 применяется на устройствах хранения компании NetApp (NetApp FAS), где его недостатки успешно устранены за счет работы дисков в специальном режиме групповой записи, определяемом используемой на устройствах внутренней файловой системой WAFL.

    RAID 5 (Independent Data Disks with Distributed Parity Blocks)

    Самый популярный вид рейд-массива, в целом благодаря экономичности использования носителей данных. Блоки данных и контрольные суммы циклически записываются на все диски массива. При выходе из строя одного из дисков будет заметно снижена производительность, так как придется совершать дополнительные манипуляции для функционирования массива. Сам по себе рейд имеет достаточно хорошую скорость чтения/записи но немного уступает RAID 1. Нужно не менее трех дисков чтобы организовать RAID 5.

    Плюсы – экономичное использование носителей, хорошая скорость чтения/записи. Разница в производительности по сравнению с RAID 1 не так сильно видна как экономия дискового пространства. В случае использования трех HDD избыточность составляет всего 33%.

    Минусы – сложное восстановление данных и реализация.

    RAID 5E

    RAID 5E работает так. Из четырех физических дисков собирается массив, в нем создается логический диск. Распределенный резервный диск – это свободное пространство. Данные распределяются по накопителям, создавая блоки на логическом диске. Контрольные суммы также распределяются по дискам массива и записываются со сдвигом от диска к диску, как и в RAID 5. Резервный HDD остается пустым.

    «Классический» RAID 5 много лет считается стандартом отказоустойчивости дисковых подсистем. В нем применяется распределение данных (striping) по HDD массива, для каждой из порций (stripe), определенной в нем, вычисляются и записываются контрольные суммы (четность, parity). Соответственно, скорость записи снижается из-за постоянного пересчета КС с поступлением новых данных. Для увеличения производительности записи КС распределяются по всем накопителям массива, чередуясь с данными. Под хранение КС расходуется емкость одного носителя, поэтому RAID 5 утилизирует на один диск меньше их общего количества в массиве. RAID 5 требует минимум трех (и максимум 16) НЖМД, его КПД использования дискового пространства находится в диапазоне 67–94% в зависимости от числа дисков. Очевидно, что это больше, чем у RAID 1, утилизирующего 50% доступной емкости.

    Малые накладные расходы для реализации избыточности RAID 5 оборачиваются достаточно сложной реализацией и длительным процессом восстановления данных. Подсчет контрольных сумм и адресов возлагается на аппаратный RAID-контроллер с высокими требованиями к его процессору, логике и кэш-памяти. Производительность массива RAID 5 в его деградированном состоянии крайне низка, а время восстановления измеряется часами. В итоге проблема неполноценности массива усугубляется рисками повторного отказа одного из дисков до того момента, когда RAID будет восстановлен. Это приводит к разрушению тома данных.

    Распространен подход c включением в RAID 5 выделенного диска горячего резерва (hot-spare) – для снижения времени простоя до физической замены сбойного диска. После отказа одного из накопителей исходного массива контроллер включает резервный диск в массив и начинает процесс перестройки RAID. Важно уточнить, что до этого первого отказа резервный накопитель работает на холостом ходу, годами может не участвовать в функционировании массива и не проверяться на ошибки поверхности. Равно как и тот, который позже принесут по гарантийной замене вместо сбойного, вставят в дисковую корзину и назначат резервным. Большим сюрпризом может стать его неработоспособность, причем выяснится это в самый неподходящий момент.

    RAID 5E – это RAID 5 с включенным в массив резервным диском (hot-spare) постоянного использования, емкость которого добавляется поровну к каждому элементу массива. Для RAID 5E требуется минимум четыре HDD. Как и у RAID 5, данные и контрольные суммы распределяются по дискам массива. Утилизация полезной емкости у RAID 5E несколько ниже, зато производительность выше, чем у RAID 5 c hot-spare.

    Емкость логического тома RAID 5E меньше общей емкости на объем двух носителей (емкость одного уходит под контрольные суммы, второго – под hot-spare). Зато чтение и запись на четыре физических устройства RAID 5E быстрее операций с тремя физическими накопителями RAID 5 с классическим hot-spare (в то время как четвертый, hot-spare, участия в работе не принимает). Резервный диск в RAID 5E – полноправный постоянный член массива. Его невозможно назначить резервным двум разным массивам («слугой двух господ» – как это допускается в RAID 5).

    При отказе одного из физических дисков данные со сбойного накопителя восстанавливаются. Массив подвергается сжатию, и распределенный резервный диск становится частью массива. Логический диск остается уровня RAID 5E. После замены сбойного диска на новый данные логического диска разворачиваются в исходное состояние схемы распределения по HDD. При использовании логического диска RAID 5E в отказоустойчивых кластерных схемах он не будет выполнять свои функции во время компрессии-декомпрессии данных.

    Преимущества:

    • высокая защищенность данных;
    • утилизация полезной емкости выше, чем у RAID 1 или RAID 1E;
    • производительность выше, чем у RAID 5.

    Недостатки:

    • производительность ниже, чем у RAID 1E;
    • не может делить резервный диск с другими массивами.

    RAID 5EE

    Примечание: поддерживается не во всех контроллерах RAID level-5EE подобен массиву RAID-5E, но с более эффективным использованием резервного диска и более коротким временем восстановления. Подобно RAID level-5E, этот уровень RAID-массива создает ряды данных и контрольных сумм во всех дисках массива. Массив RAID-5EE обладает улучшенной защитой и производительностью. При применении RAID level-5E, емкость логического тома ограничивается емкостью двух физических винчестеров массива (один для контроля, один резервный). Резервный диск является частью массива RAID level-5EE. Тем не менее, в отличие от RAID level-5E, использующего неразделенное свободное место для резерва, в RAID level-5EE в резервный диск вставлены блоки контрольных сумм, как показывается далее на примере. Это позволяет быстрее перестраивать данные при поломке физического диска. При такой конфигурации, вы не сможете использовать его с другими массивами. Если вам необходим запасной диск для другого массива, вам следует иметь еще один резервный винчестер. RAID level-5E требует как минимум четырех дисков и, в зависимости от уровня прошивки и их емкости, поддерживает от 8 до 16 дисков. RAID level-5E обладает определенной прошивкой. Примечание: для RAID level-5EЕ, вы можете использовать только один логический том в массиве.

    Достоинства:

    • 100% защита данных
    • Большая емкость физических дисков по сравнению с RAID-1 или RAID -1E
    • Большая производительность по сравнению с RAID-5
    • Более быстрое восстановление RAID по сравнению с RAID-5Е

    Недостатки:

    • Более низкая производительность, чем в RAID-1 или RAID-1E
    • Поддержка только одного логического тома на массив
    • Невозможность совместного использования резервного диска с другими массивами
    • Поддержка не всех контроллеров

    RAID 6

    RAID 6 - похож на RAID 5, но имеет более высокую степень надёжности - под контрольные суммы выделяется ёмкость 2-х дисков, рассчитываются 2 суммы по разным алгоритмам. Требует более мощный RAID-контроллер. Обеспечивает работоспособность после одновременного выхода из строя двух дисков - защита от кратного отказа. Для организации массива требуется минимум 4 диска. Обычно использование RAID-6 вызывает примерно 10-15% падение производительности дисковой группы, по сравнению с аналогичными показателями RAID-5, что вызвано большим объёмом обработки для контроллера (необходимость рассчитывать вторую контрольную сумму, а также прочитывать и перезаписывать больше дисковых блоков при записи каждого блока).

    RAID 7

    RAID 7 — зарегистрированная торговая марка компании Storage Computer Corporation, отдельным уровнем RAID не является. Структура массива такова: на дисках хранятся данные, один диск используется для складирования блоков чётности. Запись на диски кешируется с использованием оперативной памяти, сам массив требует обязательного ИБП; в случае перебоев с питанием происходит повреждение данных.

    RAID 10 или RAID 1+0 (Very High Reliability with High Performance)

    Сочетание зеркального рейда и рейда с чередованием дисков. В работе этого вида рейда диски объединяются парами в зеркальные рейды (RAID 1) а затем все эти зеркальные пары объединяются в массив с чередованием (RAID 0). В рейд можно объединить только четное количество дисков, минимум – 4, максимум – 16. От RAID 1 мы наследуем надежность, от RAID 0 — скорость.

    Плюсы – высокая отказоустойчивость и производительность

    Минусы – высокая стоимость

    RAID 50 или RAID 5+0 (High I/O Rates & Data Transfer Performance)

    Он же RAID 50, это сочетание RAID 5 и RAID 0. Массив объединяет в себе высокую производительность и отказоустойчивость.

    Плюсы – высокая отказоустойчивость, скорость передачи данных и выполнение запросов

    Минусы – высокая стоимость

    RAID 60

    RAID-массив уровня 60 объединены характеристики из уровней 6 и 0. RAID 60 массива объединяет прямой уровне блоков чередование RAID 0 с распределенной дважды паритет в RAID 6, а именно: массива RAID 0 распределяются среди RAID 6 элементов. RAID 60 виртуальный диск может выжить о потере двух жестких дисков в каждом из RAID 6 устанавливает без потери данных. Она является наиболее эффективной с данными, нужна высокая надежность, высокая запрос курсы, высокие передачу данных, и средних и крупных емкости. Минимальное количество дисков-8.

    Линейный RAID

    Линейный RAID представляет собой простое объединение дисков, создающее большой виртуальный диск. В линейном RAID, блоки выделяются сначала на одном диске, включенном в массив, затем, если этот заполнен, на другом и т.д. Такое объединение не даёт выигрыша в производительности, так как скорее всего операции ввода/вывода не будут распределены между дисками. Линейный RAID также не содержит избыточности и, в действительности, увеличивает вероятность сбоя - если всего одни диск откажет, весь массив выйдет из строя. Ёмкость массива равняется суммарной ёмкости всех дисков.

    Главный вывод, который можно сделать – у каждого уровня рейда есть свои плюсы и минусы.

    Еще главнее вывод – рейд не гарантирует целостности ваших данных. То есть если кто-то удалит файл или он будет поврежден, каким либо процессом, рейд нам не поможет. Поэтому рейд не освобождает нас от необходимости делать бекапы. Но помогает, когда возникают проблемы с дисками на физическом уровне.



    Рекомендуем почитать

    Наверх