RAID 1+1: как устроен массив с двойным зеркалированием и как его собрать

Что такое RAID 1+1 и чем он отличается от RAID 1

RAID 1+1, или RAID 11, — это вложенный (nested) массив: две зеркальные пары дисков объединяют ещё одним уровнем зеркалирования. Для сравнения, обычный RAID 1 — это одна пара из 2 дисков, где второй диск полностью копирует первый. В RAID 1+1 копирование происходит дважды: сначала внутри каждой пары, затем между парами, поэтому данные хранятся в 4 экземплярах.

Такая схема требует минимум 4 накопителя одинакового объёма, например по 512 ГБ каждый, тогда как RAID 1 обходится 2 дисками. Полезный объём массива при этом вдвое меньше — 25% от суммарной ёмкости дисков, ведь каждый блок записан на все 4 накопителя. Взамен вы получаете запас прочности: данные сохраняются, пока работает хотя бы один диск, то есть массив переживает отказ любых 3 дисков.

Коротко о главных отличиях RAID 1+1 от обычного RAID 1:

• Минимум 4 диска против 2 в RAID 1
• Данные копируются на двух уровнях — двойное зеркалирование
• Полезный объём — 25% от суммарной ёмкости
• Допустим отказ любых 3 дисков из 4

Из-за высокой стоимости хранения RAID 1+1 применяют там, где простой недопустим: для баз данных с постоянной нагрузкой на запись и для файловых серверов с повышенными требованиями к отказоустойчивости. Если вам нужен такой уровень защиты данных, ищите выделенный сервер с нужным числом дисков.

Как работает RAID 1+1: два уровня зеркалирования

RAID (Redundant Array of Independent Disks, массив независимых дисков с избыточностью) 1+1 собирается из трёх слоёв. На нижнем уровне создаются два зеркала: /dev/md0 из дисков sda и sdb и /dev/md1 из sdc и sdd. На верхнем уровне массив /dev/md2 зеркалирует md0 и md1 между собой. Получается 4 диска и 2 независимых слоя защиты. Если в каждой паре откажет по одному диску, массив продолжит работать.

В Linux такую схему собирают программно утилитой mdadm (multiple disk administration, управление несколькими дисками). Отдельный аппаратный контроллер не нужен: ядро видит каждый md-массив как обычное блочное устройство, и его можно вложить в следующий массив. Если вы только осваиваете систему, разберитесь с основами Linux, прежде чем работать с дисками.

RAID 10 устроен иначе. В нём верхний слой не зеркалирует пары, а распределяет данные между ними блоками, по умолчанию по 512 КБ (страйпинг). RAID 10 быстрее, но блок данных хранится только в одной паре. В RAID 1+1 каждая пара содержит полную копию данных.

Как массив обрабатывает чтение и запись:

• При записи блок уходит в md2, тот передаёт его в md0 и md1, а они записывают его на оба своих диска. Итого одна и та же запись попадает на 4 диска.
• Скорость записи ограничена самым медленным диском: массив ждёт подтверждения от всех накопителей.
• При чтении mdadm берёт данные с наименее загруженного диска, поэтому скорость чтения бывает выше, чем у одиночного накопителя.
• Если диск выходит из строя, его пара продолжает отдавать данные, а md2 работает без изменений.
• Состояние всех трёх уровней видно в файле /proc/mdstat.

Как настроить RAID 1+1 на сервере: пошаговая инструкция

Сборка массива через mdadm в Linux состоит из 7 шагов и занимает около 15 минут. Для массива нужно минимум 4 накопителя одинакового объёма, например по 512 ГБ каждый, иначе mdadm обрежет размер до меньшего диска. Все команды выполняются от имени root на чистых дисках без важных данных.

Сначала создаются две независимые зеркальные пары второго уровня, затем из них собирается верхний зеркальный уровень. После сборки массив нужно закрепить в конфигурации, чтобы он поднимался автоматически при перезагрузке сервера. Если пока не определились с железом под такую схему, сверьтесь с критериями выбора провайдера и тарифа.

Как собрать RAID 1+1 через mdadm по шагам:

1. Установите пакет mdadm: apt install mdadm для Debian/Ubuntu или yum install mdadm для CentOS.
2. Определите диски командой lsblk — должны быть видны 4 накопителя, например /dev/sdb, /dev/sdc, /dev/sdd, /dev/sde по 512 ГБ.
3. Создайте первую зеркальную пару: mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdb /dev/sdc.
4. Создайте вторую зеркальную пару: mdadm --create /dev/md1 --level=1 --raid-devices=2 /dev/sdd /dev/sde.
5. Соберите верхний уровень зеркалирования из двух пар: mdadm --create /dev/md2 --level=1 --raid-devices=2 /dev/md0 /dev/md1.
6. Отформатируйте итоговый массив в файловую систему ext4: mkfs.ext4 /dev/md2.
7. Смонтируйте раздел: mkdir /mnt/raid11 && mount /dev/md2 /mnt/raid11.
8. Добавьте запись в /etc/fstab для автомонтирования: /dev/md2 /mnt/raid11 ext4 defaults 0 0, а конфигурацию массива сохраните командой mdadm --detail --scan >> /etc/mdadm/mdadm.conf.
9. Проверьте состояние сборки через cat /proc/mdstat — обе пары и верхний уровень должны иметь статус [UU].

Полезный объём массива составит 25% от суммарной ёмкости 4 дисков — объём одного накопителя, то есть 512 ГБ. Если один диск выйдет из строя, пересборка (rebuild) в mdadm запустится автоматически и займёт 20–40 минут на диск объёмом 1 ТБ.

Сколько дисков и сколько стоит RAID 1+1

RAID 1+1 (RAID 11) требует минимум 4 диска — две зеркальные пары, объединённые третьим уровнем зеркалирования. Полезный объём массива при этом составляет 25% от суммарной ёмкости дисков — вдвое меньше, чем у обычного RAID 1. Из-за такой избыточности массив с 4 дисками по 512 ГБ даёт всего 512 ГБ полезного пространства, хотя куплено 2 ТБ сырой ёмкости.

Разница с обычным RAID 1 в цене и отказоустойчивости. Простое зеркало из 2 дисков переживает отказ только 1 накопителя, а RAID 11 из 4 дисков выдерживает потерю любых 3 дисков: данные остаются на последнем исправном накопителе. Аренда сервера с 4 дисками вместо 2 обычно обходится в 1,5–2 раза дороже, потому что тарифицируется каждый физический накопитель.

Ниже — сравнение RAID 1, RAID 10 и RAID 1+1 по числу дисков, полезному объёму и отказоустойчивости на одинаковых накопителях.

В отличие от RAID 10, RAID 1+1 использует только зеркалирование без страйпинга — это 2 независимых слоя защиты, а не прирост скорости. Для проекта, где важна именно отказоустойчивость, а не производительность, это честная плата за 4 диска вместо 2. Подобрать сервер с нужным числом дисков и объёмом накопителей можно в подборке аренды выделенных серверов.

Ошибки при настройке RAID 1+1

Большинство сбоев RAID 1+1 (RAID 11) на серверах с mdadm появляются ещё при сборке, а замечают их через несколько месяцев, когда откажет диск. Чаще всего подводят отсутствие мониторинга и необновлённый /etc/mdadm/mdadm.conf — ниже разберём каждую ошибку по отдельности.

Первая ошибка: не настроен мониторинг

Без mdadm --monitor вы не узнаете, что массив потерял диск. Пересборка диска на 1 ТБ занимает 20–40 минут, и всё это время пара работает без резерва, а без мониторинга о сбое можно узнать, например, через 7 дней — и всю неделю данные будут без защиты.

Как решить: укажите почту в строке MAILADDR файла конфигурации и запустите mdadm --monitor --scan --daemonise.

Вторая ошибка: диски разного объёма или модели в паре

Зеркало получает объём меньшего диска: пара из дисков на 512 ГБ и 480 ГБ даст 480 ГБ. Если модели разные, более медленный диск тормозит всю пару.

Третья ошибка: не обновлён mdadm.conf

Без записи в конфиг после перезагрузки массив может получить имя /dev/md127 или вообще не собраться. Выполните mdadm --detail --scan >> /etc/mdadm/mdadm.conf, затем update-initramfs -u.

Четвёртая ошибка: оба диска пары на одном контроллере

Если контроллер сломается, пара потеряет оба диска сразу. Подключите диски одной пары к разным контроллерам или HBA (Host Bus Adapter, адаптер хост-шины).

Пятая ошибка: не проверен SMART

SMART (Self-Monitoring, Analysis and Reporting Technology) — встроенная самодиагностика диска. Запустите smartctl -a /dev/sda и посмотрите атрибут Reallocated_Sector_Ct: если значение больше 0, замените диск до сборки.

Массив переживает отказ даже 3 дисков, но только если пары собраны правильно и о сбое вы узнаёте сразу. Поэтому проверьте каждый пункт до того, как записывать на массив рабочие данные.

RAID 1+1 против RAID 10 и RAID 5: что выбрать

Главное отличие схем — сколько отказов дисков массив выдерживает. RAID 1+1 переживает отказ любых 2 и даже 3 дисков: пока жив хотя бы один накопитель, данные не теряются. RAID 10 (зеркалирование плюс страйпинг, то есть разбиение данных на блоки по дискам) тоже может пережить 2 отказа, но не всегда: если откажут оба диска одной пары, массив погибнет. RAID 5 (страйпинг с контрольной суммой) выдерживает отказ только 1 диска. Пока идёт пересборка, второй сбой уничтожит все данные.

По скорости выигрывает RAID 10: страйпинг распределяет запись по дискам, и на 4 дисках она примерно вдвое быстрее, чем на одном. RAID 1+1 читает быстро, потому что данные можно брать с любой копии. Запись же идёт не быстрее одного диска: каждый блок пишется на все зеркала. RAID 5 при записи считает контрольную сумму, поэтому на базах данных и виртуальных машинах работает заметно медленнее.

Если коротко, выбор сводится к четырём вариантам — сопоставьте их со своей задачей:

• RAID 1+1 — выбирайте, если на сервере лежат критичные данные и отдельной реплики нет.
• RAID 10 — берите для баз данных и ВМ, когда важна скорость записи.
• RAID 5 — подходит для архивов и файловых хранилищ, где нужен объём, а запись идёт редко.
• RAID 1 + репликация ВМ — оптимален, если у вас 2 и более узла гипервизора.

По объёму RAID 1+1 проигрывает: полезно только 25% ёмкости. Из 4 дисков по 1 ТБ вы получите 1 ТБ, а RAID 10 из тех же дисков — 2 ТБ. RAID 5 из 5 таких же дисков даст 4 ТБ, то есть 80%. Если данные уже реплицируются на другой сервер, 1+1 избыточен. В этом случае дешевле собрать RAID 1 или RAID 10 и настроить гипервизор с репликацией виртуальных машин. Как это устроено, читайте в статье о том, как работает VMware.

Когда RAID 1+1 не подходит

RAID 1+1 (RAID 11) забирает три четверти ёмкости дисков под избыточность и требует минимум 4 накопителя вместо 2, как в обычном RAID 1. Сложность оправдана только при постоянной нагрузке на запись, когда простой из-за отказа диска стоит дороже 2 лишних накопителей, а в четырёх случаях RAID 1+1 не нужен:

• Небольшие сайты и магазины Для блога, лендинга или небольшого интернет-магазина с малым трафиком и записью в базу хватит RAID 1: два диска по 512 ГБ в простом зеркале решают задачу отказоустойчивости не хуже. Если сайт обновляется редко, а нагрузка в основном на чтение, второй уровень зеркалирования не даёт заметного выигрыша в надёжности.
• Ограниченный бюджет 4 одинаковых накопителя стоят заметно дороже пары, а сервер с простым зеркалом обходится дешевле.
• Нет отдельного администратора Дополнительный уровень зеркалирования усложняет мониторинг и восстановление: при сборке через mdadm приходится следить за состоянием сразу двух пар дисков, а не одной.
• Провайдер предлагает репликацию дисков Проще взять облачный диск с репликацией на стороне провайдера — резервирование уже встроено в тариф, и не нужно вручную настраивать mdadm и ждать 20–40 минут на пересборку каждого диска объёмом 1 ТБ.

Если хотя бы два пункта совпадают с вашим проектом, откажитесь от RAID 1+1 в пользу более простой схемы. Присмотреть сервер с готовым RAID 1 или репликацией на уровне провайдера можно в рейтинге VPS.