RAID-массивы на NVMe

В данной статье мы расскажем про разные способы организации RAID-массивов, а также покажем один из первых аппаратных RAID-контроллеров с поддержкой NVMe.
Все разнообразие применений технологии RAID встречается в серверном сегменте. В клиентском сегменте чаще всего используется исключительно программный RAID0 или RAID1 на два диска.
В этой статье будет краткий обзор технологии RAID, небольшая инструкция по созданию RAID-массивов с помощью трех разных инструментов и сравнение производительности виртуальных дисков при использовании каждого из способов.
Что такое RAID?
Википедия дает исчерпывающее определение технологии RAID:
RAID (англ. Redundant Array of Independent Disks — избыточный массив независимых (самостоятельных) дисков) — технология виртуализации данных для объединения нескольких физических дисковых устройств в логический модуль для повышения отказоустойчивости и производительности.
Конфигурация дисковых массивов и используемые при этом технологии зависят от выбранного уровня RAID (RAID level). Уровни RAID стандартизированы в спецификации Common RAID Disk Data Format. Она описывает множество уровней RAID, однако самыми распространенными принято считать RAID0, RAID1, RAID5 и RAID6.
RAID0, или Stripes, — это уровень RAID, который объединяет два или более физических диска в один логический. Объем логического диска при этом равен сумме объемов физических дисков, входящих в массив. На этом уровне RAID отсутствует избыточность, а выход из строя одного диска может привести к потере всех данных в виртуальном диске.
Уровень RAID1, или Mirror, создает идентичные копии данных на двух и более дисках. Объем виртуального диска при этом не превышает объема минимального из физических дисков. Данные на виртуальном диске RAID1 будут доступны, пока хотя бы один физический диск из массива работает. Использование RAID1 добавляет избыточности, но является достаточно дорогим решением, так как в массивах из двух и более дисков доступен объем только одного.
Уровень RAID5 решает проблему дороговизны. Для создания массива с уровнем RAID5 необходимо как минимум 3 диска, при этом массив устойчив к выходу из строя одного диска. Данные в RAID5 хранятся блоками с контрольными суммами. Нет строгого деления на диски с данными и диски с контрольными суммами. Контрольные суммы в RAID5 — это результат операции XOR, примененной к N-1 блокам, каждый из которых взят со своего диска.
Хотя RAID-массивы повышают избыточность и предоставляют резервирование, они не подходят для хранения резервных копий.
После краткого экскурса по видам RAID-массивов можно переходить к устройствам и программам, которые позволяют собирать и использовать дисковые массивы.
Виды RAID-контроллеров
Существует два способа создать и использовать RAID-массивы: аппаратный и программный. Мы рассмотрим следующие решения:
- Linux Software RAID.
- Intel® Virtual RAID On CPU.
- LSI MegaRAID 9460-8i.
Linux Software RAID
Программные RAID-массивы в семействе ОС Linux — достаточно распространенное решение как в клиентском сегменте, так и в серверном. Все, что нужно для создания массива, — утилита mdadm и несколько блочных устройств. Единственное требование, которое предъявляет Linux Software RAID к используемым накопителям, — быть блочным устройством, доступным системе.
Отсутствие затрат на оборудование и программное обеспечение — очевидное преимущество данного способа. Linux Software RAID организует дисковые массивы ценой процессорного времени. Список поддерживаемых уровней RAID и состояние текущих дисковых массивов можно посмотреть в файле mdstat, который находится в корне procfs:
root@grindelwald:~# cat /proc/mdstat Personalities : [linear] [multipath] [raid0] [raid1] [raid10] unused devices:
Поддержка уровней RAID добавляется подключением соответствующего модуля ядра, например:
root@grindelwald:~# modprobe raid456 root@grindelwald:~# cat /proc/mdstat Personalities : [linear] [multipath] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] unused devices:
Все операции с дисковыми массивами производятся через утилиту командной строки mdadm. Сборка дискового массива производится в одну команду:
mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/nvme1n1 /dev/nvme2n1
После выполнения этой команды в системе появится блочное устройство /dev/md0, которое представляет из тебя виртуальный диск.
Intel® Virtual RAID On CPU

Intel® VROC Standard Hardware Key
Intel® Virtual RAID On CPU (VROC) — это программно-аппаратная технология для создания RAID-массивов на базе чипсетов Intel®. Данная технология доступна в основном для материнских плат с поддержкой процессоров Intel® Xeon® Scalable. По умолчанию VROC недоступен. Для его активации необходимо установить аппаратный лицензионный ключ VROC.
Стандартная лицензия VROC позволяет создавать дисковые массивы с 0, 1 и 10 уровнями RAID. Премиальная версия расширяет этот список поддержкой RAID5.
Технология Intel® VROC в современных материнских платах работает совместно с Intel® Volume Management Device (VMD), которая обеспечивает возможность горячей замены для накопителей с интерфейсом NVMe.

Intel® VROC со стандартной лицензией Настройка массивов производится через Setup Utility при загрузке сервера. На вкладке Advanced появляется пункт Intel® Virtual RAID on CPU, в котором можно настроить дисковые массивы.

Создание массива RAID1 на двух накопителях
Технология Intel® VROC имеет свои «козыри в рукаве». Дисковые массивы, собранные с помощью VROC, совместимы с Linux Software RAID. Это означает, что состояние массивов можно отслеживать в /proc/mdstat, а администрировать — через mdadm. Эта «особенность» официально поддерживается Intel. После сборки RAID1 в Setup Utility можно наблюдать синхронизацию накопителей в ОС:
root@grindelwald:~# cat /proc/mdstat Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] md126 : active raid1 nvme2n1[1] nvme1n1[0] 1855832064 blocks super external:/md127/0 [2/2] [UU] [>. ] resync = 1.3% (24207232/1855832064) finish=148.2min speed=205933K/sec md127 : inactive nvme1n1[1](S) nvme2n1[0](S) 10402 blocks super external:imsm unused devices:
Отметим, что через mdadm нельзя собирать массивы на VROC (собранные массивы будут Linux SW RAID), но можно менять в них диски и разбирать массивы.
LSI MegaRAID 9460-8i

Внешний вид контроллера LSI MegaRAID 9460-8i
RAID-контроллер является самостоятельным аппаратным решением. Контроллер работает только с накопителями, подключенными непосредственно к нему. Данный RAID-контроллер поддерживает до 24 накопителей с интерфейсом NVMe. Именно поддержка NVMe выделяет этот контроллер из множества других.

Главное меню аппаратного контроллера
При использовании режима UEFI настройки контроллера интегрируются в Setup Utility. В сравнении с VROC меню аппаратного контроллера выглядит значительно сложнее.

Создание RAID1 на двух дисках
Объяснение настройки дисковых массивов на аппаратном контроллере является достаточно тонкой темой и может стать поводом для полноценной статьи. Здесь же мы просто ограничимся созданием RAID0 и RAID1 с настройками по умолчанию.
Диски, подключенные в аппаратный контроллер, не видны операционной системе. Вместо этого контроллер «маскирует» все RAID-массивы под SAS-накопители. Накопители, подключенные в контроллер, но не входящие в состав дискового массива, не будут доступны ОС.
root@grindelwald:~# smartctl -i /dev/sda smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.4.0-48-generic] (local build) Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org === START OF INFORMATION SECTION === Vendor: AVAGO Product: MR9460-8i Revision: 5.14 Compliance: SPC-3 User Capacity: 1,999,844,147,200 bytes [1.99 TB] Logical block size: 512 bytes Rotation Rate: Solid State Device Logical Unit id: 0x000000000000000000000000000000 Serial number: 00000000000000000000000000000000 Device type: disk Local Time is: Sun Oct 11 16:27:59 2020 MSK SMART support is: Unavailable - device lacks SMART capability.
Несмотря на маскировку под SAS-накопители, массивы с NVMe будут работать на скорости PCIe. Однако такая особенность позволяет загружаться с NVMe в Legacy.
Тестовый стенд
Каждый из способов организации дисковых массивов имеет свои физические плюсы и минусы. Но есть ли разница в производительности при работе с дисковыми массивами?
Для достижения максимальной справедливости все тесты будут проведены на одном и том же сервере. Его конфигурация:
- 2x Intel® Xeon® 6240;
- 12x DDR4-2666 16 GB;
- LSI MegaRAID 9460-8i;
- Intel® VROC Standard Hardware Key;
- 4x Intel® SSD DC P4510 U.2 2TB;
- 1x Samsung 970 EVO Plus M.2 500GB.
Тестирование
В первую очередь проверим задержки при работе с диском. Тест выполняется в один поток, размер блока 4 КБ. Каждый тест длится 5 минут. Перед началом для соответствующего блочного устройства выставляется none в качестве планировщика I/O. Команда fio выглядит следующим образом:
fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio --iodepth=1 --loops=1000 --runtime=300 --rw= --filename=
Из результатов fio мы берем clat 99.00%. Результаты приведены в таблице ниже.
| Случайное чтение, мкс | Случайная запись, мкс | |
|---|---|---|
| Диск | 112 | 78 |
| Linux SW RAID, RAID0 | 113 | 45 |
| VROC, RAID0 | 112 | 46 |
| LSI, RAID0 | 122 | 63 |
| Linux SW RAID, RAID1 | 113 | 48 |
| VROC, RAID1 | 113 | 45 |
| LSI, RAID1 | 128 | 89 |
Помимо задержек при обращении к данным, хочется увидеть производительность виртуальных накопителей и сравнить с производительностью физического диска. Команда для запуска fio:
fio --name=test --blocksize=4k --direct=1 --buffered=0 --ioengine=libaio --loops=1000 --runtime=300 --iodepth= --rw= --filename=
Производительность измеряется в количестве операций ввода-вывода. Результаты представлены в таблице ниже.
| Случайное чтение 1 поток, IOPS | Случайная запись 1 поток, IOPS | Случайное чтение 128 потоков, IOPS | Случайная запись 128 потоков, IOPS | |
|---|---|---|---|---|
| Диск | 11300 | 40700 | 453000 | 105000 |
| Linux SW RAID, RAID0 | 11200 | 52000 | 429000 | 232000 |
| VROC, RAID0 | 11200 | 52300 | 441000 | 162000 |
| LSI, RAID0 | 10900 | 44200 | 311000 | 160000 |
| Linux SW RAID, RAID1 | 10000 | 48600 | 395000 | 147000 |
| VROC, RAID1 | 10000 | 54400 | 378000 | 244000 |
| LSI, RAID1 | 11000 | 34300 | 229000 | 248000 |
Легко заметить, что использование аппаратного контроллера дает увеличение задержек и просадку по производительности в сравнении с программными решениями.
Заключение
Использование аппаратных решений для создания дисковых массивов из двух дисков выглядит нерационально. Тем не менее, существуют задачи, где использование RAID-контроллеров оправдано. С появлением контроллеров с поддержкой интерфейса NVMe у пользователей появляется возможность использовать более быстрые SSD в своих проектах.
Режим RAID в биосе — что это такое?

Приветствую друзья! Сегодня в этой заметке я постараюсь простыми словами рассказать о режиме RAID, который вы можете встретить в биосе.
Режим RAID — что это значит?
Режим RAID — нужен для обеспечения работы RAID-массива, когда несколько жестких дисков будут работать как один.
Вообще это пункт, который можно заметить в настройках SATA. Там еще может быть пункт AHCI — это режим, при котором будут использоваться все преимущества SATA-интерфейса (очередь команд, горячее подключение, немного выше скорость).
Опция в BIOS может называться например SATA Mode Selection:

Другими словами — режим RAID просто так выбирать не нужно, так как он используется только при создании массивов. Сам массив может быть создан в основном для двух задач — повышение надежности либо повышение скорости.
Как работает RAID-массив?
Есть несколько видов массивов. Не буду рассказывать о каждом, расскажу только основное.
Когда массив создается для скорости — используются два жестких диска или больше. Весь их обьем суммируется. На выходе мы получаем один раздел/диск, который как вы уже понимаете состоит из нескольких физических дисков. Кроме обьема суммируется и скорость чтения/записи. Данные одновременно записываются на несколько дисков (часть данных на один диск часть на другой), считываются разумеется также. Если хотя бы один диск выйдет из строя — данные станут недоступны на всех дисках.
То есть при массиве, созданном для скорости — данные по частям записываются одновременно сразу на разные диски. Так быстрее. И опаснее, потому что если хотя бы один поломается — то все, данные утеряны.
Чтобы создать массив нужно два диска или более, но важно чтобы это были одинаковые диски (в плане модели).
Когда массив создается для надежности — тоже используется два диска или более. Но данные при этом записываются параллельно на два диска или более. То есть одни и те же данные записываются сразу на несколько дисков, полностью копируя друг друга. Соответственно если один из дисков выйдет из строя — ничего страшного не произойдет, потому что точно такие же данные есть и на втором диске. Такой массив называется зеркальным.
Еще раз, зеркальный массив — это когда данные записываются параллельно сразу на два диска или более. То есть можно сказать что это бэкап в реальном времени.
Есть и другие варианты RAID-массивов, уже комбинированные на скорость и на надежность. Но в целом все это используется часто не дома, а в серверах. А дома, чтобы было быстро и надежно — лучше купить качественный SSD диск. Кстати SSD тоже поддерживают RAID-массивы.
Для создания RAID-массив часто используются такие устройства:

В старых образцах BIOS опция может называться SATA Operation Mode:

Заключение
- Режим RAID в биосе — режим для обеспечения работы RAID-массива.
- Просто так данный режим включать не стоит, так как может просто выйти из строя текущая Windows.
- Для работы RAID массивов нужно два диска или более.
[Материнская плата] Как создать RAID в настройках BIOS
Отсканируйте QR-код, чтобы открыть эту страницу на вашем смартфоне.
[Материнская плата] Как создать RAID в настройках BIOS RAID:Резервные массивы независимых дисков RAID определение RAID 0 : (Чередование данных) оптимизирует два идентичных жестких диска для чтения и записи данных в параллельных стеках с чередованием. RAID 1 : (Зеркальное отображение данных) копирует и поддерживает идентичный образ данных с одного диска на второй. RAID 5 : разделяет данные и информацию о четности на трех или более жестких дисках. RAID 10 объединение чередования данных и зеркального отображения данных без необходимости вычислять и записывать данные о четности (данные избыточности).
| RAID уровень | Мин.дисков | Безопасность | Плюсы | Минусы |
|---|---|---|---|---|
| 0 | 2 | Низкая | Высокоскоростной | Нет зеркалирования данных |
| 1 | 2 | Высокая | Высокая безопасность | Низкое использование дисковой емкости |
| 5 | 3 | Средняя | Высокоскоростной | Медленная запись на один диск |
| 10 | 4 | Высокая | Чередование данных Зеркальное отображение данных | Нужно больше диска |
※ Примечание: Будьте осторожны при создании или удалении набора RAID. Вы потеряете все данные на жестких дисках при удалении набора RAID. Следуйте инструкциям ниже, чтобы создать RAID в настройках BIOS : Материнская плата Intel создает RAID Материнская плата AMD создает RAID Материнская плата Intel создаем RAID (PRIME Z490M-PLUS в качестве примера)
1. Включите систему и нажмите кнопку «Del», чтобы войти в BIOS [EZ Mode] , проверьте подключенный диск в разделе «Информация о хранилище».
2. Нажмите клавишу F7 и войдите в [Расширенный режим], как показано на рисунке ниже.
(Если нажать клавишу «Удалить», войдите в [Расширенный режим] напрямую, и тогда не нужно нажимать клавишу F7) 3. Щелкните элемент [Конфигурация хранилища PCH] на странице «Дополнительно».
4. [Выбор режима SATA] и установите его на [Intel RST Premium с Intel Optane System Acceleration (RAID)] ,, как показано на рисунке ниже, красный значок 1 Если вы создаете только SATA RAID, просто следуйте следующей настройке Если вы хотите создать M.2 Storage RAID для [Включено] ,, как показано на рисунке ниже, отметьте красный 2 Как показано ниже, нажмите [M.2_1 PCIE Storage RAID Support] и установите [RST Controlled]. Щелкните [M.2_2 PCIE Storage RAID Support] и установите значение [RST Controlled].
5. Щелкните страницу [Boot] и установите для элемента [Launch CSM] значение [Disabled].
6. Нажмите клавишу F10 и нажмите ОК, после чего система автоматически перезагрузится.
7. Нажмите кнопку «удалить» после перезагрузки системы и войдите в BIOS [EZ Mode].
8. Нажмите клавишу F7 и войдите в [Расширенный режим], как показано на рисунке ниже.
(Если нажать клавишу «Удалить», войдите в [Расширенный режим] напрямую, и тогда не нужно нажимать клавишу F7) 9. Щелкните страницу [Advanced] и щелкните элемент [Intel (R) Rapid Storage Technology].
10. Щелкните элемент [Создать том RAID].
11. Задайте имя RAID, например: SATAHDDRAID0, как показано на рисунке ниже, отмечено красным 1 Выберите уровень RAID, например: RAID0 (Stripe), как показано ниже, отмечено красным 2 Выберите диски, которые вы хотите создать, и установите их на [X], как показано на рисунке ниже, отмечено красным 3
12. Установите емкость RAID и нажмите [Create Volume], чтобы создать RAID. Ниже указана максимальная емкость RAID. ※Примечание: Будьте осторожны при создании или удалении набора RAID. Вы потеряете все данные на жестких дисках при удалении набора RAID.
Материнская плата AMD создаем RAID (ROG STRIX X570-E GAMING в качестве примера) 1. Включите систему и нажмите клавишу «DEL», чтобы войти в BIOS [Расширенный режим].
(Если вы нажали клавишу «del» и попали в BIOS [EZ Mode], нажмите клавишу F7 еще раз, чтобы войти в BIOS [Advanced Mode]) 2. Щелкните страницу [Advanced] и щелкните элемент [SATA Configuration].
3. Щелкните элемент [SATA Mode] и установите значение [RAID], как показано на рисунке ниже, отмечено красным 1 Если вы создаете только SATA RAID, просто следуйте настройке. Если вы хотите создать M.2 Storage RAID, выставите [Включено], как показано на рисунке ниже, отмечено красным 2
4. Щелкните страницу [Boot] и установите для элемента [Launch CSM] значение [Disabled].
5. Нажмите клавишу F10 и нажмите ОК, после чего система автоматически перезагрузится.
6. Нажмите кнопку «DEL», чтобы войти в [Расширенный режим] BIOS при перезагрузке системы, нажмите страницу [Дополнительно] и выберите пункт [Утилита настройки RAIDXpert2].
7. Щелкните элемент [Array Management].
8. Щелкните элемент [Create Array]
9. Щелкните элемент [Select RAID Level] и установите уровень RAID, ниже установлен [RAID 0] в качестве примера.
10. Щелкните элемент [Выбрать физические диски].
11. Выберите диски, которые вы хотите создать, и установите значение [Вкл.], Щелкните элемент [Применить изменения]. (Выберите Disk0 и Disk3 в качестве примера)
12. Задайте размер массива и щелкните элемент [Создать массив]. Ниже установлен максимальный размер массива ※Примечание : Будьте осторожны при создании или удалении набора RAID. Вы потеряете все данные на жестких дисках при удалении набора RAID.
Q&A: Q: Как установить драйвер RAID-контроллера во время установки ОС Windows® 10? A: Intel : Пожалуйста, следуйте настройкам для установки драйвера RAID-контроллера во время установки ОС Windows® 10 :
1. Загрузите компьютер с установочного диска ОС Windows® 10. Следуйте инструкциям на экране, чтобы начать установку Windows® 10.
2. Когда будет предложено выбрать тип установки, щелкните Выборочная: установка только Windows (дополнительно).
3. Щелкните [Загрузить драйвер].
4. Появится сообщение с напоминанием о необходимости вставить установочный носитель, содержащий драйвер драйвера RAID-контроллера. Нажмите кнопку «Обзор», чтобы продолжить. а. Если в вашей системе установлен только один оптический привод, извлеките установочный диск ОС Windows и замените его на DVD-диск поддержки материнской платы. б. Если у вас нет оптического привода, скопируйте драйвер RAID на USB-накопитель.
5. Найдите драйвер в соответствующей папке на DVD-диске поддержки и нажмите OK, чтобы продолжить.
Материнская плата AMD : Пожалуйста, следуйте настройкам для установки драйвера RAID-контроллера во время установки ОС Windows® 10 :
1. Загрузите компьютер с установочного диска ОС Windows® 10. Следуйте инструкциям на экране, чтобы начать установку Windows® 10.
2. Когда будет предложено выбрать тип установки, нажмите Выборочная: установка только Windows (дополнительно).
3. Щелкните [Загрузить драйвер].
4. Появится сообщение с напоминанием о необходимости вставить установочный носитель, содержащий драйвер драйвера RAID-контроллера. Нажмите кнопку «Обзор», чтобы продолжить. а. Если в вашей системе установлен только один оптический привод, извлеките установочный диск ОС Windows и замените его на DVD-диск поддержки материнской платы в оптический привод. б. Если у вас нет оптического привода, скопируйте драйвер RAID на USB-накопитель.
5. Найдите драйвер в соответствующей папке на DVD-диске поддержки.
5. Выберите папку rcbottom и нажмите OK, чтобы загрузить драйвер. 6. Повторите установку с 3 по 5, выберите папку rcraid и нажмите OK, чтобы загрузить драйвер. 7. Повторите установку с 3 по 5, выберите папку rccfg и нажмите OK, чтобы загрузить драйвер. Q: Как удалить набор RAID? A: Платформа Intel
1. В меню Intel® Rapid Storage Technology выберите том RAID, который вы хотите удалить, и нажмите . Появится следующий экран:
2. Когда выбран элемент «Удалить», нажмите , затем выберите «Да», чтобы удалить том RAID и вернуться в меню Intel® Rapid Storage Technology, или выберите «Нет» для отмены. ※ Примечание : Будьте осторожны при создании или удалении набора RAID. Вы потеряете все данные на жестких дисках при удалении набора RAID.
Платформа AMD
1. В меню конфигурации RAIDXpert2 выберите пункт [Удалить массив] и нажмите :
2. Выберите массив RAID, который вы хотите удалить, и установите значение [Вкл.] Выберите пункт [Удалить массив (S)] и нажмите клавишу .
3. Подтвердите выбор и нажмите [Да], чтобы удалить RAID, или НЕТ, чтобы отменить. ※Примечание : Будьте осторожны при создании или удалении набора RAID. Вы потеряете все данные на жестких дисках при удалении набора RAID. 
Эта информация была полезной?
Что мы можем сделать, чтобы улучшить эту статью? Отправить Пропустить
Поддержка накопителей NVMe в серверах Intel на базе Xeon Scalable
В предыдущих поколениях серверов (включая серверы на базе Intel Xeon E5-2600v4) использование твердотельных накопителей NVMe 1 было связано с рядом ограничений:
- не поддерживалась горячая замена накопителей
- отсутствовала возможность создания загрузочных RAID-массивов
- не гарантировалась работа индикации накопителей в соответствии со стандартом 2
Это объясняется тем, что управление интерфейсом NVMe осуществлялось не внешним контроллером, как в случае дисков SAS или SATA, а контроллером самого накопителя. Вследствие этого такие события, как извлечение накопителя или возникновение неисправности, не всегда могли корректно обрабатываться системой.
В серверах Intel на базе процессоров Intel Xeon Scalable эти ограничения сняты благодаря новым технологиям Intel VMD и Intel VROC.
Что такое Intel VMD и Intel VROC
Intel VMD (Volume Management Device) – встроенный в процессор Intel Xeon Scalable аппаратный контроллер интерфейса NVMe, обеспечивающий возможность горячей замены накопителей, корректную индикацию статуса, а также работу с RAID-массивами.
Intel VROC (Virtual RAID on CPU) – набор инструментов для накопителей NVMe:
- Intel VMD в качестве аппаратного контроллера, встроенного в CPU
- поддержка NVMe RAID со стороны BIOS серверной платы
- процессорные ядра для вычислений RAID-логики
- лицензионные ключи Standard или Premium
- драйверы NVMe RAID для Windows 2016, 2012R2, 10, 7SP2, Red Hat 7.3, SUSE 12SP3
- утилита RSTe с поддержкой NVMe RAID для управления массивами под Windows
Intel VROC является гибридным RAID-решением, которое включает как аппаратные (Intel VMD), так и программные компоненты. Технология Intel VROC доступна в серверах на платформе Intel.
Использование Intel VMD и Intel VROC проиллюстрируем на конкретном примере: рассмотрим процесс создания загрузочного массива из накопителей NVMe на платформе Intel R1208WF.
Создание загрузочного RAID-массива из накопителей NVMe
Advanced/PCI Configuration/Volume Management Device
необходимо включить Intel VMD на тех портах шины PCIe, к которым подключены накопители NVMe. По умолчанию Intel VMD выключена на всех портах:

На платформе Intel R1208WF накопители NVMe подключаются к портам OCuLink на материнской плате (два порта на каждый процессор) и/или к портам NVMe-адаптера, установленного в слот райзер-карты ( Riser1,Slot1/ Riser2,Slot1 ).
В нашем сервере два накопителя NVMe подключены к портам OcuLink CPU1. Включаем Intel VMD на этих портах:

Переходим в раздел BIOS
Advanced/PCI Configuration/UEFI Option ROM Control
Здесь появился дополнительный RAID-контроллер Intel(R) Virtual RAID on CPU:

Перемещаем на него курсор и заходим в раздел Intel(R) Virtual RAID on CPU :

Пока в сервере не установлен лицензионный ключ, накопители NVMe можно использовать лишь в режиме Pass-Through. Для создания RAID-массивов необходим ключ Standard или Premium.
После установки ключа Standard данный раздел будет выглядеть так:

Переходим здесь в раздел All Intel VMD Controllers :

Выбираем Create RAID Volume и создаем нужный RAID-массив:

Теперь можно перейти к установке на этот RAID-массив операционной системы. В процессе установки потребуются драйверы Intel VROC, которые можно скачать с сайта Intel. Загрузка сервера должна выполняться в режиме UEFI.
Технические характеристики технологии Intel VROC
Процессоры семейства Intel Xeon Scalable имеют три домена (контроллера) шины PCIe, каждый из которых управляет 16 линиями PCIe. Всего в процессоре 48 таких линий.
Каждый домен PCIe процессора является отдельным VMD-контроллером. Поскольку стандартный накопитель с интерфейсом NVMe использует 4 линии PCIe, к одному VMD-контроллеру можно напрямую подключить до 4 накопителей NVMe. Если накопители подключать через NVMe-адаптеры (коммутаторы), к одному VMD-контроллеру можно подключить максимально до 24 накопителей. Такое же ограничение действует на процессор и сервер в целом.
RAID-массив, созданный из накопителей одного VMD-контроллера, может быть загрузочным. Можно создавать RAID-массивы из накопителей, подключенных к разным VMD-контроллерам и даже к разным процессорам в рамках одного сервера, однако загрузочными такие массивы быть не могут.
Основные возможности Intel VROC приведены в следующей таблице:
| Поддерживаемые серверные платформы | Платформы на базе процессоров Intel Xeon Scalable (на данный момент серверные платформы Intel) |
| Поддерживаемые операционные системы | Windows 2016, Windows 2012 R2, Windows 10, Windows 7 SP2 Red Hat Enterprise Linux 7.3 SUSE Linux Enterprise 12 SP3 |
| Поддерживаемые SSD-накопители с интерфейсом NVMe | Все SSD-накопители Intel с интерфейсом NVMe семейств “Data Center” и “Professional” Накопители отдельных серверных серий других производителей |
| Поддерживаемые конфигурации | До 24 SSD-накопителей на VMD-контроллер, на RAID-массив, на систему До 12 RAID-массивов на систему До 2 томов на RAID-массив До 2 уровней коммутации Том данных может принадлежать нескольким VMD-контроллерам Загрузочный том должен принадлежать одному VMD-контроллеру |
| Лицензионные ключи | Без ключа: накопители в режиме Path-Through Standard: RAID 0/1/10 Premium: RAID 0/1/10/5 |
| Ключевые возможности | Горячая замена LED-индикация статуса накопителя Нот Spare – автоматическое подключение запасного накопителя взамен неисправного Auto-Rebuild – автоматическое перестроение массива Уведомления по Email Защита от потери питания при перестроении массивов RAID 5 Управление «плохими» блоками Выбор Strip Size (4K, 8K, 16K, 32K, 64K, 128K) |
Каждый накопитель NVMe имеет два LED-индикатора: активности и статуса. В следующей таблице приведена информация о состоянии этих индикаторов в зависимости от режима накопителя.
| LED-индикатор | Режим накопителя | Состояние индикатора |
| Зеленый | Питание есть, режим простоя | Горит |
| Питание есть, активность | Мигает при выполнении команды | |
| Питание есть, режим энергосбережения | Не горит | |
| Питание есть, включается | Мигает | |
| Янтарный | Исправен | Не горит |
| Режим идентификации (Locate) | Мигает с частотой 4Hz | |
| Отказ | Горит | |
| Перестроение массива | Мигает с частотой 1Hz |
Замечания и вопросы Вы можете оставить в комментариях к этой статье.
1 Здесь имеются ввиду только твердотельные накопители форм-фактора 2.5″ с интерфейсом PCIe, подключаемые через разъем U.2 (SFF-8639)
2 Международный стандарт «International Blinking Pattern Interpretation (IBPI) standard» (SFF-8489)
Обозначения «Тим Компьютерс» , «Team Computers» , Runbook , логотип «Team Computers» являются зарегистрированными товарными знаками компании «Тим Компьютерс».
Обозначения Celeron, Celeron Inside, Centrino, Centrino logo, Core Inside, Intel, Intel Core, Intel logo, Intel Inside, Intel Inside logo, Intel SpeedStep, Intel Xeon, Intel Inside Xeon Phi logo, Intel Xeon Phi, Pentium и Pentium Inside являются товарными знаками, либо зарегистрированными товарными знаками, права на которые принадлежат корпорации Intel или ее подразделениям на территории США и других стран.
Политика в отношении обработки персональных данных