Пошаговая инструкция по восстановлению данных с RAID-массивов и СХД HPE 3PAR
Восстановление данных с RAID-массива или СХД HPE 3PAR — процесс, где главное правило одно: ничего не записывать на исходные диски. Любая попытка «пересобрать» массив штатными средствами контроллера или запустить проверку файловой системы может безвозвратно уничтожить служебные записи, по которым можно восстановить информацию.
Для HPE 3PAR ключевой момент: диски физически вынимаются из полок СХД и подключаются к обычному ПК (через SAS HBA/JBOD-контроллер или SAS-адаптер), после чего массив собирается программно непосредственно с этих дисков. Работающий кластер 3PAR OS для этого не нужен — нужны только сами диски и инструмент, умеющий читать метаданные CPG.
Шаг 1. Немедленно остановите работу с массивом
Как только вы заметили, что RAID потерял доступ к данным (два диска в RAID 5 вышли из строя, контроллер не видит тома, СХД 3PAR показывает ошибку CPG или Double Node Failure), выключите систему или переведите её в режим только чтения.
Не запускайте:
пересборку (rebuild) на контроллере;
инициализацию (initialize) новых дисков;
проверку файловой системы (
chkdsk,fsck);обновление прошивки СХД, если оно не является частью согласованного плана восстановления.
Для HPE 3PAR: если кластер полностью недоступен, оставьте его выключенным. Метаданные томов и CPG хранятся на дисках полок, и попытка «поднять» контроллеры без понимания причины сбоя может привести к неконсистентности метаданных. Диски при этом не трогайте до тех пор, пока не будете готовы к их извлечению и подключению к ПК.
Шаг 2. Задокументируйте исходную конфигурацию
До того как вынуть хотя бы один диск, зафиксируйте всё, что известно об исходном массиве:
уровень RAID (0, 1, 5, 6, 10, 50, 60);
количество дисков и их порядок в корзине/полке;
размер страйпа (stripe size) или блока;
направление чередования чётности (для RAID 5/6);
модель контроллера или СХД;
какие диски вышли из строя, какие были заменены, был ли задействован hot spare.
Для HPE 3PAR дополнительно запишите:
модель (например, 7200, 7400, 7450, 8200, 8400);
версию 3PAR OS;
список CPG и критичных виртуальных томов;
количество узлов и полок (DC2/DC3).
Сфотографируйте полки и подпишите каждый диск маркером по исходному слоту. Это не формальность: при неверном порядке дисков сборка массива даст «мусор» вместо файлов, а для 3PAR порядок и принадлежность к CPG критичны.
Шаг 3. Выньте диски из полок СХД и подключите их к ПК
Это ключевой шаг для HPE 3PAR, который отличает восстановление СХД от восстановления обычного серверного RAID.
Полностью обесточьте СХД (обе ноды и полки) и дождитесь остановки дисков.
Выньте диски из полок, сохраняя подписи по слотам. Для 3PAR диски — это SAS-накопители в корзинах полок; вынимаются они штатно, без разбора самой полки.
Подключите диски к обычному ПК через SAS HBA или JBOD-контроллер в режиме прямого доступа к дискам (без RAID). Не подключайте их к RAID-контроллеру, который попытается собрать из них новый массив, — это может изменить метаданные.
Убедитесь, что в системе видны все диски-участники, включая те, что были в составе отказавшей ноды или полки.
Если какой-то диск не определяется или чтение идёт с ошибками, это не повод отказываться от восстановления: сбойные блоки можно пропускать при чтении, заполняя их нулями, чтобы не прерывать процесс.
Шаг 4. Соберите виртуальный массив по метаданным — напрямую с дисков 3PAR (сектор 520 байт)
Сборка выполняется с физических дисков, подключённых к ПК на шаге 3. Предварительное снятие образов не требуется: инструмент читает служебные записи непосредственно с дисков и строит виртуальный том, не записывая на них ничего.
Для аппаратных RAID (LSI MegaRAID, Dell PERC, Adaptec, HP Smart Array) метаданные обычно содержат уровень RAID, размер блока, порядок дисков и информацию об отсутствующих участниках. Программа считывает эти записи и строит виртуальный том.
Для HPE 3PAR есть ключевая техническая особенность: диски СХД отформатированы с размером сектора 520 байт, а не стандартные 512. Дополнительные 8 байт на блок несут служебную информацию 3PAR (метаданные chunklet и контрольные суммы). Из-за этого стандартные RAID-контроллеры (HP Smart Array и аналогичные) такие диски не импортируют и не инициализируют — они видят несовпадение логического размера блока и отвергают устройство. Обычные ОС и файловые системы также не рассчитаны на работу с 520-байтовыми секторами.
Именно поэтому для 3PAR критично использовать инструмент, который умеет читать диски с сектором 520 байт напрямую и интерпретировать служебные записи CPG, не требуя предварительного переформатирования диска в 512 байт (которое уничтожило бы метаданные 3PAR и сделало бы восстановление томов невозможным).
Данные в 3PAR организованы не в классические RAID-группы, а в chunklet-ы, распределённые по дискам внутри CPG. Виртуальные тома (VV) собираются из этих chunklet-ов с учётом RAID-схемы, заданной на уровне CPG (RAID 1, 5 или 6). Программный инструмент должен уметь:
читать диски с логическим размером блока 520 байт без переформатирования;
прочитать метаданные пула хранения (CPG);
определить, какие chunklet-ы принадлежат какому виртуальному тому;
учесть избыточность, если часть дисков отсутствует.
Если нужно, образы дисков можно снять заранее и работать с ними — это не обязательно, но допустимо. Однако основной сценарий — сборка напрямую с подключённых дисков 3PAR (520 байт).
Шаг 5. Проверьте целостность и скопируйте данные
После сборки виртуального тома не начинайте копировать всё подряд. Сначала проверьте несколько файлов разных типов: документ, архив, изображение. Если файлы открываются корректно, можно запускать массовое копирование на отдельный, заведомо исправный носитель.
Не сохраняйте восстановленные данные на те же диски, которые входили в отказавший массив, даже если они «вроде бы работают». Любая запись на них снижает шансы на повторное восстановление, если первый результат окажется неполным.
Типичные неисправности контроллерных узлов HPE 3PAR StoreServ 7000/8000
У линеек HPE 3PAR StoreServ 7000 (7200, 7400) и 8000 (8200, 8400) есть характерные аппаратные и системные «болячки» нод. Понимание этих сценариев важно для восстановления: от того, какая именно нода и по какой причине выпала, зависит, сохранились ли метаданные CPG и можно ли собрать тома программно после извлечения дисков.
1. Деградация батарейных модулей и суперконденсаторов (BBU / PCM)
Проблема. Батареи внутри модулей питания (PCM) имеют регламентный срок службы около 3–3,5 лет. В серии 7000/8000 деградация или отказ BBU переводит контроллерный кэш в режим сквозной записи (write-through), резко роняя производительность. При сбое питания нода может аварийно отключиться и не подняться.
Связь с восстановлением. Попытки «раскачать» старые батареи на обесточенной полке часто приводят к полному зависанию кластера. Если вы планируете вынимать диски, сначала убедитесь, что полка стабильно обесточена и диски остановлены, а не «дёргаются» из-за деградировавших PCM.
2. Отказ внутреннего системного диска ноды (Internal OS SSD / M.2 SATA)
Проблема. Каждая нода 3PAR загружает микрокод и 3PAR OS с встроенного внутреннего накопителя (в 7000/8000 это внутренний flash/SSD, часто маркируемый в CLI как IDE/SATA disk). При износе или появлении бэд-блоков нода выпадает с паникой ядра (Critical IDE disk error / Node Rescue failed).
Опасность. Замена системного диска требует процедуры Node Rescue через консольный кабель и сервисный процессор (SP). Если вторая нода в этот момент нестабильна, кластер разваливается целиком. Для восстановления данных это означает: системный диск ноды и диски полок — разные вещи. Первый отвечает за загрузку ОС, вторые хранят пользовательские данные и метаданные CPG. Если нода «кирпич», диски полок всё равно можно вынуть и подключить к ПК.
3. Смерть преобразователей питания на плате (VRM / Power Rail failure)
Проблема. Встроенные регуляторы напряжения (VRM) на материнской плате ноды со временем выгорают из-за перегрева или бросков напряжения. В диагностике это даёт ошибки регистров питания (FPGA CONTROL_PORSTATE со значениями 0x05–0x11). Нода просто не инициализируется («кирпич»), горит янтарный индикатор Fault или синий UID.
Связь с восстановлением. Если нода не инициализируется, это ещё не значит, что данные на дисках полок потеряны. Метаданные CPG и chunklet-ы физически находятся на дисках. Задача восстановления в этом случае — вынуть диски полок, подключить их к ПК и собрать тома программно по метаданным, не пытаясь оживить мёртвую ноду.
4. Проблема двухнодовых систем (Split-Brain и Double Node Fault на 7200 / 8200)
Проблема. Младшие модели (7200, 8200) поддерживают строго 2 ноды (в отличие от 4-нодовых 7400/8400). При отказе одной ноды оставшаяся работает на пределе. Если в процессе ребилда происходит сбой по питанию или подвисает межконтроллерный линк (Interconnect), система уходит в Double Node Failure. Тома переходят в статус preserved / failsafe, доступ к LUN по FC/iSCSI блокируется.
Связь с восстановлением. Именно этот сценарий чаще всего приводит к обращению в независимые сервисы: массив «лёг» целиком, вендорская поддержка либо закончилась (EOSL), либо предлагает решение стоимостью в новый массив. При Double Node Failure важно не запускать повторную инициализацию и не пытаться «поднять» кластер вслепую — диски вынимаются из полок, подключаются к ПК, и тома собираются программно по метаданным CPG.
5. Рассогласование версий микрокода (Firmware mismatch) при замене
Проблема. Покупка б/у ноды с вторичного рынка часто заканчивается тем, что версия 3PAR OS на доноре не совпадает с кластером. Автоматический rescue завершается ошибкой, и узел не входит в кластер, оставляя массив недоступным.
Связь с восстановлением. Это классическая ситуация, когда «железо» вроде бы есть, но кластер не собирается. Для извлечения данных это не критично, если диски полок целы: программная сборка томов не требует работающего кластера 3PAR OS. Но если вы планируете восстанавливать массив штатно, версии микрокода на всех нодах должны совпадать — иначе rescue не пройдёт.
Программный инструмент для сборки RAID и 3PAR на ПК
Для выполнения шагов 3–5 (подключение дисков, сборка по метаданным, копирование файлов) существует специализированное решение — ReRaid от ServerBay. Оно ориентировано именно на сборку массивов по служебным записям и копирование файлов без записи на исходные диски, и работает на обычном ПК с подключёнными дисками.
Ключевой момент для HPE 3PAR: ReRaid поддерживает тома СХД 3PAR по дискам-участникам. Это означает, что диски, вынутые из полок 3PAR и подключённые к ПК через HBA/JBOD, не нужно переформатировать в 512 байт — ReRaid читает их как есть, с сектором 520 байт, и собирает виртуальные тома по метаданным CPG. Стандартные RAID-контроллеры такие диски часто просто не видят, поэтому поддержка 520-байтового формата на уровне программы — обязательное условие для работы с 3PAR.
Что важно знать перед использованием:
Поддерживаемые конфигурации: аппаратные RAID-контроллеры LSI/Broadcom MegaRAID и Dell PERC (DDF), Adaptec, HP Smart Array; тома HPE 3PAR StoreServ по дискам-участникам (диски с сектором 520 байт, вынутые из полок и подключённые к ПК); Synology SHR и классический RAID; QNAP; ZFS; Linux mdadm; Windows Storage Spaces. Уровни RAID 0, 1, 5, 6, 10, 50, 60.
Принцип работы: программа не пишет на исходные диски, работает с физическими дисками, определяет уровень RAID, размер блока и порядок дисков по метаданным. Для 3PAR — читает метаданные CPG и собирает виртуальные тома из chunklet-ов, не требуя переформатирования дисков с 520 на 512 байт.
Файловые системы: NTFS, FAT32, exFAT, ext4, Btrfs, ZFS. Поддерживаются Windows и Linux.
Платформы: Windows и Linux (Ubuntu 18.04–24.04). Установщик для Windows весит около 5,5 МБ.
Скачать и проверить контрольные суммы можно на странице:
https://serverbay.ru/software/reraid.
Если вы восстанавливаете данные с 3PAR и не уверены в структуре chunklet-ов, начните с ReRaid: программа покажет, распознаётся ли том (с дисками 520 байт) и видны ли файлы. Если массив не определяется, это сигнал о том, что метаданные повреждены глубже и требуется ручной анализ или помощь профильного специалиста.
FAQ
Можно ли восстановить данные, если вышли из строя 2 диска в RAID 5?
Да, это возможно, но не гарантированно. RAID 5 переживает отказ одного диска; при отказе двух массив теряет способность вычислять данные в реальном времени, но информация на оставшихся дисках никуда не исчезает мгновенно. Для восстановления нужно подключить все доступные диски (включая отказавшие, если они ещё читаются) к ПК и собрать массив программно, указав отсутствующие участники. Если отказавшие диски физически не читаются, восстановление возможно только частично или невозможно — многое зависит от того, какие блоки данных были на утраченных дисках и есть ли дублирование на уровне файловой системы или приложения.
Нужен ли оригинальный RAID-контроллер для сборки массива?
Для программной сборки напрямую с дисков — нет. Современные инструменты читают метаданные непосредственно с дисков и восстанавливают конфигурацию без участия «железа». Оригинальный контроллер нужен только в том случае, если вы хотите попытаться штатно импортировать внешнюю конфигурацию (foreign configuration) и продолжить работу на том же сервере, но это рискованный путь: контроллер может запустить автоматическую пересборку и изменить метаданные. Для извлечения данных безопаснее вынуть диски (в случае 3PAR — из полок СХД), подключить их к ПК через HBA/JBOD и собрать массив программно.
Сколько времени занимает восстановление с HPE 3PAR?
Зависит от объёма данных и состояния дисков. Для небольшой конфигурации (несколько терабайт) анализ метаданных CPG и сборка томов могут занять от нескольких часов до суток. Для крупных инсталляций с сотнями дисков и сложной структурой chunklet-ов процесс может растянуться на дни, особенно если часть дисков нестабильна и требует повторного чтения. Пробное распознавание тома в ReRaid занимает минуты; полное копирование данных идёт со скоростью целевого носителя.
Можно ли восстановить данные, если RAID был пересобран или инициализирован после сбоя?
Шансы резко падают, но не всегда равны нулю. Инициализация обычно перезаписывает служебные записи в начале диска, однако файловая система и пользовательские данные могут сохраниться в других областях. Если после инициализации на диски ничего не записывалось, иногда удаётся найти остатки файловой системы и извлечь файлы по сигнатурам. Чем меньше записей прошло после ошибочной пересборки, тем выше шанс. В случае с 3PAR ситуация сложнее: изменение метаданных CPG или повторное создание томов может сделать структуру chunklet-ов невосстановимой без глубокого ручного анализа.
Можно ли вынуть диски из 3PAR и подключить их к обычному ПК?
Да, это стандартная практика восстановления СХД HPE 3PAR, когда кластер не поднимается или вендорская поддержка недоступна. Диски вынимаются из полок при полном обесточивании СХД, подключаются к ПК через SAS HBA/JBOD-контроллер (без RAID-режима), после чего массив собирается программно по метаданным CPG напрямую с этих дисков — работающий кластер 3PAR OS для этого не нужен. Важно сохранять подписи дисков по слотам, не подключать их к RAID-контроллеру (который может изменить служебные записи) и учитывать, что диски 3PAR имеют сектор 520 байт — их нельзя переформатировать в 512 байт, иначе метаданные CPG будут утрачены.
Комментарии
Загрузка комментариев…