Raid для workflow

Alien

Топикстартер
15 лет на форуме
Сообщения
2 326
Оценка реакций
209
Коллеги, добрый день.

Кто какой Raid использует?
У меня Raid-5 уровня, в сервере два блока питания, подключённые в разные ИБП, подключённые в разные эл. линии.
Вышел из строя один из дисков и судя по всему, в процессе ребилда накрылся второй. Дискам около 8 лет.
Часть работ пропала.
Помог бы в этом случае вариант сборки Raid этого же уровня с Hot Spare?
 

Gad

Участник
Сообщения
1 009
Оценка реакций
493
Вышел из строя один из дисков и судя по всему, в процессе ребилда накрылся второй. Дискам около 8 лет
Вот не в укор, а из собственного опыта :) 8 лет... и наверняка никакой системы контроля S.M.A.R.T. ... любите рисковать? :)
После одного инцидента (тоже Raid 5, накрылся один винт) я четко выучил - никаких ребилдов! Не дыша на винты снимать бэкап (благо был автоматически бэкап, вот жаль что не полный как потом выяснилось, одну папку случайно исключил из него во время очередных копаний в настройках... за что и отхватил по первое число '))' ) Во время ребилда рубанули свет, бесперебойника не хватило... Raid потом собрал уже софтово из образов, но данные частично таки улетели в неизвестном направлении (как назло именно эта злосчастная директория).
В обще мораль такова, все важные данные бэкапить даже с Raid5, ведь без одного то винта данные с него снять легко и раза в 2-3 быстрее чем ребилд.
 

TRANTOR

Son of a Gun
15 лет на форуме
Сообщения
4 477
Оценка реакций
2 901
Кто какой Raid использует?
RAID 6.

Raid этого же уровня с Hot Spare?
Какой толк от горячей замены, если 2 диска вылетело?

никакой системы контроля S.M.A.R.T.
Многие контроллеры смарт наружу не отдают.
 
Последнее редактирование:

Gad

Участник
Сообщения
1 009
Оценка реакций
493
Многие контроллеры смарт наружу не отдают.
Дело не в том отдают или нет :) Дело в том, что активно использовать винты более 5 лет без такого контроля при этом надеясь только на Raid могут либо любители острых ощущений, либо те кто никогда не попадал в передрягу как я или ТС :)

Не по теме:
Оно на словах все верно, надо учиться на чужих ошибках и думать наперед, но увы :( не всем дано :)
 

splxgf

10 лет на форуме
Сообщения
7 133
Оценка реакций
3 158
Помог бы в этом случае вариант сборки Raid этого же уровня с Hot Spare?
В таких случаях помогает бэкап и возраст дисков больше пяти-шести лет должен уже напрягать.
HotSpare не отменяет бэкапов, а упрощает обслуживание.
 

dj-alex

12 лет на форуме
Сообщения
469
Оценка реакций
241
Мдя...
Сисадмины делятся на 2 категории: кто делает бекап и кто уже делает бекап. ;)

мы, когда собираем СХД или просто станции врача, всегда собираем в зеркале. на СХД обязательно с хотсвапом.
Но при этом, в обязательном порядке, в софтверной части стоят настройки через определенный промежуток времени бекапировать новые данные. они могут ложиться в хвост последних по очереди дисков (грубо - заполнение с хвоста). это помимо сбрасывания информации в региональные или общебольничные сервера.
хоть и собирали на 5 рейдах, но сейчас начинаем более свежие осваивать, железо с математикой хоть и развиваются, но сроки жизни падают :(
 

Valentin

12 лет на форуме
Сообщения
2 123
Оценка реакций
1 182
RAID 5 10

Дискам около 8 лет.
А что тут обсуждать, когда явные апологеты "вечных двигателей и шпинделя".
Что про replacement and maintenance не слышали и не читали.

'fp'

Многие контроллеры смарт наружу не отдают.
Либо о них не догадываются. ;)


Не по теме:
В одной типографии контроллер RAID пол года "верещал" о проблемах на RIP.
Когда уже сервисники установившие RIP по отчетам удаленно, вежливо спросили "Надо что-то делать, а то мы не скорая.
Быстро не приедем переставлять?"
Но его все равно "уронили"

 

baraka

Участник
Сообщения
183
Оценка реакций
87
и наверняка никакой системы контроля S.M.A.R.T.
В 30% случаев сигнализирует про ранний выход диска из строя, и это статистика Intel. По личному опыту, винты с плохим SMART уже лопатят 6-ой год, а где хороший уже на помойку выкинул.

В том числе, может выйти из строя сам контроллер и при своей смерти, записать ошибку на диски, так что от туда ничего не сможете вытащить.

Помог бы в этом случае вариант сборки Raid этого же уровня с Hot Spare?
Нет. Когда выходит диск из строя, идёт большая нагрузка IO на соседний диск, от куда копирует данные и он вполне может выйти из строя в этот момент.

Уровень RAID в этом случае не имеет значения, как и hotswap. Только бэкапы на такой такой же RAID где нибудь. Либо курите про ceph, где фактор репликации может быть хоть 10, где одни и те же данные хранятся в 10 копиях на 10 разные дисках и на 10 разных узлах. Вероятность потери данных смело делите на 10.
 

Gad

Участник
Сообщения
1 009
Оценка реакций
493
По личному опыту, винты с плохим SMART уже лопатят 6-ой год
Я там такого параметра не наблюдал :)
контроллер и при своей смерти, записать ошибку на диски, так что от туда ничего не сможете вытащить.
Поверьте, если выйдет из строя контроллер (унеся с собою адаптивы) то уже без разницы писал он там ошибку или нет.... Вы и так ничего оттуда не вытащите (если речь конечно не о диназаврах с шаговым двигателем)
Когда выходит диск из строя, идёт большая нагрузка IO на соседний диск
Что такое IO и с чем его едят, и где в Raid 5 соседний диск??
 
Последнее редактирование:

baraka

Участник
Сообщения
183
Оценка реакций
87
По личному опыту, винты с плохим SMART уже лопатят 6-ой год
Я там такого параметра не наблюдал :)
Простите, тут речь была про какой-то определенный параметр? Плохой SMART это совокупность параметров, при которой рекомендуется замена.

Поверьте, если выйдет из строя контроллер (унеся с собою адаптивы) то уже без разницы писал он там ошибку или нет.... Вы и так ничего оттуда не вытащите (если речь конечно не о диназаврах с шаговым двигателем)
Не верю. Подобного бреда я ещё не слышал. Контроллер не содержит вообще никакой информации про созданные массивы, подключенные к нему. Все метаданные хранятся на дисках. Массив который был создан в lsi/adaptec всегда заводится без контроллера в том же самом mdadm.
На досуге рекомендую почитать про RAID superblock formats.

Что такое IO и с чем его едят
IO это операции ввода вывода input/ouptut, и угадайте чем меряются производительность диска? Даю подсказку IOP...

,и где в Raid 5 соседний диск??
А Вы где то тут увидели информацию про RAID5? Речь про самое простое зеркало, в вашем конкретном случае на диски в массиве.

Я так понимаю, вы тот самый эникей который уже потерял данные и пытается блеснуть умом?
 

Gad

Участник
Сообщения
1 009
Оценка реакций
493
Плохой SMART это совокупность параметров, при которой рекомендуется замена
Однако Вы ее не рекомендуете:)
По личному опыту, винты с плохим SMART уже лопатят 6-ой год
И может поясните критерии по которым Вы определяете плохой он или еще поживет (6 лет) ? :)
Контроллер не содержит вообще никакой информации про созданные массивы, подключенные к нему. Все метаданные хранятся на дисках.
Ну Вы же не пишете что контроллер Raid :) а в теме речь идет о выходе из строя одного, а следом другого винчестера, так что я говорил про адаптивные данные в контроллере винчестера, корректирующие траекторию перемещения головки, которые формируются на заводе, тут непонятка вышла:). Но даже в этом случае мне сложно представить что он может туда такого записать после чего нельзя ничего вытащить :)
IO это операции ввода вывода input/ouptut, и угадайте чем меряются производительность диска?
IOP's знаю, а сказать
идёт большая нагрузка IO
это все равно что сказать "у меня выросли мегабайты на диске" Какая нагрузка? Выросло число операций ввода/вывода в секунду? Или просто что-то выросло? может по току? :)
А Вы где то тут увидели информацию про RAID5?
Да, у автора топика :) Но даже если Вы говорите о Raid 1 (простое зеркало), то с какого перепуга на него вырастет нагрузка?:) Так что
На досуге рекомендую почитать про RAID superblock formats. :)

Не по теме:
Я так понимаю, вы тот самый эникей который уже потерял данные и пытается блеснуть умом?


Не по теме:

О! Да похоже Вы все про меня знаете:)

 

Gad

Участник
Сообщения
1 009
Оценка реакций
493
Вы говорите о Raid 1 (простое зеркало), то с какого перепуга на него вырастет нагрузка?
Поправлюсь, если речь о Hot Spare на Raid 1 верно, начнется ребилд и нагрузка вырастет и действительно! На соседний в этом случае винчестер (потерял как-то нить Ваших рассуждений) '))' Вот только вопрос Вы тоже не внимательно прочитали
Raid этого же уровня с Hot Spare?
Речь таки идет о Raid 5 :)

Не по теме:
А кто нибудь вообще видел (делал) Raid 1 c Hot Spare? :)
 
Последнее редактирование:

baraka

Участник
Сообщения
183
Оценка реакций
87
Однако Вы ее не рекомендуете:)
Вам я настоятельно рекомендую сменить препараты, которые вы употребляете.

Ну Вы же не пишете что контроллер Raid :) а в теме речь идет о выходе из строя одного, а следом другого винчестера, так что я говорил про адаптивные данные в контроллере винчестера, корректирующие траекторию перемещения головки, которые формируются на заводе, тут непонятка вышла:). Но даже в этом случае мне сложно представить что он может туда такого записать после чего нельзя ничего вытащить
В этом смысле можно рассуждать про любой контроллер, даже тот который у вас стоит в свч, всё зависит опять же от употребляемого вами препарата.

это все равно что сказать "у меня выросли мегабайты на диске" Какая нагрузка? Выросло число операций ввода/вывода в секунду? Или просто что-то выросло? может по току? :)
IO, IOPS это же вроде разные вещи, они как минимум отличаются одной буков. Или вам подробнее растолковать?

Речь таки идет о Raid 5 :)
Ну видимо при ребилде "Raid 5 :)", данные чудесным образом берутся из воздуха :D остальные диски в этом не участвуют.
 

Gad

Участник
Сообщения
1 009
Оценка реакций
493
Вам я настоятельно рекомендую сменить препараты, которые вы употребляете.
В этом смысле можно рассуждать про любой контроллер, даже тот который у вас стоит в свч, всё зависит опять же от употребляемого вами препарата.
Очень конструктивно :)
Или вам подробнее растолковать?
Да не, не стоит :)
остальные диски в этом не участвуют.
Только соседние! :) Вы бы определились про что говорите :) (я уже пояснил что не дочитал про Hot Spare , а в чем Вы там нагрузку ввода/вывода измеряете мне уже по барабану:) Ибо разговор скатывается в область срача банальной перепалки.

Не по теме:
Для админов. На этом пожалуй закончу, ибо в бан не охота, да и спать пора '))'
 

baraka

Участник
Сообщения
183
Оценка реакций
87
Только соседние! :) Вы бы определились про что говорите :) (я уже пояснил что не дочитал про Hot Spare , а в чем Вы там нагрузку ввода/вывода измеряете мне уже по барабану:) Ибо разговор скатывается в область срача банальной перепалки.

Не по теме:
Для админов. На этом пожалуй закончу, ибо в бан не охота, да и спать пора '))'
Извините, вы же элементарных вещей просто не знаете, а потом свои свои услуги продаете. Да и ещё по форумума бегаете, смарт рекомендуйте мониторить, как некую таблетку от всех панацей. В добавок ещё и читать не умеете

В том числе, может выйти из строя сам контроллер и при своей смерти, записать ошибку на диски
Речь шла не про один диск, а про несколько. С чего Вы взяли, что контроллер самого диска, сможет вызвать подобную ошибку? Я поэтому и спросил про препараты. В том числе, это не относилось к теме...
disk io load - это метрика нагрузки на диск, так что будет логично размышлять, что увеличилось IO, кол-во операций ввода вывода
load iops disk - это количество операций ввода/вывода в секунду.
Потом на собеседовании вам пригодиться, поверьте
 

splxgf

10 лет на форуме
Сообщения
7 133
Оценка реакций
3 158
@baraka , лучше расскажите о правильной организации бэкапов, полезней будет чем разбираться с определениями йопсов.
 

Pavel Karpov

12 лет на форуме
Сообщения
45
Оценка реакций
10

baraka

Участник
Сообщения
183
Оценка реакций
87
@baraka , лучше расскажите о правильной организации бэкапов, полезней будет чем разбираться с определениями йопсов.
Уровень RAID в этом случае не имеет значения, как и hotswap. Только бэкапы на такой такой же RAID где нибудь.
А это что?

Система: RAID-1: 256 GB SSD Samsung 850 PRO Sata III
Очень плохая идея, ssd будут изнашиваться равномерно (так как зеркало), и скорее всего через какое-то время умрут одновременно. В добавок эти ssd исключительно для десктопа.