Апаратні RAID контролери. FAQ щодо практичної реалізації RAID.

15.02.1996 Сергій Романчиков

Найслабшими за надійністю місцями у комп'ютері є оперативна пам'ятьі жорсткі диски, які є ще й однією з найповільніших ланок у комп'ютері. Одним із варіантів організації роботи дискової системиє RAID-матриці, гарантію надійності та швидкодії роботи яких забезпечують сучасні RAID-контролери. Що таке RAID-контролер Прийняті на практиці RAID-алгоритми Конструкція RAID-контролера Технологія Hot Swap. Резервні диски RAID-системи та альтернативні варіанти Програмні та апаратні реалізації дзеркалювання RAID 5-го рівня та дзеркалювання, що вигідніше? З якими операційними системами працює RAID?

За останні кілька років значно підвищилася потужність та швидкодія всіх класів комп'ютерів – сьогодні навіть невелика фірма може дозволити собі мати локальну мережу, один чи кілька серверів, вихід до мережі. Велика кількість програмного та апаратного забезпечення, безліч варіантів готових комплексних рішень дозволяють швидко розгорнути та налаштувати роботу офісу. Одне з найсерйозніших завдань, пов'язаних із забезпеченням цього процесу, - отримання максимальної швидкодії та надійності при мінімумі витрачених коштів. Зазвичай ці вимоги пред'являються, насамперед, до машин, реалізуючим групову роботу: файлові сервери, сервери додатків, поштові хости, мультимедійні графічні станції. Багато з цих комп'ютерів повинні, не вимикаючись роками, забезпечувати стійку роботу протягом усього терміну експлуатації при 100% збереження даних і мінімальний час відновлення - в ідеалі, що прагне до нуля. Як відомо, найслабшими за надійністю місцями в комп'ютері є оперативна пам'ять і жорсткі диски, які є ще й однією з повільних ланок у комп'ютері. Одним із варіантів організації роботи дискової системи є RAID-матриці, гарантію надійності та швидкодії роботи яких забезпечують сучасні RAID-контролери.

Якщо ви маєте в машині найшвидший на сьогоднішній день процесор, велика кількість оперативної пам'яті та процесорного кеша, але якщо дискова система комп'ютера працюватиме повільно та нестабільно, то загальна продуктивність вашої конфігурації виявиться вкрай низькою. Таку машину навряд чи захочеться використовувати як сервер або графічну станцію - очевидні невиправдані витрати коштів на швидкі процесорита пам'ять, які є мертвим капіталом, якщо заздалегідь не подбає про вибір відповідної системи роботи з жорсткими дисками. Одним із варіантів організації роботи дискової системи є RAID-матриці, які створюються зі стандартних SCSI- або SSA-дисків за допомогою спеціальних контролерів. Ця технологія, породжена ще мейнфреймами та потужними RISC-комп'ютерами, все більше знаходить своє місце і в ПК платформах. Низька ціна, стовідсоткова сумісність із основними операційними системами, підтримка поширеного програмного забезпеченнята наявність допоміжних утиліт роблять можливим створення на базі недорогих ПК, швидких та надійних серверів масштабу середнього підприємства чи підрозділу великої компанії.

Сьогодні рішення, що передбачають використання RAID-контролерів, пропонуються всіма відомими постачальниками комп'ютерного обладнання, що активно працюють і на вітчизняному ринку. Найбільшу популярність серед brand name виробників серверів набули моделі контролерів на процесорі i960, що пояснюється його високою продуктивністю, підтримкою технології гарячої заміни та забезпечення великої кількості сервісних функцій. З такими моделями зараз поставляються основні марки ПК серверів фірм IBM, HP, Compaq, Intel, Digital, ALR та ін. Хоча переваги RAID очевидні, замовник не завжди вистачає засобів для придбання варіанту з RAID. На щастя, сучасні моделі контролерів дискових масивів досить стандартні та універсальні. Але, з іншого боку, практично всі моделі brand name поставляються лише з двоканальними варіантами RAID-контролерів, що позбавляє адміністраторів мереж та технічних фахівців можливості використовувати потенціал різних моделей. Відомі випадки, коли замовники відмовлялися від RAID-матриць brand name через брак фінансових коштів, хоча грошей було достатньо для встановлення невеликого RAID-масиву. Адже зараз на вітчизняному ринку мінімальна матриця з одного RAID-контролера на базі i960 та 2-х дисків 1 Гбайт SCSI має вартість всього близько 1.6 тис. дол. Правда, якщо ви встановили сервер без RAID, а потім знайшли можливість придбати і його, це легко можна здійснити як за допомогою фірми виробника, так і самостійно. Цим користуються багато організацій, які бажають придбати хороший сервертрохи дешевше.

У нашій практиці доводилося ставити RAID-контролери фірми Mylex практично на всі моделі серверів фірм IBM 320, Intel Altair, Xpress, Digital Prioris та ін. Найбільша проблема, яку можна зустріти на цьому шляху - це заміна оригінального BIOS-контролера на розроблений під вашу конкретну модель. Проте створюючи свою власну дискову систему можна побудувати дуже гнучку конфігурацію, зробивши акцент на максимально швидку, або максимально економічну, або максимально надійну систему. Ви завжди зможете передбачити можливість розширення, резервування та перебудови конфігурації. Сучасний російський комп'ютерний ринок завжди славився своїми "умільцями", здатними швидко та якісно зібрати комп'ютери майже будь-якої конфігурації. Зараз це можна сказати і про потужні сервери, завдяки доступності RAID-технології для кінцевих користувачів - єдиний поки недолік полягає у відсутності інформації про можливості роботи та способи створення RAID-матриць.

Що таке RAID-контролер

Прийняті на практиці RAID-алгоритми

На певному етапі розвитку технології коштів обчислювальної технікивиникла потреба створювати один або кілька віртуальних дисків великої ємностііз сукупності недорогих і невеликих пристроїв. Для реалізації цього завдання було розроблено та стандартизовано алгоритми об'єднання дисків, відомих зараз як RAID-алгоритми. Загальні принципиїхні роботи були неодноразово описані в російській пресі та наведені тут коротко.

Основна ідея цих алгоритмів у тому, що вхідний потік інформації ділиться на блоки, які, своєю чергою, записуються на диски. При зчитуванні відбувається зворотний процес - блоки інформації збираються з накопичувачів і перетворюються на єдиний потік. Таким чином, програма роботи з цією системою може і не підозрювати, що замість одного накопичувача вона взаємодіє з кількома. На практиці існує багато застосувань таких алгоритмів, але найбільшого поширення в комп'ютерній області набули саме матриці жорстких дисків- RAID (Redundant Array of Inexpensive Disks). Залежно від способу розподілу блоків у дисковому масиві розрізняють кілька рівнів RAID, з нульового до п'ятого. На практиці набули поширення, в основному, 0,1 та 5 рівні. Зараз можна зустріти контролери з 6, 7 тощо. рівнем RAID. Оскільки спочатку були стандартизовані лише п'ять алгоритмів, всі інші способи реалізації роботи дискових масивів є продовженням розвитку RAID-технології і можуть відрізнятися в різних постачальників. Для організації роботи комп'ютера з матричною дисковою підсистемою достатньо знати 0,1 та 5 алгоритми, які, як правило, покривають усі необхідні проблеми, прості у використанні та досить ефективні.

RAID0 - алгоритм, у якому кожна порція інформації вхідного потоку ділитися на N фіксованих блоків (де N - число дисків у матриці), та був кожен блок послідовно записується на диск. У зв'язці контролер – шина – диск найповільнішим пристроєм є диск. Використовуючи велику кількість дисків, можна отримати збільшення швидкості запису/зчитування системи доти, доки дозволяє пропускна спроможність інтерфейсної шини. RAID0 не створює жодної надмірності і не забезпечує стовідсоткової безпеки даних при виникненні проблем з одним з дисків. Його призначення - зробити максимально швидку дискову систему, швидкість якої в ідеалі N раз перевищує швидкодію одного диска.

RAID1 або дзеркаловання (mirroring) потребує парного числа дисків та здійснює попарне дублювання інформації. Цей алгоритм вже дає стовідсоткову гарантію безпеки даних при збої будь-якого з дисків і теоретичне збільшення швидкості в N/2 рази, але вартість дискового простору збільшується вдвічі. Алгоритм застосовується в системах, де необхідна надійність збереження даних і обсяг дискової матриці незначний. RAID5 є щось середнє між 0 і 1 і найбільш популярний для організації серверних дискових матриць. Порція інформації з вхідного потоку поділяється на N-1 блоків, а N блок обчислюється з N-1 перших і є контрольним. У разі безповоротної втрати одного з блоків N, інформація однозначно відновлюється з N-1 інших. Контрольний блок щоразу від циклу до циклу записується на новий диск, Здійснюючи як би "круговий обхід". Таким чином всі диски в матриці є рівнозначними, схильні до однакового зносу, і, у разі збою будь-якого блоку на диску або всього диска цілком, інформація відновлюється без втрат. Вартість дискового простору в N/(N-1) разів більша, ніж одного диска - зі збільшенням числа дисків ціна зменшується, а теоретична швидкість запису/читання теж у N/(N-1) разів більша, ніж одиночного.

Конструкція RAID-контролера

RAID-контролер є інтелектуальним SCSI- або SSA-контролером, за допомогою якого можна організувати алгоритми RAID на дискових матрицях. Сучасні моделі мають 1,2 або 3 SCSI-канали, до кожного з яких можна підключати від 1 до 7 SCSI-пристроїв у разі SCSI-шини та 127 у випадку SSA. Найбільшого поширення на сьогоднішній день мають SCSI-пристрої. Конструктивно, практично всі сучасні SCSI RAID-контролери однакові і є платою слота розширення на шини PCI, EISA або зовнішній пристрій на шину SCSI. Переважна більшість RAID-контролерів створена на базі RISC процесора Intel i960, і багато вони апаратно однакові і відрізняються лише версіями BIOS. Як і в інших областях, у сфері RAID-контролерів є законодавці ринку, пропоновані рішення яких зазвичай стають стандартом де-факто. Сьогодні основний OEM-постачальник та виробник цих пристроїв – фірма Mylex. На світовому ринку є низка фірм, які продають ці пристрої з невеликими конструктивними відмінностями, наприклад MegaRAID. Серед моделей добре представлених у Росії відмінності існують у моделей, що застосовуються для серверів фірми Intel та IBM з шиною SSA. Відмінності не є важливими і не можуть впливати на сумісність їх один з одним.

Інший варіант організації RAID-контролерів – на базі серії процесорів 68000/68020/68030 фірми Motorola. Моделі під різні шини (ISA, EISA, PCI) стандарту SCSI відомі під маркою фірми DPT. Ці контролери відомі у всьому світі і представлені на вітчизняному ринку, хоча менш популярні, ніж побудовані на базі чіпа фірми Intel. Типова конструкція контролерів на процесорі i960 є платою з впаяним повнорозмірним або "полегшеним" варіантом цього чіпа (рис.1).

Мал. 1. Приклад загальної компонування контролера RAID 960

Як і для будь-кого мікропроцесорного пристрою, Контролеру необхідна оперативна пам'ять, мінімальний розмір якої в більшості моделей становить 2 Мбайт. За наявності пам'яті більшої ємності контролер використовує для кешування даних. Верхня межа обмежена об'ємом SIMM (32 – 64 Мбайт). Пристрій має власний BIOS, що замінюється, виконаний по технології FLASHабо у вигляді знімної мікросхеми ПЗП. Залежно кількості SCSI-каналів на платі розташовуються відповідно 1,2 чи 3 SCSI чіпа - NCR53C720. На платі RAID-контролера є перемички для увімкнення та вимкнення SCSI-каналів (JP1, JP2, JP3), необхідні для можливості його встановлення на кінцевому пристрої, та висновки індикації стану шин та кешу (JP5). Індикація може бути підключена до звичайних світлодіодів на корпусі комп'ютера, відображаючи активність пристроїв або стан повний кеш. На зовнішній стороні плати зазвичай є один або два роз'єми під зовнішній SCSI-кабель. За допомогою цих роз'ємів можливе підключення зовнішніх SCSI пристроїв або дискових масивів.

Кожен пристрій може комплектуватися або вже укомплектований акумулятором підтримки живлення кеша та перехідником WIDE FAST SCSI-2 на FAST SCSI-2, який необхідний для використання різних стандартів SCSI на платі та дисках. У програмі процесора контролера є багато функцій роботи з дисками, які налаштовуються за допомогою конфігураційної утиліти. Усі операції управління логічними матрицями, алгоритми RAID та управління кеш пам'яттю, проводяться самим контролером без звернення до центрального процесора та шини даних. Використовуючи режими Bus Mastering для шин EISA та PCI, пристрій здатний передавати дані зі швидкістю 33 Мбайт/с та 132 Мбайт/с.

Технологія Hot Swap. Резервні диски

Жорсткі диски- один з небагатьох компонентів, в якому є механічна частина, в першу чергу схильна до зносу при довготривалій роботі. І які б хороші і надійні диски не використовувалися, завжди є можливість виходу їх з ладу, що збільшується з часом експлуатації. Хоча у разі застосування, скажімо, RAID5 вихід з ладу диска не спричинить втрату даних, система залишиться без надмірності - це буде сигналом для адміністратора мережі бити на сполох. Якщо організація роботи сервера допускає його зупинку, то заміна непрацюючого диска не складе труднощів. Але, як правило, всі комп'ютери зі статусом "сервер" не можуть бути вимкнені будь-якої миті часу без відчутних наслідків. RAID-контролери дозволяють вирішити цю проблему за рахунок підтримки функцій гарячої заміни та технології резервних дисків. У разі поломки диска або будь-яких інших проблем, внаслідок яких контролер не може надалі його експлуатувати, наприклад, перевищення допустимої кількості поганих блоків, диск позначається як "мертвий" (Kill Drive) і не бере участі в подальшій роботі. У цьому випадку оператор може вийняти цей диск із системи та замінити іншим. Після підключення та виявлення RAID-контролером нового диска відбудеться його форматування (якщо необхідно) та буде виконано операцію перебудови матриці (Rebuild). Таким чином, система знову відновить свій колишній вигляд.

Так може продовжуватися поки в запасі є резервні диски або до тих пір, поки при режимі роботи без надмірності не вийде з ладу ще один диск. Це може статися, якщо поганий диск не замінили відразу. Як правило, не завжди буває можливість негайно замінити диск і час реакції може бути досить тривалим (якщо немає цілодобового поста кваліфікованого оператора). Сучасні RAID-контролери дозволяють вирішити цю проблему без участі людини - в матрицю заздалегідь встановлюється диск або кілька дисків, які конфігурації RAID-матриці позначаються як резервні (StandBy). У цьому випадку на резервні диски не подається команда розкручування шпинделя, вони ніяк не експлуатуються, а отже, не зношуються. При виникненні "мертвого" диска резервний з режиму StandBy відразу ж автоматично переводиться в робочий і здійснюється Rebuild. У такому режимі сервер буде працювати доти, доки не закінчаться резервні диски. Заміна "мертвого" на новий резервний може бути здійснена в будь-який зручний час.

Застосування технології резервних дисків краще з низки причин: по-перше, вартість хороших конструктивів, що забезпечують коректне і надійне розмикання і зворотне підключення SCSI-шини, досить велика і, на Наразі, Порівнянна з вартістю 1 Гбайт SCSI-диска; по-друге, стан речей на ринку жорстких дисків за останні кілька років такий, що, можливо, через рік після придбання накопичувачів ви не зможете знайти таку саму модель, принаймні за короткий термін. Використання ж у матриці різних моделейжорсткі диски можуть призвести до великих проблем аж до неможливості працювати разом.

RAID-системи та альтернативні варіанти

Програмні та апаратні реалізації дзеркалювання

На сьогоднішній день існує багато способів організації дискових систем, крім RAID-матриць. Найбільший інтерес представляє організація RAID1 – дзеркаловання. Цей спосіб може бути реалізований як програмно (Novell NetWare, Windows NT), так і апаратно (на SCSI контролерах Adaptec, Tekram і т.д.). Хоча способи безумовно недорогі, вони мають ряд істотних недоліків. Програмне віддзеркалення сильно навантажує обчислювальну потужність комп'ютера. Виконання програм обслуговування дисків займає якийсь час, що безпосередньо впливає на швидкодію дискової системи. Крім того, при програмної реалізаціїзавжди існує ймовірність втрати даних при аварійній відмові операційної системи, випадкове апаратне перезавантаження або зникнення живлення в комп'ютері. Такий варіант реалізації дзеркалювання, звичайно, має місце в сучасних рішеннях, але має застосовуватися тільки на надійних машинах та в умовах економії фінансових коштів.

Апаратний RAID1 – більш надійне рішення. Можливо, це хороший варіант реалізації дискової системи комп'ютера при невеликих дискових матрицях з 2 або 4 дисків. До того ж SCSI-контролер, що дозволяє зробити віддзеркалення відносно недорогим. Основними недоліками цього рішення є те, що при нарощуванні матриці система стає дедалі дорожчою в порівнянні з RAID5, а швидкість спілкування з дисками залишається низькою. При якомусь значенні об'єму дискової матриці настає переломний етап, коли RAID5 стає вигіднішим. Таким чином, реалізуючи віддзеркалення на одному з недорогих SCSI-контролерів, ви позбавляєте себе можливості додаткового недорогого розширення дискової системи. До того ж досвід нагадує, що, незважаючи на апаратне виконання функцій дзеркалювання, можлива втрата продуктивності системи до 25% порівняно з одиночним диском.

RAID 5-го рівня та дзеркалювання, що вигідніше?

p align="justify"> При проектуванні дискової системи важливим фактором є її вартість. Для того, щоб максимально ефективно використовувати виділені засоби для реалізації цього завдання, необхідно грамотно підійти до вибору типу дискової матриці. Наведемо невеликий розрахунок для RAID5 та RAID1, які допомагають це зробити. Обидва алгоритми дозволяють забезпечити роботу зі стовідсотковою надійністю збереження даних під час збою. Розглянемо два альтернативні варіанти. Перший - дискова система на основі молодшої моделі RAID-контролера, другий на одному з найпростіших моделей SCSI-пристрою. Наприклад візьмемо одні з найпопулярніших на нашому ринку контролерів Adaptec 2940 для RAID1 (250 дол.) та Mylex DAC960PL-1 (1000 дол.) для RAID5. За основу матриць виберемо деякі умовні диски (модель немає значення) ємністю 1 Гбайт (350 дол.). Для організації RAID5 необхідно щонайменше 3 диски, для дзеркалювання - 2.

Як видно з графіка залежності вартості від дискового простору, наведеного на рис. 2., при таких вихідних даних реалізація дискової системи RAID1 хороша при використовуваному дисковому просторі 1 або 2 Гбайт. При більшому обсязі матриці найкращим рішенням буде RAID5. Слід зазначити, що необхідно враховувати можливість розширення системи. Тому в разі об'єму 3 Гбайт у наведеному прикладі краще вибрати RAID5. У цих міркуваннях не враховується ще той факт, що при організації дзеркалювання швидкість доступу до всіх дисків менше ніж до одного, а при організації RAID5 більше. До того ж слід взяти до уваги той факт, що функцій DAC960 значно більше і серед них такі важливі, як гаряча заміна і можливість установки резервних дисків.

(1x1)

Мал. 2. Зміна вартості дискової системи залежно від обсягу простору на дисках

Виходячи з цих міркувань можна зробити загальний висновок для цього прикладу. При організації дискового масиву обсягом 1-3 Гбайт можна використовувати різні, включаючи програмні алгоритми створення дискових серверних систем. При створенні ж матриці більшого обсягу потрібно серйозно задуматися про застосування контролерів з RAID 5. Наведені рекомендації мають, звісно, ​​умовний характер. Кожен конструктор повинен сам оцінити необхідність застосування тієї чи іншої технології, залежно від конкретних умов.

Як правильно зробити RAID-систему

Планування дискової системи RAID повинне розпочинатися задовго до придбання контролера з дисками або готового сервера з RAID. Адміністратор повинен чітко представляти характер завдань, що навантажують дискову систему, та способи збільшення швидкодії відповідно до витрат. Неабияку роль у цьому відіграє вибір операційної системи та програмного забезпечення. У разі самостійної установки RAID або повного складання сервера необхідно мати уявлення, яке обладнання та яка його організація дозволить отримати максимальну продуктивність при мінімальних витратах. Трирічний досвід роботи в галузі RAID-серверів та дискових підсистем надає кілька рекомендацій для користувачів, які бажають перейти на цю, поки що відносно невідому технологію.

Рекомендації будуть будуватися на таких фактах: велике поширення в Росії набули RAID-контролери виробництва американської фірми Mylex, а найбільш актуальними на сьогоднішній момент RAID-контролерами є системи з каналами WIDE/FAST SCSI-2 на шини PCI та EISA.

Які диски вибрати?

Насамперед необхідно вибрати дійсно надійні та якісні диски, здатні безперебійно працювати тривалий час. Серед інших характеристик варто звернути увагу на час напрацювання на відмову, яка в каталогах часто позначається MTBF (hours). Бажано, щоб цей показник був не менше 500 000 годин. Пам'ятайте, що можливість відмови дискової матриці як цілої системи збільшується зі збільшенням кількості дисків. Конструкція дисків умовно поділяється на механічну та електронну частину – дисковий контролер. Механічна частина повністю характеризується трьома параметрами: швидкістю обертання шпинделя (Spindle Speed), швидкістю позиціонування головки (Track-to-Track Seek) та щільністю запису інформації на один циліндр. Сучасні моделі жорстких SCSI-дисківвідомих фірм виробників мають швидкість обертання шпинделя 5400 та 7200 оборотів за секунду (rps). Вибір таких дисків дозволить зробити матрицю досить швидкою. Однак технологія виробництва дисків на 7200 rps є досить дорогою і менш надійною. Незважаючи на хороші характеристики за каталогами, диски на 7200 rps значно дорожчі. Їхня реальна ймовірність відмови у кілька разів вище, ніж 5400 rps. Якщо першочергове завдання створення RAID-матриці - швидкість, то вибір цих дисків очевидний, якщо потрібна надійність і економічність, то необхідні диски з 5400 rps.

Продуктивність дискової матриці залежить не тільки від продуктивності дисків, але і від їх числа та правильної конфігурації. Контролер диска переважно характеризується інтерфейсом (FAST SCSI-2, WIDE FAST SCSI-2 та інших.) і розміром кеша. Бажано, щоб об'єм кеша на диску був не менше 512 Кбайт. Цей, здавалося б, незначний факт дозволить збільшити продуктивність запису/читання, особливо при частих та малих транзакціях - адже в дисковій матриці цей кеш складається і за 10 дисків, а в результаті ви отримаєте вже не менше 5 Мбайт. Крім того, кеш значно допомагає роботі з шиною SCSI, що постійно мультиплексується. Вибір стандарту FAST SCSI-2 (8 біт даних) чи WIDE FAST SCSI-2 (16 біт даних) обумовлений іншими причинами. Стандартний FAST має пропускну здатність до 10 Мбайт/с, і якщо прийняти середню швидкість роботи диска за 2Мбайт/с, то за наявності менше 5 пристроїв на шині вона не буде вузьким місцем. При рівній чи більшій кількості бажаніший стандарт WIDE (20Мбайт/с). У ситуації, коли інформація знаходиться в кеші контролерів дисків, WIDE-шина дасть швидше результати. При самостійному складанні RAID на шині WIDE можна зіткнутися ще й з проблемою, що кабелі WIDE (68 pin) мають інший крок, і для виготовлення власного кабелю необхідна точна обтискна апаратура. Зробити його "в домашніх умовах" не вийде, а на російському ринку зараз представлені, в основному, стандартні кабелі на 3 роз'єми. З покупкою або виготовленням за кресленням FAST (50pin) кабелю зараз жодних проблем немає.

Важливим завданням є вибір ємності жорстких дисків. Наприклад, при організації RAID5 з корисним об'ємом 8 Гбайт можна поставити 3 диски по 4 Гбайт, 5 дисків по 2 та 9 дисків по 1 Гбайт. І тут платити доводиться за 12, 10 чи 9Гбайт обсягу, відповідно. Більша кількість дисків теоретично дасть більшу швидкість роботи матриці. Обмеження тут чисто конструктивні: кількість місць у корпусі, вентиляція і потужність блоку живлення. При розрахунку необхідної потужності джерела живлення слід пам'ятати, що диски споживають максимум енергії під час розкручування. B RAID-контролери мають можливість встановлювати план розкручування шпинделів дисків з метою розподілу в часі максимального навантаження.

Важливу роль дискових системах грають і корпуси. Для безперервної стійкої роботи дисків необхідний корпус із гарною вентиляцією та потужним блоком живлення. Посадочні місця під диски повинні бути розташовані таким чином, щоб між ними було достатньо відстані для повітря. Вентиляція має бути проточною, а не замкненою. Бажано, якщо є можливість встановити додаткову вентиляційну панель. Зараз на російському ринку з'явилося багато недорогих корпусів для RAID і практично всі вони мають конструктив гарячої заміни (Hot Swap). Придбавши такі корпуси для своєї системи, важливо звернути увагу - чи справді ці модулі дозволяють коректно та безпечно розривати та відновлювати SCSI з'єднання при працюючій машині. Завжди можна відмовитися від Hot Swap модулів на користь додаткового диска (дисків), які будуть перебувати в режимі гарячого резерву. Якщо вам потрібний дійсно довгопрацюючий сервер, то рекомендується подумати про резервних дискахі не піддавати себе спокусі використовувати їх збільшення обсягу матриці. Практично, напевно, через рік чи півтора ви вже не знайдете цю модель диска на світовому ринку.

Яка кількість каналів SCSI буде потрібна?

Сучасні моделі RAID-контролерів зазвичай мають до 3 SCSI-каналів. Так як ці вироби досить складні та дорогі, слід правильно вибрати модель. Якщо завдання користувача створити максимально дешеву дискову систему, вибирається мінімум каналів виходячи з кількості дисків, причому на один канал можна ставити не більше 7 пристроїв. Якщо ж завдання полягає в отриманні максимальної надійності та швидкодії, то найкращий варіант – це 3-х канальний контролер. Якщо ж потрібний компроміс, то можливі варіанти. Багатоканальний RAID дозволить збільшити швидкодію дискової системи через те, що канали працюють незалежно один від одного. Звертання до дисків різних каналах відбувається паралельно, а звернення по одному SCSI-каналу - в мультиплексорном режимі. У разі роботи RAID з кешем контролерів дисків швидкість передачі інформації обмежена лише пропускною здатністю SCSI-шини, і на багатоканальному варіанті RAID-контролера цей показник буде вищим. Для створення матриці дисків байдуже розташування пристроїв на SCSI шинах, головне, щоб їх кількість була не меншою за мінімальну для обраного рівня RAID (рис. 1).

(1x1)

Мал. 1. Способи організації дискових матриць

В ідеалі найшвидша дискова підсистема повинна мати 3-х канальний RAID-контролер та один або два диски на кожен канал. Зручність багатоканального RAID полягає і в тому, що можна створити на кожному каналі свою матрицю (Pack), визначити кожну з них як системний диск та настроїти роботу користувачів таким чином, щоб незалежні групи спілкувалися з різними матрицями (рис. 2). За такої організації трафік одного системного дискапрактично не впливатиме на роботу іншого.

(1x1)

Мал. 2. Схема конфігурації матриць для різних груп користувачів

У масштабах локальної мережіефективність роботи такого сервера може значно збільшитись. Хоча RAID-контролери самі по собі надійні і майже не схильні до поломок в процесі експлуатації, при використанні багатоканального RAID існує додаткова гарантія відмови стійкості сервера, коли у разі виходу з ладу одного з каналів, завжди є можливість переставити диски на інші і продовжувати роботу. З технічної точки зору установка одного або багатоканального контролера абсолютно однакова. Багатоканальний не потребує додаткових слотів розширення, додаткового живлення тощо. Він використовує ті ж утиліти для конфігурації і також повністю сумісний зі стандартною ПК платформою, а обмеження тут тільки фінансові, наприклад, недорога модель одноканального RAID-контролера фірми Mylex на сьогодні коштує близько 1000 дол. Збільшення на один канал обійдеться додатково десь у 25 %. На додаток, можна порадити майбутнім конструкторам RAID-систем не встановлювати на SCSI канали RAID-контролера повільні пристрої типу CD або стрімера. Хоча теоретичних заборон на це немає, але практичний досвід роботи показує, що ці пристрої сповільнюють роботу матриці, особливо якщо вони підключені не на окремий канал. Найкраще рішення в цьому випадку – це поставити додатковий недорогий SCSI-контролер.

Вибір типу RAID-алгоритму

Для досягнення максимальної продуктивностіДля роботи сервера необхідно правильно підійти до вибору RAID-алгоритму. Як відомо, найшвидший доступ до дискової системи забезпечує RAID0. Цей алгоритм хороший для віртуальних дисків, що використовуються для проміжного зберігання інформації в процесі роботи програми або організації файлу підкачки. Можливе також використання цього алгоритму для зберігання великих обсягів інформації, некритичних до можливої ​​втрати, копії яких можна відновити з архіву. RAID0 не тільки найшвидший, але й алгоритм, що максимально використовує дисковий простір. RAID0 - краще рішеннядля потужної графічної станції, що працює з дуже великими обсягами мультимедіа-файлів у реальному часі, коли кеш не рятує. За такої організації нам вдавалося досягати результатів запису/читання файлів розміром 200 і більше Мбайт, коли використання кешу вже виключається, і отримувати продуктивність до 14 Мбайт/с. Пікова швидкість у разі при розмірах файлів 15 Мбайт досягає 30 Мбайт/c (рис.3).

(1x1)

Мал. 3. Продуктивність читання/запису RAID-системи залежно від довжини файлу

Алгоритми RAID5 та RAID1 застосовують для віртуальних дисків, головна вимога до яких – надійність зберігання даних. Це файли даних, резервного копіювання, інстальоване та налаштоване програмне забезпечення, операційні системи, робочі модулі та дані серверів друку, поштових серверіві т.д. Ці диски можна виділяти для зберігання особливо важливих архівів і цінних файлів, які можуть знадобитися в будь-який момент. Ці рівні скорочують корисний об'єм дискового простору, але дозволяють бути впевненими у гарантованому збереженні даних. Важливою особливістю є те, що можна зробити кілька віртуальних системних дисків з різним рівнем RAID на одній дисковій матриці. Організація цих дисків залежить від кількості SCSI-каналів, від кількості, ні від розташування фізичних дисків. Перед конфігурацією віртуальних дисків потрібно чітко уявляти, який обсяг для якого рівня RAID необхідний. Небажано створювати диски з обсягом, що дорівнює необхідному на сьогоднішній момент. Завжди залишайте як мінімум запас 25% на розширення. Це з тим, що переробка обсягу віртуальних дисків може спричинити адміністратора багато проблем: архівацію всіх даних на стример, зупинку сервера, переконфігурацію, відновлення даних. У гіршому випадку це просте непередбачення ситуації може обійтися як мінімум днем ​​роботи адміністратора. Якщо користувач має строгі, розмежовані за функціями групи користувачів, то для них корисно зробити різні віртуальні диски, Нехай навіть з однаковим рівнем RAID. Це полегшить адміністрування та, можливо, дасть збільшення продуктивності. Хорошим рішенням є створення віртуальних системних дисків для різних груп користувачів різних матрицях (pack). У цьому випадку до мінімуму зводиться кількість транзакцій, що конфліктують, що може істотно підвищити продуктивність сервера. У висновку слід також застерегти адміністратора від створення великої кількості дрібних дисків - у цьому випадку він ризикує потрапити в ситуацію, коли не вистачить місця на жодному з них для інсталяції програмного забезпечення, хоча загальний обсяг дискового простору дозволив би зробити це.

Сергій Романчиков ([email protected]) - генеральний директор компанії "Крон-студія" (Москва).

В інтернеті є безліч статей з описом RAID. Наприклад, ця описує все дуже докладно. Але як завжди, читати все не вистачає часу, тому треба щось коротеньке для розуміння - а треба воно чи ні, і що краще використовувати стосовно роботи з СУБД (InterBase, Firebird або щось інше - насправді все одно). Перед вашими очима – саме такий матеріал.

У першому наближенні RAID це об'єднання дисків на один масив. SATA, SAS, SCSI, SSD – неважливо. Більше того, практично кожна нормальна материнська плата зараз підтримує можливість організації SATA RAID. Пройдемося по списку, які бувають RAID та навіщо вони. (Хотів би відразу помітити, що в RAID потрібно поєднувати однакові диски. Об'єднання дисків від різних виробників, від одного але різних типів, або різних розмірів - це пустощі для людини, що сидить на домашньому комп'ютері).

RAID 0 (Stripe)

Звичайно, RAID 0 дає прискорення в роботі через чергування читання/запису.

RAID 0 часто використовують для розміщення тимчасових файлів.

RAID 1 (Mirror)

Під час збою ретельно перевіряйте, який саме диск збив. Найчастіший випадок гинути даних на RAID 1 - це невірні дії при відновленні (як "цілі" вказаний не той диск).

Щодо продуктивності - за записом виграш 0, за читанням - можливо до 1.5 разів, тому що читання може здійснюватися "паралельно" (по черзі з різних дисків). Для баз даних прискорення мало, тоді як із паралельному зверненні до різних (!) частинам (файлам) диска прискорення буде абсолютно точно.

RAID 1+0

RAID 2-3-4

RAID 5

Зазвичай говориться, що "RAID5 використовує незалежний доступ до дисків, так що запити до різним дискамможуть виконуватися паралельно". Слід мати на увазі, що йдеться, звичайно, про паралельні запити на введення-виведення. Якщо такі запити йдуть послідовно (у SuperServer), то звичайно, ефекту розпаралелювання доступу на RAID 5 ви не отримаєте. Зрозуміло, RAID5 дасть приріст продуктивності, якщо з масивом працюватимуть операційна система та інші додатки (наприклад, на ньому перебуватиме віртуальна пам'ять, TEMP тощо).

Взагалі RAID 5 раніше був найчастіше використовуваним масивом дисків до роботи з СУБД. Зараз такий масив можна організувати і на дисках SATA, причому він вийде істотно дешевше, ніж на SCSI. Ціни та контролери ви можете переглянути у статтях
Причому, слід звернути увагу на обсяг дисків, що купуються - наприклад, в одній із згаданих статей RAID5 збирається з 4-х дисків об'ємом 34 гіг, при цьому обсяг "диска" виходить 103 гігабайти.

Тестування п'яти контролерів SATA RAID

Жорсткі диски у нашому комп'ютері відіграють дуже важливу роль. Там зберігається вся інформація. Не хочеться втрачати все відразу через відмову харда. А вони, як відомо, також мають свій ліміт напрацювання на відмову. Напевно, багато хто з вас чув про деякі RAID-масиви. Роблять їх для прискорення роботи комп'ютера та безпеки даних. Давайте докладніше поговоримо про це.

Що таке RAID, і для чого він потрібний

RAID - дисковий масив із кількох жорстких дисків. Практично RAID-масив є системою, що налічує від двох жорстких дисків, підключених до материнської плати, що підтримує можливість створення масивів (або ж до raid-контролера). Що таке RAID-контролер? Пристрій, що управляє вашим масивом та супутніми роботами процесами. Зазвичай їх використовують на серверних машинах. Пересічним користувачам така іграшка малокорисна - недешево і малоефективно, враховуючи обсяги інформації, що обробляються рядовим комп'ютером. При створенні RAID-масиву апаратна начинка комп'ютера не зміниться. Програмно вся робота з рейдом проводиться в bios-і, тобто нічого трудомісткого.

SCSI RAID: на відміну від класичного масиву

SCSI – це інтерфейс, фізичний тип підключення пристрою. Він відрізняється від звичних нам інтерфейсів IDE або SATA, в першу чергу іншим алгоритмом роботи, що забезпечує більш високу швидкість, та завищеною, щодо останніх, ціною. Поширення отримав на масштабних серверних машинах, серед звичайних комп'ютерів встановлюється рідко.

Встановлення RAID-масиву

1. Знаходимо материнську платуза допомогою рейд-масивів або SCSI RAID.
2. Беремо два абсолютно однакові диски, підключаємо.
3. Заходимо до bios (залежить від моделі мат. плати).
4. Параметр SATA Configuration виставляємо RAID.
5. У процесі завантаження комп'ютера натискаємо Ctrl+I.
6. Налаштовуємо рейд.

Готово! Важливо: під час створення RAID-масивів вся інформація з дисків видаляється!

Види масивів

• RAID 0 – дисковий масив для підвищення продуктивності.
• RAID 1 – "дзеркальний" дисковий масив.
• RAID 2 – масиви, які використовують код Хеммінгу.
• RAID 3 і 4 - масиви дисків із чергуванням та виділеним диском парності.
• RAID 5 - диски з чергуванням та невиділеним диском парності.
• RAID 6 - диски з чергуванням та двома незалежними парностями.
• Існують ще рейди 10, 50, 60. Але це надто складні конструкції.

Докладніше зупинимося на двох самих популярних версіярейд-масивів. Це, відповідно, RAID 0 і RAID 1. Навіщо потрібен RAID 0? Все не так складно. Принцип роботи масиву полягає у паралельній роботі різних фізичних пристроїв, що видаються системі за одне. Тобто, це безпосередньо підвищує швидкість роботи системи, просто уявіть: у вашому raid 0 масиві беруть участь два диски. Ви записуєте дані об'ємом 10 гігабайт. Якби у вас не був створений масив, то довелося б записувати їх на конкретний диск, другий при цьому обов'язково простоював. У випадку з рейд 0 масивом ваші дані побайтово діляться на кілька потоків, а також записуються на носій рандомно. Тобто, один фільм може зберігатися на двох фізичних пристрояходночасно, причому на одному буде лише 30% від його "ваги". Мінус RAID 0 без відмовостійкості. Більше того, якщо з ладу виходить один диск, дані з другого вам теж не вдасться відновити.

Тепер поговоримо про RAID 1. У разі цього масиву вам доведеться використовувати кілька додаткових дисків для "дзеркального копіювання". Якщо у вас бере участь лише два диски в масиві, то це виглядає так: ви працюєте з диском номер 1, а комп'ютер дублює всі ваші дії для диска 2. У разі відмови пристрою всі ваші дані будуть в цілості і безпеці перебувати на дублюючому диску. Безпечно, безперечно. Мінусом рейд 1 можна назвати втрату продуктивності.

Для чого потрібний RAID-масив, ви тепер знаєте, залишилося лише визначитися з тим, що вам більше підходить. Збереження даних чи приріст продуктивності? Особиста справа кожного!

Дисковий масив з ретро нотками.

На плечах RAID-контролерів лежить відповідальне завдання - керування дисковою підсистемою, тобто усією інформацією, що зберігається на сервері. Саме вони відповідають за роботу дискових масивів, що дозволяє підвищити продуктивність сервера або надійність зберігання даних. Тому давайте поговоримо про RAID-контролери, встановлені в сервери вендорів «великої трійки», про їх можливості та особливості.

Що таке RAID-контролер?

Проблеми продуктивності і стійкості до відмови дискової підсистеми вирішуються за допомогою створення масивів: логічних структур, в які за допомогою RAID-контролера об'єднується кілька накопичувачів - жорстких дисків і SSD. При цьому масив виглядає для системи єдиним простором для зберігання даних.

Існує багато видів масивів, що відрізняються продуктивністю, надійністю зберігання даних та мінімально необхідною кількістю дисків. Вибір конкретного виду залежить від ваших завдань та потреб, а також від можливостей RAID-контролера.

RAID-контролери діляться на:

• Програмні. Все навантаження з управління масивом лягає на центральний процесор. Найменш продуктивне та відмовостійке рішення.
• Інтегровані. Вбудовані у материнську плату. Окремий чіп виконує частину завдань з управління, але все ж таки теж задіює центральний процесор. Інтегровані контролери можуть мати власну кеш-пам'ять. У порівнянні з програмними, підтримують більше видів масивів, працюють куди швидше та надійніше.
• Апаратні. Виконані у вигляді плат розширення або окремих пристроїв, що розміщуються поза сервером (зовнішні або мостові контролери). Оснащені власним процесором, який виконує всі необхідні обчислення, і, як правило, кеш-пам'яттю. Модульні контролери можуть мати зовнішні та внутрішні порти:
  • Внутрішні - призначені для підключення накопичувачів, встановлених сам сервер.
  • Зовнішні – використовуються для підключення зовнішніх дискових сховищ.

Якщо на борту RAID-контролера є кеш-пам'ять, то вона може використовуватися для проміжного зберігання даних, що записуються або зчитуються. Це дозволяє ефективніше керувати операціями введення/виводу.

Щоб при збої живлення не втратити дані, що знаходяться в кеші, використовується два різні підходи:

• контролер оснащується власною батареєю (BBU - Battery Backup Unit), що дозволяє зберігати дані в пам'яті до 3 діб,
• або додатковою флеш-пам'яттю, що живиться від ємного конденсатора. При збої живлення до неї вивантажує вміст кешу. А оскільки флеш-пам'ять споживає дуже мало енергії, то дані в ній зберігаються місяцями. Зверніть увагу, що флеш-пам'ять використовується лише під час збою живлення.

Деякі RAID-контролери дозволяють збільшити обсяг кеш-пам'яті та встановити батарейку, якщо вони не мають. Чим більший розмір кешу контролера, тим вища продуктивність RAID-масивів.

RAID-контролери в серверах великої трійки

HP: Gen7, Gen8, Gen9
Dell: Gen11, Gen12, Gen13
IBM: M3, M4, M5

Більшість RAID-контролерів HP та Dell спочатку підтримують усі основні види масивів. У IBM таких моделей - на пальцях перерахувати, майже в кожному випадку доведеться встановлювати на контролер 1-2 додаткові модулі апгрейду, що не дуже зручно.

Інша цікава особливість RAID-контролерів IBM - більшість їх застосовуються в серверах кількох поколінь. У HP та Dell інша схильність – з випуском нового покоління серверів вони зазвичай випускають і нове покоління контролерів.

Як вибрати відповідний контролер?

Вам потрібна хороша продуктивність, але не турбує збереження даних? Чи хочеться з невеликими зусиллями підвищити стійкість до відмов, поступившись швидкістю? Знадобився простий веб-сервер для потреб розробки? Достатньо вибрати недорогий контролер і створити RAID 0 або 1. Можна навіть без кеш-пам'яті.

За бажання заощадити на накопичувачах або вичавити всю можливу ємність з наявних, розгляньте варіант з RAID 5 або 50. Це цілком придатне рішення для створення архівів. Для таких завдань достатньо взяти контролер із підтримкою потрібного вигляду RAID та кеш-пам'яттю середнього об'єму.

При створенні високошвидкісних і надійних масивів під бази даних або великих сховищ під файлові сервери потрібні продуктивні контролери з великим обсягом кеш-пам'яті та високою пропускною здатністю. Це той випадок, коли економія на одному пристрої може звести нанівець всі ваші зусилля.

Теги: Додати теги

Щоб об'єднати кілька жорстких дисків у RAID-масив, крім наявності самих дисків потрібно ще й контролер. RAID-контролер - це свого роду виконроб, керуючий бригадою HDD. Вони діляться на три тини: програмні, інтегровані та апаратні. Для побудови RAID-масивів високих рівнів з більш ніж 6-8 дисками краще використовувати апаратні контролери, оскільки за високого навантаження вони забезпечують мінімальну затримку в роботі. Крім того, громіздкі RAID-масиви, керовані програмно, створюють серйозне навантаження на процесор комп'ютера.

Незважаючи на очевидні переваги RAID-масивів, потрібно пам'ятати і про недоліки: високий рівень шуму (чим більше дисків, тим більше шум) та труднощі у разі перенесення масиву на інший комп'ютер. Навіть при підключенні того ж самого контролера на іншому комп'ютері і дисків в тому ж порядку тими ж кабелями немає гарантії, що на іншому залізі RAID запрацює. Гарантовано він працюватиме на запис та читання тільки на тому обладнанні, на якому було створено, а у разі найменшої зміни комплектуючих можуть виникнути проблеми, що потребують додаткових налаштувань.

Програмні RAID контролери

Під програмними RAID-контролерами, як правило, маються на увазі рішення для організації RAID-масивів на рівні драйверів операційної системи. Mac OS X, багато Linux-дистрибутивів, а також деякі професійні редакції Windows мають вбудовані засоби для створення найпростіших дискових масивів стандарту RAID 0,1,0+1 і, рідше, RAID 5. Таким чином, маючи парочку HDD, можна легко організувати масив засобами операційної системи. Щоправда, у цьому випадку чекати високої продуктивностіне варто: такий спосіб організації RAID повністю залежить від «заліза вашого комп'ютера, оскільки для координації роботи дисків за діють ресурси центрального процесора і пам'яті, що може призвести до зниження продуктивності системи в цілому. Крім того, організовувати RAID-масиви для зберігання важливих даних на рівні операційних систем не рекомендується - такі масиви вкрай нестійкі до збоїв та помилок, тому ризик втрачено, інформація при збої операційної системи дуже велика.

Інтегровані RAID контролери

Якщо раніше RAID-масиви цікавили лише професіоналів, то сьогодні інтегровані RAID-контролери з підтримкою базових рівнів (достатніх задоволення потреб домашнього користувача) можна зустріти як на серверних материнських платах, а й у звичайних моделях, призначених для суто домашніх ПК. Як правило, це все ж таки «напівапаратні» рішення, тобто встановлений шлі па платі чіп координує роботу, але для обчислень все одно звертається до ЦПУ, оскільки не має на борту свого власного процесора. Проте, на відміну від повністю програмних контролерів, такі рішення працюють набагато стабільніше (RAID-масив «визначається* ще до завантаження ОС), оскільки апаратна «Підміна» відбувається на рівні прошивки материнської плати. З RAID-масивами в таких системах можна працювати не тільки в ОС, а й в оболонках завантажувальних та дискових менеджерів. Інтегровані контролери на сучасних материнських платах, як правило, підтримують базові рівні RAID 0,1.5 і 10 (зазвичай з розрахунку використання в системі не більше 6-8 дисків) та забезпечують дуже високу швидкість роботи в масивах традиційних жорстких дисків. Таким чином, для організації домашнього RAID-масиву з невеликої кількості жорстких дисків можливостей інтегрованого в материнську плату контролера часто більш ніж достатньо.

Апаратні RAID контролери

Для створення високопродуктивних RAID масивів з великою кількістю жорстких дисків існують контролери, виконані у вигляді окремих плат з інтерфейсом PCI Express. Їхня вартість варіюється у великому діапазоні, і топові рішення можуть коштувати в десятки разів більше, ніж усе «залізо» сучасного десктопу разом узяте. Справа в тому. що такі плати, по суті, є мікрокомп'ютерами» в комп'ютері, тобто мають свій власний обчислювальний процесор і навіть пам'ять для координації масивів з більшої кількості жорстких дисків і роблять все це з мінімальними затримками і без зайвих звернень до центрального процесора. З огляду на високу вартість використовувати їх у домашніх системах навряд чи стоїть, тим більше що у найпростіших схемах RAID 0 або RAID 1 з двома жорсткими дисками приросту продуктивності порівняно з хорошим інтегрованим контролером, швидше за все, не буде.

Апаратні контролери можуть дати більший приріст продуктивності в порівнянні з інтегрованими рішеннями при створенні масивів із SSD-накопичувачів або при створенні RAID-масивів високих рівнів із шести традиційних дисків. Крім того, дорогі апаратні RAID-контролери часто сумісні з професійними швидкісними жорсткими дисками з інтерфейсом SAS (він зазвичай використовується в серверах) і можуть мати додаткові засоби для підвищення стійкості до відмови: власну кеш-пам'ять на платі, можливість роботи від акумулятора для збереження вмісту кеш- пам'яті у разі збою електроживлення та засобу апаратної корекції помилок нальоту.

Зрозуміло, апаратні контролери, на відміну від програмних та інтегрованих, підтримують набагато більше схем RAID, деякі навіть надають можливість використовувати нестандартні рівні, а також дозволяють будувати складні гібридні масиви з різних рівнів RAID з одночасним використанням жорстких і твердотільних дисків.