Розселення комунальних сховищ

Технологія зберігання даних SAS була безперечним вибором для організації корпоративних сховищ даних протягом двох десятиліть – завдяки балансу продуктивності та вартості, високому рівню надійності та масштабованості. Вона використовує розширювачі SAS як економічно ефективний спосіб нарощування та керування надзвичайно великими масивами даних.

Боротьба за швидкодію

Якби ж справа була тiльки в обсягах зберiгання. Вимоги критичних до продуктивності додаткiв призвели до появи NVMe, швидкісного протоколу обміну даними з накопичувачами на флеш-пам’яті. Твердотільні NVMe SSD корпоративного рівня кращі за носії з інтерфейсом SAS за рівнем затримок і значно продуктивнішi в операціях, як з послідовним, так і довільним доступом. Під інтенсивними одночасними запитами їм нема рівних, бо в протокол закладена паралелізація обробки вводу-виводу, а шина PCIe забезпечує прямий доступ CPU до даних по кількох смугах.

Технології не змінюють одна одну миттєво. До того ж у рiзних накопичувачів різні ролі в інфраструктурі зберігання даних. Cтандарти співіснують пліч-о-пліч впродовж довгого часу. Зі сумішами дискiв SAS і SATA простіше – ними керують ті самі контролери. Дискові кошики, об'єднувальні плати, кабельне господарство – все спільне. Інша справа NVMe SSD. За своєю природою вони не потребують посередників (контролерів на шині PCIe), що пропускають потік даних через себе. Хоча у масових серверах прижився стандарт U.2 (2.5” NVMe SSD) – для сумісності з типовими дисковими кошиками гарячої заміни, підсистема вводу-виводу серверів зазнала радикальних змін. В серверах з'явилися гібридні об'єднувальні плати з двома наборами комутації, двома  сигнальними системами, двома жмутами кабелів: окремо під SAS/SATA, окремо під U.2.

Хибна стежка Tri-mode/U.3

З подачi та пiд впливом розробникiв RAID-контролерiв iндустрiя зробила крок оманливою доріжкою «унiверсальностi». Нове покоління трирежимних (Tri-mode) RAID-контролерiв здатне обслуговувати накопичувачi SAS/SATA/NVMe. Запропонований згодом стандарт U.3 сховища з універсальними відсіками 2.5” та автовизначенням типу дискiв посилив прив’язку дискових пiдсистем до таких контролерiв. Трирежимна платформа U.3 побудована на однорідній конструкції об'єднувальної плати та єдиному типі роз'єму. Її обов'язкові елементи: (1) трирежимний контролер; (2) унiверсальнi роз'єми; (3) універсальна структура управління (Universal Bus Management).

Уявна кориснiсть автоматичного визначення типу диска, єдиного кабельного підключення та спрямування трафіку даних виявилася ілюзією. Навiть спільне використання дисків SAS та SATA під одним контролером  - рiдкicть. Додавання NVMe до цієї комбінації має ще менше сенсу - пiдключення Tri-mode контролера до шини PCIe максимум по 16 лініях вбиває потенціал продуктивності (один NVMe потребує чотирьох ліній). Про її масштабованicть навiть не йдеться. Такi контролери значно дорожчi за попередникiв SAS/SATA - що саме по собi знецінює аргументи про економію на кабелях та комфорт користувача.

Розмежування повноважень

У роз'ємі U.2 лінії SAS/SATA відокремлені від ліній NVMe, що дозволяє розробникам систем незалежно масштабувати рішення за допомогою доступних розширювачів SAS та комутаторів PCIe. Наприклад, сервернi платформи ASUS 2U / 24 x 2.5” – NVMe-ready, всі посадкові місця під диски приймають U.2 або U.3 SSD. Частина з них підключена до портів SATA на материнській платі. Додавши апаратний HBA або RAID-контролер, у 8 відсіків можна поставити SAS/SATA SSD (HDD).

Оскільки Tri-mode RAID-контролери обмежують можливостi NVMe, пошуки продуктивних рiшень спрямованi на розкриття  потенціалу флеш-накопичувачів за рахунок збiльшення паралелізму, шинного та пристроїв обробки. Полювання за продуктивнiстю виключає об'єднання світів SAS та NVMe cпiльними елементами комунальних сховищ. За межами обчислювального хоста все окреме: схемотехнiка пiдключення, кабельне господарство, механiзми захисту даних за допомогою RAID.

NVMe понад усе

Все йде до того, що сервери додатків з переважно «гарячими» даними перейдуть повністю на NVMe. Таких даних багато не буває, а набрати кілька десятків терабайт ємними NVMe SSD нескладно (і не так вже й дорого, враховуючи призначення серверів). Платформи 1U / 10-12 x U.2/ U.3, одно- або двопроцесорні, стають основою серверів баз даних, високошвидкісних обчислювачів, серверів аналітики, вузлів гіперконвергентної інфраструктури. Місця для SAS/SATA SSD там немає, вже не кажучи про HDD.

Доля HDD

Високоємні механічнi диски залишаються носіями «холодних» даних: фільмотек, систем відеоспостереження, сховищ резервних копій, архівів. Коли HDD складають основну частину кошторису, питома ціна зберігання має вирішальне значення. Зазвичай у таких системах переважають потокові операції з послідовним доступом до даних, де переваги SSD майже невідчутні – тому їх там немає.

За потреби розміщення сотень терабайт даних доречний модульний розподіл: керуючий сервер окремо, механічні диски окремо - в полиці JBOD, підключенiй до хоста по 12G SAS. Так досягається висока щільність зберігання та забезпечуються комфортні умови дискам. Анатомія JBOD протистоїть двом основним ворогам HDD - наведеній вібрації та перегріву. Сучасний JBOD вміщує десятки дисків 3.5" з гарячою заміною, має дубльовані модулі вводу/виводу і кілька портів SAS для підключень хостів та інших полиць. Масштабується ємність сховища їх каскадним додаванням.

Прикладом є популярна лінійка WD Ultrastar Data60 ємністю до півтора петабайт в 4U.

Роз'їзд

Розподіл ролей і «житла» між носіями різного типу є логічним при побудові місткого продуктивного ZFS-сховища. В об'ємному зберіганні альтернативи механічним дискам немає. Але крім основних пулів даних є допоміжні дані: кеш адаптивної заміни другого рівня  L2ARC, журнал намірів запису ZIL (SLOG), метадані (таблиці, індекси, вказівники, які визначають адресну структуру пулів). Зазвичай вони замішуються з основними даними на тих же (повільних) носіях. Просідання продуктивності від сумісного розміщення можна зменшити, зберігаючи допоміжні дані на SATA SSD або NVMe. Таке відокремлення прискорює адресацію, вичитку, сприяє захисту даних без втрати швидкодії.

Розробники найпоширенішої (завдяки відкритому коду) ОС зберігання TrueNAS на файловій  системі OpenZFS подають приклад: «Оптимальним пристроєм SLOG є невеликий пристрій на основі флеш-пам’яті, такий як SSD або карта NVMe, завдяки притаманній їм високій продуктивності, низькій затримці та, звичайно, стійкості у разі втрати живлення. Ви можете віддзеркалити свої пристрої SLOG як додатковий запобіжний захід і будете здивовані, яке підвищення швидкості можна отримати лише за кілька гігабайт окремого зберігання журналів. Ваш пул накопичувачів матиме продуктивність запису як у флеш-масиву з ємністю традиційного масиву на механiчних дисках. Ось чому ми постачаємо кожну механiчну дискову систему TrueNAS із SLOG на високопродуктивній флеш-пам’яті, це стандартна опція нашої лінійки FreeNAS Certified».

Тож робимо ємний JBOD «тілом» зберігання сотень терабайт даних. Підключаємо його по 12G SAS до «голови» - 1U-сервера з CPU, RAM, мережевими картами та наборами NVMe під допоміжні дані. Настроюємо. Насолоджуємось продуктивністю.

План життєздатний і для інших програмно-визначених сховищ, наприклад, Ceph.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365