Рядові ролі NVMe-серверів

NVMe SSD витісняють всі інші типи носіїв із додатків, критичних до продуктивності - вони безпосередньо взаємодіють із CPU швидкісною шиною PCIe, без посередників. Дані NVMe передаються з малими затримками, в рази швидше, ніж за старими інтерфейсами, такими як хост-контролер AHCI SATA.

NVMe SSD на порядок перевершують пристрої SATA за кількістю операцій введення-виведення в секунду (IOPS) і обробляють до 64К черг вводу-виводу з глибиною 64К повідомлень у кожній такій черзі.

Джерело TechTarget

NVMe SSD підтримуються всіма основними операційними системами і в кінцевому підсумку замінять SATA як наступний галузевий стандарт не тільки в персональних комп'ютерах (де-факто, вже), але і в серверах.

Два роки тому обсяг NVMe SSD у серверах та системах зберігання вже перевищував сумарний збут SAS SSD та SATA SSD, і цей розрив лише зростає.

 Джерело: Trendfocus

Як видно з діаграм, SAS-інфраструктурі в центрах обробки даних нічого не загрожує – через величезні обсяги холодного зберігання на механічних дисках – але NVMe безперечно виживають диски SAS/SATA з операційних серверів.

NVMe - дорого? Ні

Ціною лякають зовнішні системи зберігання на NVMe – як NetApp AFA або Pure Storage. Сервери на NVMe не дорожчі за стандартні.

Якщо порівнювати типи накопичувачів за питомою ціною за гігабайт, то NVMe SSD під змішане навантаження читання/запису (Mix Use) вчетверо дорожче, ніж SATA HDD 7200 rpm, вдвічі – ніж Read Intensive SATA SSD, рівні за вартістю Mix Use SATA SSD та вдвічі дешевші за SAS SSD. Так, NVMe SSD ємністю 3.84TB коштує $550-600. Не відлякує.

Для SAS-пристроїв потрібні HBA та RAID-контролери. NVMe SSD обходяться без них – ОС підтримують програмну організацію захищених сховищ. Або дозволяють як VMware ESXI прокидати диски в гостьові ОС віртуальних машин - під робочі навантаження, критичні до продуктивності вводу/виводу. Потенціал продуктивності програмних NVMe RAID великий .

Що потрібно від серверів?

Під обслуговування NVMe потрібні сучасні багатоядерні CPU, а від платформ – чотири шинні лінії PCIe кожному NVMe SSD. Найекономічнішим варіантом NVMe-сервера буде односокетний сервер на AMD EPYC - його 128 ліній PCIe "прогодують" два десятки SSD (і ще залишиться на решту периферії).

Усталений стандарт накопичувачів та бекплейнів дискових кошиків NVMe-серверів - U.2 (2.5” NVMe SSD). Перспективи універсального U.3 під диски SAS/SATA/NVMe з автоматичним визначенням типу підключення є сумнівними: продуктивності не додає, зате вимагає контролерів Tri-mode (зайві витрати). Та й навіщо SAS/SATA у серверах, де потрібна продуктивність?

Є ще «лінійні» формати EDSFF, але вони – доля гіперскейлерів, де й самі сервери нестандартні, не рівня масовим, з каналу.

Приклади односокетних AMD EPYC серверів: Dell PowerEdge R6515, HPE ProLiant DL325, Lenovo ThinkSystem SR645, ASUS RS500A-E10-RS12, Gigabyte R162-Z10, Supermicro AS-1114CS.

Не в кожному з них бекплейни за замовчуванням оснащені роз'ємами під U.2, при замовленні треба бути уважним. У платформі ASUS RS500A-E10-RS12 дисковий кошик підтримує 12 накопичувачів SAS/SATA/NVMe. На її бекплейні розпаяно роз'єм SFF-8639, куди заведено лінії різних інтерфейсів. Мирне співіснування SATA SSD та U.2 дозволяє розподіляти дані додатків за відповідними носіями та переносити їх між ними без додаткових витрат, при модернізації чи зміні профілю навантажень.

Практичні сценарії

Дивлячись на показники NVMe SSD можна припустити, що найбільший профіт  отримають користувачі потокових додатків - як резервування та відновлення даних, редагування відео, рендеринг. Воно так, якби від переходу на NVMe не утримували обсяги зберігання – на десятках терабайт вигоди NVMe нівелюються вартістю накопичувачів.

Корпоративні користувачі NVMe працюють з даними випадкового доступу, яких не так багато, але де критична продуктивність. Пройдемося по прикладах:

• Бази даних (MS SQL)
• VPS (Proxmox/ZFS)
• Гіперконвергенція (MS S2D)
• Аналітика (Data warehouse)

Сервери баз даних

Слово Micron. Компанія виробляє різні види SSD, їй по суті все одно, що продавати. Не будемо сумніватися в об'єктивності публікацій на кшталт OLTP на Microsoft SQL Server with Micron 9300 PRO NVMe SSD: 2.5x Performance with Fewer Drives .

У тестах TPC-C з великою кількістю операцій запису зійшлися:

• 2-4 NVMe SSD (mirrored Storage Spaces)
• 8 SATA SSD (під керуванням RAID-контролера)

Порівнювалися показники продуктивності: кількість нових замовлень за хвилину (NOPM) та затримки запису до журналу транзакцій.

Два NVMe SSD виконали у 2.5 рази більше NOPM, ніж вісім SATA SSD, чотири NVMe – у 2.75 рази більше за NOPM. При записі SQL log затримки двох NVMe була на 95% нижчою, ніж у восьми SATA SSD. При масштабуванні до чотирьох NVMe затримки знизилися ще більше - до 99% нижче, ніж у конфігурації SATA SSD. Непоганий ефект при вдвічі-вчетверо меншій кількості дисків, без витрат на RAID-контролер.

VPS

Провайдери люблять Proxmox VE – програмне забезпечення з відкритим кодом для віртуалізації серверів. У платформу інтегровано сховище ZFS – комбінована файлова система та диспетчер логічних томів із різними рівнями надмірності. Віртуальні машини можуть спільно використовувати сховище. Його установки можуть бути розгорнуті, починаючи з одного вузла та розширюючись до кластера. При достатній потужності процесора та пам'яті продуктивність вузла збільшують за рахунок NVMe SSD (корпоративного класу).

У тестах Proxmox VE ZFS Benchmark with NVMe детально обговорюються порівняльні переваги NVMe у прив'язці до можливостей ZFS. Для тестів використовувався односокетний сервер на AMD EPYC із кількома накопичувачами U.2.

Гіперконвергенція

Це програмно-орієнтована архітектура, в якій інтегровані обчислювальні, мережеві ресурси та сховище. Можна купити налаштований кластер серверів x86 або програмне забезпечення для встановлення на свої сервери, що відповідають вимогам розробника.

Так, у Microsoft Windows Server реалізовано технологію розподіленого зберігання даних Storage Spaces Direct (S2D). У кластері Hyper-V локальні диски вузлів об'єднуються в стійке до відмов, масштабоване сховище, захищене від виходу з ладу як окремих дисків, так і цілих серверів. На пулах зберігання створюються віртуальні томи (диски) під загальні томи кластера Cluster Shared Volume (CSV) для зберігання файлів віртуальних машин Hyper-V та файлових шар SOFS-серверів. Виходить дешевше повноцінної SAN, а можливостей більше – за рахунок масштабування обчислювальної потужності та ємності зберігання. Технологію S2D можна вважати відповіддю Microsoft на VMware vSAN.

Тип дисків та мінімальна кількість у вузлі залежать від сценарію розгортання (продуктивний, для ємності, збалансований). Максимально продуктивною буде інфраструктура повністю на NVMe (мінімум чотири в кожному вузлі).

Сервери аналітики

І знову Micron: "Створення ефективних аналітичних платформ вимагає продуктивного сховища, запасу ресурсу перезапису, оптимізації DRAM". В огляді обговорюється вплив продуктивності послідовного та випадкового доступу на збирання та обробку великих обсягів даних аналітичних платформ.

Проектування платформ аналітики складніше, ніж просто вибір носіїв - на швидкість обробки запитів впливають оптимізація обсягу оперативної пам'яті і параметри SQL-сервера, що налаштовуються. Додавання RAM має побічний ефект - воно збільшує загальну швидкість запису в сховищі. Необхідно планувати витривалість SSD. Але висновки є відомими: накопичувачі NVMe набагато краще підходять для високошвидкісних операцій з об'ємними даними, сильно переважаючи SAS і SATA SSD в IOPS і потокових показниках.

Усі там будемо

Враховуючи швидкість, з якою NVMe SSD витісняють колишні носії, цим колишнім незабаром не залишиться роботи в серверах. Тяжіння екосистеми SAS, як і раніше, велике, когось утримує звичка, когось обмеження ПЗ, що використовується. Але все змінюється. Технічний прогрес неминучий.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365