Платформи польових серверiв

Сервери переднього краю (edge-) обробляють дані в безпосередній близькості до джерел, що їх породжують - відеокамер, датчиків, вимірювальних пристроїв. Тобто працюють за межами традиційних центрів обробки даних, на периферії мережі, “в полях”. Наближення обчислювачів до генераторів даних усуває проблеми затримок передачі, якості зв’язку, продуктивності хмарних провайдерів та зменшує інформаційну надмірність.

CPU, GPU, FPGA, ASIC

Хоча центральні процесори серверів є універсальними обчислювачами, вимоги до продуктивності, затримок та енергоефективності породжують різноманітні рішення з GPU, FPGA або ASIC.

Графічні процесори GPU, створені для комп’ютерної графіки, стали у пригодi в навчанні нейронних мереж та їх роботі на кінцевих пристроях - завдяки потужній архітектурі паралельної обробки. Спеціальні інтегральні схеми «одного завдання» ASIC проектуються під певний набір функцій - на відміну від звичайного процесора, який можна використовувати під будь-яке навантаження. Програмовані логiчнi матриці FPGA більш гнучкі, ніж ASIC, але потребують більше енергії для роботи.

Зоряний час Nvidia

Розквіт популярності GPU забезпечили не геймери з дизайнерами, а масове впровадження штучного інтелекту (ШІ). Графічні обчислення є основою глибокого навчання, створення контенту, розпізнавання зображень, обробки мови.

Ще ніколи графічні процесори не були такими дорогими – і все одно продаються як гарячі пиріжки. На бумi попиту Nvidia отримує майже 1000% прибутку від кожного проданого прискорювача H100 (~$40K). За останнім звітом квартальний дохід Nvidia зріс на 206% рік до року, а надходження від продажу чипів для центрів обробки даних уп'ятеро перевищили доходи від ігрового сегменту.

Nvidia домінує в розробці чипів для систем штучного інтелекту з часткою понад 70%, поки конкуренти прагнуть скористатися зростанням галузей навколо ШІ. Половину доходу Nvidia з продажу старших графічних прискорювачів приносять глобальні провайдери хмарної інфраструктури. Для глибокого навчання i особливо для розвитку генеративного ШІ потрiбнi значні обчислювальнi потужностi.

Незалежно вiд того, в якiй нейромережi, в хмарi чи на власних серверах були навчанi моделi, їх практичне виконання (inference) - типова робота для серверів переднього краю.

Вимоги до edge-серверів

Яким бути серверу, визначає тип мережі, сценарій використання, місце розташування (зазвичай суворе середовище з обмеженим простором). Спеціалізованим його роблять апаратнi прискорювачі на шині PCIe. Поширені програмні моделі відпрацювання нейромереж потребують потужних серверних GPU.

Типові вимоги до базових платформ:

• Розширений діапазон робочих температур (бажано, 0°C ~ 55°C)
• Мала глибина шассі (400-450 мм)
• Підтримка двослотових повнорозмiрних (FHFL) прискорювачів
• Відмовостійке живлення
• Широкосмугове мережеве підключення

Бойовий загiн малюкiв-крiпишiв

Ось деякi приклади платформ edge-серверiв. Всi вони 1U, короткобазнi, з вiдмостійким живленням. Кожна по своєму цікава.

ASUS EG500-E11

Xeon SP 4th Gen / 2 x 2.5” hot-swap + 2 x E1.S + 2 x 2.5” internal + 2 x M.2 / 2x FHFL + 1 x FHHL / 2 x 10G

Dell PowerEdge XR11

Xeon SP 3rd Gen / 4 x 2.5” hot-swap / 2 x FHHL + 1 x LP / 2 x 25G SFP+

Gigabyte E152-ZE1

AMD EPYC 7003 Milan / 2 x 2.5” hot-swap + 2 x M.2 NVMe / 2 x FHFL + 1 x HHHL + 1 x OCP 3.0 / 2 x 1G

Quanta EGX63IS-1U

Xeon SP 3rd Gen / 2 x 2.5” hot-swap + 2 x M.2 NVMe / 2 x FHFL + 1 x FHHL / 4 x 25G SFP+ + 2 x 1G

Supermicro SYS-111E-FWTR

Xeon SP 4th Gen / 2 x 2.5” internal + 1 x M.2 NVMe / 2 x FHFL + 1 x LP / 2 x 10G

Інфозерна, інфополова

Компактнi сервери – це лише частина ринку обчислювачiв переднього краю. Але саме їм доводиться обслуговувати множинний доступ до IT-послуг (Multi-access Edge Computing, MEC). Власники борються за зниження витрат: у відеоспостереженнi, розпізнаваннi облич та номерних знаків автомобілiв, аналітицi великих даних. У шлюзах IoT, де доступна пропускна здатність не така висока, надсилання безлiчі подій у хмару дороге і неефективне порівняно з обробкою їх на межі. Кінцевою метою MEC є забезпечення оптимізованої обчислювальної інфраструктури з низьким часом затримки,  гнучкої у розгортанні, масштабованої вiдносно недорогими модулями.

I справдi, навіщо перенавантажувати транспортний зв’язок iнфосмiттям?

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365