IBM NorthPole – енергоефективний чип для нейронних мереж з орієнтацією на inference

Компанія IBM оголосила про розробку NorthPole – спеціалізованого процесора з покращеною енергоефективністю, який оптимізований для роботи з нейронними мережами, орієнтованими на inference. Зазначається, що NorthPole нічого не робить для зниження енерговитрат під час навчання нейронної мережі, він призначений виключно для виконання. Примітно, що хоча NorthPole запозичує деякі ідеї у нейроморфних обчислювальних чіпів, включаючи ранішій TrueNorth компанії IBM, це не нейроморфне обладнання, оскільки його обчислювальні блоки виконують обчислення, а не намагаються емулювати спайки, які використовують справжні нейрони.

Таким чином, NorthPole, як і TrueNorth до нього, складається з великого масиву (16×16) обчислювальних блоків, кожен з яких включає як локальну пам'ять, так і місткість для виконання коду. Таким чином, усі ваги різних зв'язків у нейронній мережі можуть зберігатися саме там, де вони потрібні.

Ще однією особливістю чіпа є широка мережева організація на кристалі, що включає не менше чотирьох окремих мереж. Одні з них передають інформацію про завершені обчислення в обчислювальні блоки, де вона необхідна надалі. Інші використовуються для реконфігурації всього масиву обчислювальних блоків, забезпечуючи нейронні ваги та код, необхідні для виконання одного шару нейронної мережі, тоді як обчислення попереднього шару ще тривають. Нарешті оптимізуються зв'язки між сусідніми обчислювальними блоками. Це може бути корисним, наприклад, для пошуку краю об'єкта на зображенні. Якщо зображення вводиться таким чином, що сусідні пікселі потрапляють на сусідні обчислювальні блоки, їм легше взаємодіяти для виявлення ознак, що поширюються на сусідні пікселі.

Кожен обчислювальний блок оптимізований для роботи з низькою точністю - від двох- до восьми бітної. Хоча для навчання часто потрібна вища точність, значення, потрібні в процесі виконання, зазвичай не вимагають такого рівня точності. Щоб зберегти ці пристрої ефективними для виконання, вони не здатні виконувати умовні розгалуження за значенням змінних, тобто у коді не може бути оператора "if". Це усуває необхідність апаратного забезпечення, необхідного для спекулятивного виконання розгалужень, і гарантує, що у разі помилкової спекуляції буде виконано неправильний код.

Така простота виконання робить кожен обчислювальний блок здатним до масивного паралельного виконання. При дворозрядній точності кожен блок може виконувати понад 8000 паралельних обчислень.

Команді, що створила NorthPole, довелося розробити власне навчальне програмне забезпечення, яке визначає такі речі, як мінімальний рівень точності, необхідний для успішної роботи кожного шару.

Виконання нейронних мереж на чіпі також є досить незвичайним процесом. Після того як ваги та зв'язки нейронної мережі поміщені в буфери на чіпі, для її виконання потрібно лише зовнішній контролер - як правило, центральний процесор - завантажити дані, з якими вона повинна працювати (наприклад, зображення), і дати команду на запуск. Решта виконується без участі процесора, що також має обмежити енергоспоживання на рівні системи.

Тестові чіпи NorthPole були побудовані по 12 нм техпроцесу, і на 22 млрд транзисторів вдалося вмістити 256 обчислювальних блоків, кожен з яких має 768 КБ пам'яті. З порівнянням системи з графічним процесором Nvidia V100 Tensor Core, виготовленим за аналогічним техпроцесом, з'ясувалося, що NorthPole може виконувати у 25 разів більше обчислень за тієї ж споживаної потужності. При цьому за аналогічним показником він може перевершити сучасний GPU приблизно п'ять разів. Випробування системи показали, що вона також може ефективно виконувати ряд поширених нейромережевих завдань.

Зараз тести процесора NorthPole проводилися при його розміщенні на PCIe-карті, оскільки чіп поки що розглядається як дослідницький прототип, і для перетворення його в комерційний продукт будуть потрібні додаткові роботи. При цьому компанія не повідомила, чи прагнутиме до комерціалізації.

Одним із потенційних обмежень системи є те, що вона може працювати лише з тими нейронними мережами, які вміщуються у її апаратному забезпеченні. Якщо на один шар помістити занадто багато вузлів, то NorthPole не зможе з ним впоратися. Однак існує можливість поділу шарів та паралельного виконання їх сегментів на кількох чіпах NorthPole. Апаратні можливості для цього є, але поки що вони не тестувалися.

Проте, мабуть, найбільшим обмеженням є те, що ця система спеціалізована на вирішення однієї категорії завдань AI. Попри те, що вона широко використовується, ефективність тут значною мірою зумовлена розробкою апаратного забезпечення, яке добре відповідає типу виконання, необхідного для inference. Таким чином, попри те, що зусилля щодо зниження енергоспоживання деяких робочих навантажень AI дають позитивний результат, дослідники ще не досягли того рівня, коли можна було б створити єдиний прискорювач, що підходить для всіх випадків.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365