MediaTek додала генеративний AI Llama 3 у чіпи для смартфонів

Слідом за тим, як компанія Meta презентувала модель велику мовну модель Llama 3 для застосунків AI, Mediatek перенесла цю модель із 8 млрд параметрів на чіпи Dimensity 9300, Dimensity 8300 і майбутні платформи з підтримкою Gen-AI.

Модель 9300 першою виходить на ринок з новітніми чіпами ARM Cortex-X4 і Cortex-A720, використовуючи по чотири процесори з власною архітектурою процесорного блоку AI (APU) з апаратним движком генеративного AI, який у 8 разів прискорює генеративний AI. У ньому використовується технологія стиснення пам'яті з апаратним прискоренням, щоб впоратися з величезними вимогами трансформаторного AI до пам'яті, і Mediatek стверджує, що він зможе обробляти моделі з 33 млрд параметрів. Чипи також є першими з пам'яттю LPDDR5T, яка працює на швидкості 9600 Мбіт/с, що наразі є найшвидшою у світі пам'яттю для смартфонів.

Порт заснований на базі платформи, яку MediaTek створила минулого року з Meta Llama 2. Mediatek стверджує, що реалізація Llama 3 забезпечить вищу чуйність, конфіденційність, безпеку і надійність для мовних нюансів, контекстуального розуміння і складних завдань, таких як переклад і генерація діалогів.

Llama 3 легко справляється з багатоетапними завданнями, а вдосконалені процеси посттренінгу значно знижують кількість помилкових відмов, покращують узгодженість відповідей і збільшують різноманітність відповідей моделей. Крім того, вона значно розширює такі можливості, як міркування, генерація коду, розуміння тексту, дотримання інструкцій і пізнання світу.

Розробники можуть використовувати Llama 3 за допомогою SDK NeuroPilot від MediaTek. NeuroPilot - це набір інструментів, що дає змогу оптимізувати можливості виведення GenAI на пристроях на базі низки чипів MediaTek, зокрема на мобільних платформах і пристроях із підтримкою edge-AI.