Supermicro та IBM представили KV-кеш для швидшої роботи ШІ
У цьому матеріалі
Що пропонує Supermicro для KV-кешу
Supermicro 5 листопада 2026 року оголосила спільно з IBM та NVIDIA рішення для зберігання KV-кешу мовних моделей. Ідеться про інфраструктуру для повторного використання контексту, а не про нову модель ШІ.
Навіщо мовним моделям KV-кеш
Під час обробки запиту модель спочатку аналізує вхідні токени та створює проміжні стани ключів і значень — так званий KV-кеш. Якщо користувач знову звертається до того самого довгого контексту, повторне обчислення всіх станів витрачає час і ресурси графічних процесорів. Збереження цих станів дозволяє повторно використати частину виконаної роботи. Особливо це актуально для програмних агентів, помічників із кодом та пошуку за великими наборами документів.
З яких компонентів складається рішення
За офіційним повідомленням, архітектура поєднує флеш-сервери Supermicro Petascale на процесорах AMD EPYC 9005, програмне забезпечення IBM Storage Scale, систему керування інференсом NVIDIA Dynamo та мережеві комутатори NVIDIA Spectrum-X Ethernet. Важлива відмінність — кеш можна розміщувати у спільному сховищі поза локальною пам’яттю GPU. Це дає змогу розділити нарощування ємності кешу й обчислювальних ресурсів, хоча фактична користь залежить від мережі, характеру запитів та повторного використання контексту.
Що показали вимірювання
Supermicro заявляє про прискорення показника Time-to-First-Token, тобто часу до першого згенерованого токена, до 56 разів у спільному тестуванні з NVIDIA. Умови важливі: використовували мовну модель на 120 мільярдів параметрів і запити довжиною близько 130 тисяч токенів, порівнюючи конфігурацію з постійним KV-кешем із системою без нього. Коли довжина контексту зростала від 30 до 130 тисяч токенів, додаткова затримка в тесті становила 0,377 секунди з кешем проти 29,55 секунди без кешу. Це заявлені партнерами результати конкретного сценарію, а не незалежно доведене прискорення будь-якого чатбота в 56 разів.
Кому це може бути корисно
Підприємствам, що обслуговують багато одночасних запитів із повторюваними довгими контекстами, така архітектура потенційно допоможе краще завантажувати GPU. Наприклад, корпоративний помічник може неодноразово аналізувати той самий технічний посібник, а агент програмування — великий репозиторій. Проте якщо запити короткі або контекст постійно змінюється, вигода від повторного використання кешу може бути значно меншою. У повідомленні не наведено універсального прогнозу економії коштів для всіх клієнтів.
Що залишається невідомим
Компанії не оприлюднили єдиної роздрібної ціни такого комплексу, повного незалежного порівняння з усіма альтернативними сховищами чи гарантованої дати доступності кожної конфігурації. Тому наведені цифри варто сприймати як результати демонстрації партнерів, які ще потрібно перевіряти на реальних робочих навантаженнях. Водночас анонс показує, що швидкість ШІ залежить не лише від потужності графічних процесорів, а й від організації пам’яті та обміну даними.
Контекст: раніше ми писали про фінансові результати Supermicro та інфраструктурні труднощі датацентрів для ШІ. Ці матеріали описують інші події.
Джерело: офіційний пресреліз Supermicro від 5 листопада 2026 року.
