Supermicro lancia KV Cache Solution con IBM e NVIDIA dimostrando significativi vantaggi sulle prestazioni di inferenza
PR Newswire
SAN JOSE, California, 5 nov 2026
- La soluzione di cache chiave-valor (key-value, KV) integra server di archiviazione Supermicro Petascale, il software IBM Storage Scale, il software di inferenza NVIDIA Dynamo e switch Ethernet NVIDIA Spectrum-X;
- I test delle prestazioni dimostrano che la soluzione di cache KV riduce il Time-to-First-Token (TTFT) per le finestre a lungo contesto rispetto ai sistemi senza cache KV;
- I clienti possono migliorare notevolmente l'efficienza dell'inferenza grazie a un maggiore utilizzo della GPU, al rendimento e alla scalabilità dell'infrastruttura.
SAN JOSE, California, 5 nov 2026 /PRNewswire/ -- Supermicro, Inc. (NASDAQ: SMCI), un fornitore di soluzioni IT, IA, Enterprise, Storage e 5G/Edge Total con Data Center Building Block Solutions® (DCBBS), ha annunciato oggi una nuova soluzione di archiviazione di cache KV con IBM e NVIDIA. La soluzione congiunta integra server di archiviazione all-flash Supermicro Petascale utilizzando processori AMD EPYC 9005 Series ("Torino"), software IBM Storage Scale, insieme al software di framework di inferenza NVIDIA Dynamo e alla rete Ethernet Spectrum-X.
Insieme, queste tecnologie possono ridurre notevolmente il tempo necessario ai modelli di intelligenza artificiale per iniziare a generare una risposta, un vantaggio fondamentale, poiché le imprese adottano flussi di lavoro di IA agentici e a lungo termine. Estendere la capacità di cache KV oltre la memoria GPU locale può migliorare l'utilizzo della GPU e la velocità effettiva di inferenza, consentendo al contempo un'elevata disponibilità del contenuto della cache KV e una scalabilità non distruttiva della capacità di cache KV. Il risultato è un'architettura di inferenza più scalabile e resiliente che offre esperienze di IA più veloci e reattive.
"Mentre i carichi di lavoro dell'IA si espandono dalla formazione all'inferenza, le imprese e i neocloud che implementano carichi di lavoro di inferenza ad alto rendimento, caratteristici dell'IA agentica e di quella generativa a più turni a lungo termine, devono rimuovere i colli di bottiglia per migliorare l'efficienza della GPU", ha affermato Charles Liang, presidente e CEO di Supermicro. "La nostra soluzione con IBM e NVIDIA dimostra chiaramente questi vantaggi in termini di prestazioni".
Per un video-riassunto di questa pubblicazione, clicca qui.
I carichi di lavoro di inferenza sono costituiti da due fasi: precompilazione e decodifica. Durante la precompilazione, il testo in ingresso viene convertito in token ed elaborato dal modello linguistico di grandi dimensioni (Large Language Model, LLM) per generare gli stati chiave-valore (KV) intermedi necessari per l'inferenza. Conservando questi stati KV precedentemente calcolati in una cache KV persistente, il sistema può riutilizzarli invece di ricalcolare lo stesso contesto per le richieste successive. I flussi di lavoro agentici, gli assistenti di codifica, la generazione aumentata dal recupero delle informazioni (Retrieval-Augmented Generation, RAG) a lungo contesto, l'IA multimodale e le applicazioni a più turni possono generare uno stato KV sostanziale man mano che elaborano grandi basi di codice, documenti, conversazioni, immagini e altri contesti, superando rapidamente la memoria GPU e CPU e determinando la necessità di scaricare la cache KV su una rete di archiviazione condivisa ad alta capacità.
La soluzione di cache KV di Supermicro, IBM e NVIDIA fornisce questo livello di archiviazione persistente, contribuendo a migliorare l'efficienza di inferenza, la velocità effettiva e la scalabilità riducendo al contempo il calcolo ridondante.
I principali vantaggi per i clienti della soluzione di cache KV includono:
- Validazione congiunta della soluzione: Supermicro, IBM e NVIDIA hanno condotto test approfonditi a livello di cluster per misurare le prestazioni, compresi scenari di traffico di rete ad alta concorrenza e con effetto del vicino rumoroso.
- Prestazioni di inferenza notevolmente più veloci e più coerenti: nel test congiunto di Supermicro e NVIDIA, con un LLM da 120 miliardi di parametri, la cache KV persistente ha fornito un TTFT fino a 56 volte più veloce a 130.000 richieste di token.[1] Con l'aumento della lunghezza dell'input da 30.000 a 130.000 token, il TTFT è aumentato di soli 0,377 secondi con la cache KV, rispetto ai 29,55 secondi senza, consentendo prestazioni più coerenti per i carichi di lavoro a lungo contesto.
- Utilizzo e velocità effettiva più elevati della GPU: mantenendo il contesto frequentemente riutilizzato disponibile al di fuori della memoria GPU, la soluzione aiuta a ridurre il tempo di inattività della GPU, ad aumentare la velocità effettiva di inferenza e a supportare una maggiore concorrenza senza aumentare proporzionalmente le risorse della GPU.
- Resilienza aziendale e operazioni basate sull'IA affidabili: una cache KV persistente e altamente disponibile aiuta a proteggere lo stato di inferenza memorizzato nella cache, fornendo allo stesso tempo l'accesso condiviso tra nodi e cluster GPU, supportando servizi basati sull'IA più resilienti ed efficienti in termini di archiviazione su larga scala.
- Infrastruttura basata sull'IA chiavi in mano, certificata: Supermicro, IBM e NVIDIA hanno certificato congiuntamente l'architettura integrata in scenari ad alta concorrenza e con l'effetto del vicino rumoroso, combinando NVIDIA Dynamo, il software IBM Storage Scale, Supermicro Petascale, server e il networking NVIDIA Spectrum-X.
- Servizi di distribuzione accelerata: l'integrazione sul rack di fabbrica e i servizi di distribuzione in loco di Supermicro possono ridurre il tempo di distribuzione di questa soluzione da settimane a giorni.
"Le imprese hanno bisogno di un modo fondamentalmente migliore per ridimensionare l'inferenza dell'IA. Insieme, IBM, Supermicro e NVIDIA stanno offrendo una soluzione di cache KV ad alte prestazioni e resiliente che aiuta i clienti a massimizzare i loro investimenti GPU, scalare indipendentemente dal calcolo e migliorare significativamente l'efficienza delle infrastrutture ", ha dichiarato Sam Werner, GM, IBM Storage. "Questa collaborazione rappresenta un passo importante per rendere l'inferenza dell'IA aziendale più scalabile, affidabile e conveniente".
"L'IA agentica e applicazioni a lungo contesto dipendono dal riutilizzo del contesto in modo efficiente in molti passaggi e NVIDIA Dynamo aiuta a orchestrare l'inferenza distribuita in modo che le imprese possano ottenere una velocità effettiva più fruibile da ogni GPU", ha affermato Shruti Koparkar, NVIDIA AI Inference Product Lead. "Accoppiando NVIDIA Dynamo e Spectrum-X Ethernet con server di archiviazione Supermicro Petascale e IBM Storage Scale, questa soluzione di cache KV crea un livello di archiviazione condivisa ad alte prestazioni in grado di ridurre il calcolo ridondante, migliorare il time-to-first-token e aiutare i clienti a scalare i servizi di inferenza dell'IA resilienti".
Per ulteriori informazioni sulle soluzioni Supermicro e IBM clicca qui e leggi l'IBM Redbook, Context without Limits: Una piattaforma KV Cache ad alte prestazioni per l'inferenza dell'IA su larga scala, clicca qui.
A proposito di Super Micro Computer, Inc.
Supermicro (NASDAQ: SMCI) è leader mondiale nelle soluzioni IT complete, ottimizzate per le applicazioni. Fondata e operativa a San Jose, in California, Supermicro si impegna a introdurre per prima sul mercato innovazioni destinate alle infrastrutture IT aziendali, cloud, IA e 5G Telco/Edge. L'azienda offre soluzioni IT complete che comprendono server, sistemi per l'IA, archiviazione, IoT, sistemi switch, software e servizi di assistenza. L'esperienza di Supermicro nella progettazione di schede madri, alimentatori e chassis favorisce ulteriormente lo sviluppo e la produzione di innovazioni di nuova generazione, dal cloud all'edge, per i clienti di tutto il mondo. I nostri prodotti sono progettati e realizzati internamente (negli Stati Uniti, a Taiwan e nei Paesi Bassi), sfruttando le operazioni globali per ottenere economie di scala ed efficienza, e sono ottimizzati per migliorare il costo totale di proprietà (TCO) e ridurre l'impatto ambientale (Green Computing). Il pluripremiato portfolio di Server Building Block Solutions® permette ai clienti di ottimizzare le proprie soluzioni in base al carico di lavoro e all'applicazione specifica, scegliendo tra un'ampia gamma di sistemi basati sui nostri blocchi modulari flessibili e riutilizzabili, che supportano una gamma completa di fattori di forma, processori, memorie, GPU, archiviazione, networking, alimentazione e soluzioni di raffreddamento (aria condizionata, raffreddamento ad aria libera o a liquido).
Supermicro, Server Building Block Solutions e We Keep IT Green sono marchi commerciali e/o marchi registrati di Super Micro Computer, Inc.
Tutti gli altri marchi, nomi e loghi sono di proprietà dei rispettivi proprietari.
Risultati dettagliati sono disponibili in IBM Redbook: https://www.redbooks.ibm.com/docs/MD260021/MD260021.html1

