Blog
Schede NVIDIA per AI – Ada Lovelace e Blackwell in pratica
NVIDIA Ada Lovelace e Blackwell nelle applicazioni AI – selezione pratica della GPU
Nei progetti basati su grandi modelli linguistici (LLM) ciò che conta non è la potenza di calcolo teorica della GPU, ma la prevedibilità della generazione e la stabilità nel contesto specifico. In questo articolo mostriamo come selezionare le GPU NVIDIA per AI basandosi su TPS, dimensione del modello e scala di deployment - dai chatbot semplici agli ambienti enterprise.
Contesto hardware
Nel proseguimento analizziamo le architetture
Ada Lovelace
eBlackwell
non dal punto di vista dei benchmark di marketing, ma degli scenari reali di inference: numero di utenti, dimensione del modello e TPS target.
1) TPS (token/s): metrica pratica per la larghezza di banda LLM
In ambiente produttivo le metriche teoriche non si traducono direttamente nell’esperienza utente. Per gli LLM la metrica più semplice e comprensibile è
TPS
.
| Livello | TPS | TPM | Effetto tipico |
|---|---|---|---|
| Scarsa fluidità | 5 TPS | 300 token/min | ritardo percepibile nella generazione |
| Lavoro confortevole | 20 TPS | 1 200 token/min | generazione stabile nella maggior parte dei casi |
| Alta larghezza di banda | 100 TPS | 6 000 token/min | possibilità di gestire più sessioni |
Note metodologiche: TPS dipende dal modello, dalla quantizzazione, dalla lunghezza del contesto, dal motore di inference e dal profilo di parallelismo (multi-sessione / batch).
2) 7B / 13B / 70B – cosa significa la dimensione del modello
Le sigle 7B/13B/70B indicano il numero di parametri del modello:
1B = 1 miliardo di parametri
. Un numero maggiore di parametri generalmente aumenta la qualità delle risposte e la capacità di inferenza, ma aumenta i requisiti di VRAM e larghezza di banda GPU.
| Classe | Parametri | Applicazioni tipiche | Obiettivo TPS tipico |
|---|---|---|---|
Modelli 7–8B | 7–8 mld | chatbot, RAG, Q&A, riepiloghi | 50–100+ TPS |
Modelli 13B | 13 mld | AI aziendale, documenti, risposte più lunghe | 40–70 TPS |
Modelli 70B | 70 mld | analisi avanzate, agenti AI, compiti specialistici | 15–25 TPS |
Nota pratica:
un modello più grande non sempre produce un risultato aziendale migliore. In molti deployment13B con TPS stabile
offre maggiore utilità rispetto a 70B con bassa larghezza di banda o alta latenza.
