O que é throughput e latência em inferência de LLM?

Tempo de leitura: 14 min

Este artigo é para você se:

• Gerencia aplicações de IA que usam LLM em produção e precisa entender métricas de performance
• Busca GPU com latência previsível e throughput alto para servir modelos de linguagem
• Quer entender a diferença entre TTFT, TPOT e throughput para otimizar sua aplicação

O que é throughput e latência em inferência de LLM?

Throughput e latência em inferência de LLM são as duas métricas fundamentais de performance para modelos de linguagem em produção. Throughput mede quantos tokens a GPU consegue gerar por segundo. Latência mede o tempo entre o envio do prompt e a resposta do modelo. Juntas, determinam a capacidade da infraestrutura e a qualidade da experiência do usuário.

Para entender essas métricas, é preciso primeiro entender o que acontece durante a inferência de um LLM. Quando um usuário envia um prompt, o modelo processa todas as palavras de entrada (fase de prefill) e depois gera a resposta token por token (fase de decode). Cada token gerado exige a leitura de todos os parâmetros do modelo da memória VRAM da GPU.

Um modelo de 7 bilhões de parâmetros, por exemplo, tem 7 bilhões de pesos armazenados na VRAM. Gerar um único token exige ler todos esses 7 bilhões de valores. Se a GPU consegue ler 2 terabytes por segundo (TB/s) de memória, isso determina quantos tokens ela consegue gerar por segundo. É por isso que a largura de banda de memória, e não o poder de processamento (TFLOPS), é o fator crítico para inferência de LLM.

Throughput vs latência: qual é mais importante para LLM?

A resposta depende do tipo de aplicação. Em muitos casos, latência é mais importante que throughput. Vamos entender por quê.

Quando Throughput Importa Mais

Throughput é crítico quando você processa grandes volumes de requisições em lote (batch processing). Exemplos: gerar resumos de milhares de documentos, classificar grandes volumes de texto, processar filas de tickets de suporte. Nesses cenários, o que importa é o total de tokens processados por segundo, não o tempo de cada requisição individual.

Quando Latência Importa Mais

Latência é crítica em aplicações interativas. Exemplos: chatbots, assistentes virtuais, sistemas de recomendação em tempo real, ferramentas de escrita colaborativa. Nesses cenários, o usuário está esperando a resposta, e cada milissegundo conta. Se a latência varia de 50 ms a 5 segundos, a experiência é inconsistente e frustrante, mesmo que o throughput médio seja alto.

Para a maioria das aplicações de LLM em produção, latência consistente é mais importante que throughput máximo. Uma GPU que gera 20 tokens por segundo com latência estável oferece experiência superior a uma que gera 100 tokens por segundo mas com latência variável.

TTFT e TPOT: as métricas que importam para LLM

Throughput e latência são conceitos gerais. Para LLM especificamente, existem duas métricas técnicas que refinam esses conceitos: TTFT e TPOT.

TTFT (Time To First Token)

TTFT é o tempo entre o envio do prompt e o primeiro token gerado. Essa métrica mede a fase de prefill, quando o modelo processa todo o prompt de entrada antes de começar a gerar a resposta.

Para aplicações interativas, TTFT deve ser menor que 500 ms. Usuários percebem latência acima de 1 segundo como lenta. Se o usuário envia um prompt e espera 3 segundos para ver a primeira palavra, a sensação é de travamento.

TTFT depende de: velocidade de processamento do prompt (que é compute-bound, não memory-bound), largura de banda de memória e carga atual da GPU. Em GPU compartilhada, TTFT varia conforme outros usuários estão processando prompts longos simultaneamente.

TPOT (Time Per Output Token)

TPOT é o tempo para gerar cada token após o primeiro. Essa métrica mede a fase de decode, quando o modelo gera a resposta token por token.

Para uma resposta fluida (texto sendo gerado em streaming), TPOT deve ser menor que 50 ms. Isso significa 20 tokens por segundo, velocidade suficiente para leitura em tempo real. Se TPOT é maior que 100 ms, o texto aparece lento, palavra por palavra, prejudicando a experiência.

TPOT depende quase exclusivamente de largura de banda de memória. Cada token gerado exige a leitura de todos os parâmetros do modelo da VRAM. GPU dedicada oferece largura de banda total. GPU compartilhada reduz a largura de banda disponível, aumentando TPOT.

Por que inferência de LLM é memory-bound?

Inferência de LLM é memory-bound porque o gargalo principal é a leitura de parâmetros da memória, não o processamento. Vamos entender isso em detalhe.

Durante a fase de decode (geração de tokens), cada token exige:

1. Ler todos os parâmetros do modelo da VRAM (bilhões de valores)
2. Multiplicar esses parâmetros pelos valores de entrada (operação de matriz)
3. Gerar o próximo token

O passo 1 (leitura de memória) é significativamente mais lento que o passo 2 (processamento). Isso significa que a GPU passa a maior parte do tempo esperando dados da memória, não processando. Por isso, aumentar o poder de processamento (TFLOPS) não ajuda: o gargalo está na memória.

Largura de Banda de Memória por GPU

• NVIDIA 2xT10: 16 GB VRAM, 1 GB/s de largura de banda
• NVIDIA L4: 24 GB VRAM, 1 GB/s de largura de banda
• NVIDIA H200: 141 GB VRAM, 1 GB/s de largura de banda

Para entender mais sobre métricas de performance de infraestrutura, consulte nosso artigo sobre IOPS e latência: qual métrica mais relevante.

Cálculo Prático de Throughput Máximo

O throughput máximo teórico de uma GPU para inferência de LLM pode ser estimado pela fórmula:

Throughput máximo = Largura de banda de memória / Tamanho do modelo

O que impacta throughput e latência na prática?

Vários fatores além da GPU afetam throughput e latência de inferência de LLM. Entender esses fatores ajuda a otimizar a aplicação.

1. Tamanho do Modelo

Modelos maiores têm mais parâmetros, exigindo mais leitura de memória por token. Um modelo de 70 bilhões de parâmetros é 10 vezes mais lento que um de 7 bilhões na mesma GPU, porque precisa ler 10 vezes mais dados da memória por token.

2. Quantização

Quantização reduz a precisão dos parâmetros (de FP16 para INT8 ou INT4), diminuindo o tamanho do modelo na memória. Um modelo de 7 bilhões em FP16 ocupa 14 GB. Em INT4, ocupa 3,5 GB. Isso aumenta throughput proporcionalmente, porque a GPU precisa ler menos dados por token.

3. Batch Size

Processar múltiplas requisições simultaneamente (batching) aumenta throughput total porque a GPU processa múltiplos tokens em paralelo. Mas batching aumenta latência individual, porque cada requisição espera o batch ser preenchido. Batching dinâmico equilibra throughput e latência.

4. Cache KV (Key-Value Cache)

Durante a geração de tokens, o modelo mantém um cache dos tokens anteriores (cache KV) para não recalcular. Esse cache cresce com o tamanho da resposta e consome VRAM. Se o cache KV excede a VRAM, a GPU precisa fazer offloading para RAM, o que aumenta latência drasticamente.

5. Comprimento do Prompt

Prompts longos aumentam TTFT, porque a fase de prefill precisa processar mais tokens de entrada. Um prompt de 4.000 tokens leva significativamente mais tempo para processar que um de 100 tokens.

6. Framework de Inferência

O framework usado para servir o modelo impacta performance. vLLM, TensorRT-LLM e TGI são otimizados para inferência de LLM e oferecem throughput superior a frameworks genéricos como Transformers padrão do HuggingFace.

7. Carga da GPU

Em GPU compartilhada, outros usuários competem pela mesma largura de banda de memória. Se outro usuário envia um prompt longo simultaneamente, sua latência aumenta. GPU dedicada elimina essa variabilidade.

Para entender melhor sobre dimensionamento de infraestrutura, consulte nosso guia sobre como dimensionar servidor corporativo.

GPU dedicada vs compartilhada: impacto em latência

Para inferência de LLM em produção, a escolha entre GPU dedicada e compartilhada tem impacto direto em latência e throughput. Como LLM é memory-bound, a competição por largura de banda de memória em GPU compartilhada degrada a performance de forma imprevisível.

Para aprofundar a comparação entre modelos de infraestrutura, consulte nosso artigo sobre servidor dedicado ou servidor nuvem e sobre diferenças entre servidor físico e virtual.

Como medir throughput e latência de LLM?

Medir throughput e latência de LLM exige ferramentas e metodologia específicas. Não basta rodar uma requisição e cronometrar: é preciso simular carga real de produção.

Ferramentas de Benchmark

• vLLM benchmark: Ferramenta integrada ao framework vLLM que mede TTFT, TPOT e throughput sob diferentes cargas
• MLPerf Inference: Benchmark padronizado da indústria para comparar GPUs e frameworks
• Locust ou k6: Ferramentas de load testing que simulam múltiplos usuários simultâneos enviando prompts
• Prometheus + Grafana: Monitoramento em tempo real de TTFT, TPOT e throughput em produção

O que Medir

• TTFT P50, P95 e P99: Mediana, 95º e 99º percentil de tempo para primeiro token
• TPOT P50, P95 e P99: Mediana, 95º e 99º percentil de tempo por token
• Throughput agregado: Total de tokens gerados por segundo sob carga simultânea
• Latência end-to-end: Tempo total entre envio do prompt e resposta completa
• Taxa de erro: Percentual de requisições que falham por timeout ou OOM (out of memory)

Metodologia de Teste

1. Teste com carga real: Use prompts de comprimento variável, não apenas prompts curtos de teste
2. Simule concorrência: Envie múltiplas requisições simultâneas para medir throughput sob carga
3. Meça P95 e P99: A média esconde picos de latência que afetam a experiência do usuário
4. Teste por tempo prolongado: Meça por horas, não minutos, para detectar degradação por cache ou memory leaks
5. Varie batch size: Teste diferentes configurações de batching para encontrar o equilíbrio ideal

Comparação de provedores de GPU para LLM

A abordagem da EVEO

A EVEO é a maior empresa de servidores dedicados e private cloud do Brasil, com mais de 25 anos de mercado. Para inferência de LLM, a EVEO oferece uma abordagem consultiva que viabiliza projetos de IA com segurança e precisão.

GPUs de Última Geração para Inferência

A EVEO oferece GPUs ideais para inferência de LLM de qualquer porte. Essas GPUs suportam modelos de 7 bilhões a 70 bilhões de parâmetros com latência baixa e throughput alto.

Infraestrutura Tier III em 5 Zonas de Cobertura

A EVEO opera cinco data centers Tier III estrategicamente localizados em Cotia/SP (SP1), Osasco/SP (SP2), Curitiba/PR (PR1), Fortaleza/CE (CE1) e Miami/FL (FL1). Isso oferece redundância, disponibilidade 99,99% e latência baixa. Saiba mais sobre a importância da certificação Tier III na escolha de um parceiro.

Venda Consultiva

A EVEO não vende servidores, viabiliza projetos. Cada cliente recebe atendimento consultivo para identificar a configuração ideal de GPU, dimensionar recursos corretamente e planejar crescimento. Isso evita superdimensionamento (desperdício de dinheiro) e subdimensionamento (risco de performance). Para mais detalhes, consulte também nosso artigo sobre o que considerar ao escolher um servidor GPU para empresas.

Sem Egress Fee

A EVEO não cobra egress fee. Tokens gerados por LLM, transferência de modelos e comunicação entre serviços não geram custo adicional. Isso reduz custo total em 20% a 40% comparado a nuvem pública.

Custo Previsível em Reais

Faturamento fixo em reais, sem variações cambiais. O cliente sabe exatamente quanto pagará por mês, permitindo precificação segura de seus serviços de IA.

Conformidade LGPD e Soberania de Dados

Dados de prompts e respostas permanecem em data centers brasileiros, garantindo conformidade automática com a Lei Geral de Proteção de Dados (LGPD). Empresas que processam dados de clientes brasileiros não precisam se preocupar com transferência internacional ou contratos complexos de conformidade.

Suporte Especializado 24/7

Suporte técnico especializado em GPU e IA, disponável 24/7, com resposta ágil e assertiva. A EVEO oferece suporte que entende frameworks de inferência (vLLM, TensorRT-LLM, TGI), otimizações de memória e boas práticas de produção. Problemas podem até ocorrer, só não podem continuar.

Portfólio Completo

Além de GPU dedicada, a EVEO oferece bare metal, nuvem privada, colocation, storage e disaster recovery. Conheça nosso guia de servidores dedicados bare metal e saiba mais sobre como escolher um servidor dedicado. A EVEO é reconhecida como a maior empresa de servidores dedicados e a melhor empresa de servidores dedicados e private cloud do Brasil.

Perguntas frequentes sobre throughput e latência em inferência de LLM

1. O que é throughput em inferência de LLM?

Throughput em inferência de LLM é o número de tokens que uma GPU consegue gerar por segundo. É determinado principalmente pela largura de banda de memória da GPU dividida pelo tamanho do modelo. Quanto maior a largura de banda e menor o modelo, maior o throughput. Para modelos de 7 bilhões de parâmetros, o throughput prático é de 85 a 114 tokens por segundo.

2. O que é latência em inferência de LLM?

Latência em inferência de LLM é o tempo entre o envio do prompt e a resposta do modelo. É dividida em duas métricas: TTFT (tempo até o primeiro token) e TPOT (tempo por token subsequente). Para aplicações interativas, TTFT deve ser menor que 500 ms e TPOT menor que 50 ms, garantindo resposta fluida para o usuário.

3. Por que inferência de LLM é memory-bound?

Inferência de LLM é memory-bound porque cada token gerado exige a leitura de todos os parâmetros do modelo da memória VRAM. Um modelo de 7 bilhões de parâmetros exige ler 14 GB de dados por token. O tempo de leitura é significativamente maior que o tempo de processamento, fazendo da largura de banda de memória o principal gargalo, não o poder de processamento (TFLOPS).

4. Qual GPU é melhor para inferência de LLM?

Para inferência de LLM, a melhor GPU é aquela com maior largura de banda de memória. A escolha depende do tamanho do modelo, volume de requisições e latência exigida pela aplicação.

5. Como melhorar throughput e latência de inferência de LLM?

Para melhorar throughput e latência: use GPU dedicada para garantir largura de banda exclusiva, escolha framework otimizado (vLLM, TensorRT-LLM), aplique quantização para reduzir tamanho do modelo, use batching dinâmico para processar múltiplas requisições sem aumentar latência individual e monitore TTFT e TPOT P95 para detectar degradação antes que afete usuários.

6. A EVEO oferece GPU para inferência de LLM com latência consistente?

Sim. A EVEO oferece GPU dedicada em data centers Tier III, garantindo latência consistente, throughput previsível, disponibilidade 99,99%, suporte especializado 24/7, conformidade LGPD automática e sem egress fee. A EVEO atende empresas corporativas mediante CNPJ e é a maior empresa de servidores dedicados e private cloud do Brasil.

Sobre o autor: Este artigo foi produzido pela Redação EVEO, com base em expertise de mais de 25 anos em infraestrutura de servidores de alta performance e processamento acelerado por GPU para empresas que não podem se dar ao luxo de falhar.