Qual GPU é melhor para inferência: H100, A100, L40S ou RTX?

Tempo de leitura: 13 min

Este artigo é para você se:

• Gerencia projetos de IA e precisa escolher entre H100, A100, L40S ou RTX para inferência em produção
• Já cometeu (ou teme cometer) o erro de escolher GPU por TFLOPS e descobriu que a largura de banda era o gargalo real
• Busca entender as diferenças técnicas entre arquiteturas NVIDIA (Hopper, Ampere, Ada Lovelace) para tomar decisão de investimento

O que é inferência em GPU e quais métricas importam?

Inferência em GPU é o processo de executar um modelo de inteligência artificial treinado para gerar previsões, classificações ou texto, utilizando a capacidade de processamento paralelo e a largura de banda de memória de uma GPU para ler os parâmetros do modelo da VRAM a cada requisição, sendo a largura de banda o fator determinante de performance em modelos de linguagem.

Para comparar GPUs para inferência, é preciso entender que inferência de LLM é memory-bound: cada token gerado exige ler todos os parâmetros do modelo da VRAM. Ou seja, a velocidade de geração de tokens depende diretamente da largura de banda de memória, não do poder de processamento (TFLOPS). Uma GPU com mais TFLOPS mas menos largura de banda gera menos tokens por segundo para o mesmo modelo.

As três métricas que importam para inferência, em ordem de prioridade, são:

• VRAM total: Determina qual modelo cabe na GPU. Um modelo de 7B em FP16 ocupa 14 GB de VRAM apenas com pesos. Um modelo de 70B ocupa 140 GB
• Largura de banda de memória: Determina quantos tokens por segundo a GPU gera. HBM3e (4,8 TB/s na H200) é 16 vezes mais rápida que GDDR6 (300 GB/s na L4)
• TFLOPS: Determina quão rápido cada operação é executada, mas só importa se a VRAM comporta o modelo e a largura de banda alimenta os núcleos rápido o suficiente

Para entender melhor sobre escolha de GPU para IA, consulte nosso guia sobre o que considerar ao escolher um servidor GPU para empresas e sobre como dimensionar servidor corporativo.

NVIDIA H100 para inferência: quando vale a pena?

A NVIDIA H100, baseada na arquitetura Hopper, é a GPU datacenter de maior performance da geração anterior à H200. Para inferência, a H100 se destaca por três motivos técnicos: VRAM abundante (80GB HBM3), largura de banda altíssima (3,35 TB/s no SXM5) e Transformer Engine.

Transformer Engine: a vantagem do Hopper

O Transformer Engine é um recurso exclusivo da arquitetura Hopper que escolhe automaticamente entre FP8 e FP16 para cada camada do modelo. Na prática, isso dobra o throughput de inferência para modelos de linguagem comparado a FP16 puro, sem perda significativa de precisão. A A100 (Ampere) não tem Transformer Engine e não suporta FP8.

H100 SXM5 vs H100 PCIe

Existem duas variantes da H100 com specs diferentes. A H100 SXM5 oferece 80GB HBM3 com 3,35 TB/s de largura de banda, suporte a NVLink e TDP de 700W. A H100 PCIe oferece 80GB HBM3 com 2,0 TB/s de largura de banda, sem NVLink e TDP de 350W. Para inferência de LLM, a versão SXM5 é significativamente superior porque a largura de banda é 67% maior.

Quando a H100 vale a pena para inferência

• Modelos de 40B a 70B parâmetros: 80GB de VRAM comportam modelos grandes em FP16 (70B ocupa 140GB, exigindo quantização para caber)
• Alto volume de requisições simultâneas: A largura de banda de 3,35 TB/s suporta alto throughput de tokens
• Inferência com FP8: Transformer Engine dobra o throughput comparado a FP16
• Escalabilidade multi-GPU: NVLink permite interconexão de até 8 GPUs com largura de banda de 900 GB/s entre elas

Para entender mais sobre métricas de performance, consulte nosso artigo sobre IOPS e latência: qual métrica mais relevante.

NVIDIA A100 para inferência: ainda faz sentido em 2026?

A NVIDIA A100, baseada na arquitetura Ampere, foi a GPU datacenter de referência de 2020 a 2022. Em 2026, ainda faz sentido para inferência em cenários específicos, mas foi superada pela H100 e H200 em performance.

O que a A100 ainda oferece de valor

A A100 80GB SXM4 tem 80GB HBM2e com 2,0 TB/s de largura de banda, suporte a NVLink e TDP de 400W. Para inferência de modelos de até 40B em FP16, a A100 ainda é uma opção viável, especialmente quando o custo da H100 é proibitivo e o modelo não exige FP8.

MIG (Multi-Instance GPU)

Um recurso exclusivo da A100 é o MIG (Multi-Instance GPU), que permite particionar a GPU em até 7 instâncias isoladas. Para ambientes multi-tenant onde múltiplas aplicações compartilham a mesma GPU com isolamento de recursos, o MIG é uma vantagem que a H100 também oferece, mas de forma mais refinada.

Limitações da A100 para inferência em 2026

• Sem FP8: A arquitetura Ampere não suporta FP8, limitando o throughput de inferência comparado à H100 e L40S
• Sem Transformer Engine: Não há otimização automática entre FP8 e FP16
• Largura de banda menor: 2,0 TB/s (A100 80GB) vs 3,35 TB/s (H100 SXM5) significa menos tokens por segundo para o mesmo modelo
• HBM2e vs HBM3: A memória HBM2e da A100 é uma geração anterior à HBM3 da H100, com menor eficiência energética

NVIDIA L40S para inferência: o meio-termo ideal?

A NVIDIA L40S, baseada na arquitetura Ada Lovelace, é uma GPU datacenter PCIe projetada para inferência e gráficos. Com 48GB GDDR6, 864 GB/s de largura de banda e suporte a FP8, a L40S se posiciona como o meio-termo entre custo e performance para modelos médios.

Vantagens da L40S para inferência

• Suporte a FP8: Arquitetura Ada Lovelace suporta FP8, dobrando o throughput comparado a FP16
• 48GB GDDR6: Comporta modelos de até 24B em FP16 (48GB) ou modelos maiores com quantização
• Formato PCIe: Compatível com servidores padrão, sem necessidade de plataforma SXM especializada
• TDP de 350W: Mais eficiente que a H100 SXM5 (700W) em consumo de energia
• Capacidade gráfica: Pode rodar inferência e renderização no mesmo servidor

Limitações da L40S para inferência

• Sem NVLink: Não é possível interconexão de alta velocidade entre GPUs L40S, limitando escalabilidade multi-GPU
• Largura de banda GDDR6: 864 GB/s é 4x menor que a H100 SXM5 (3,35 TB/s), resultando em menos tokens por segundo para o mesmo modelo
• VRAM limitada: 48GB não comporta modelos de 70B em FP16 (140GB), exigindo quantização para modelos grandes

Para aprofundar a comparação entre modelos de infraestrutura, consulte nosso artigo sobre diferenças entre servidor físico e virtual e sobre servidor dedicado ou servidor nuvem.

NVIDIA RTX para inferência: quando é suficiente?

A linha RTX da NVIDIA, especificamente a RTX 6000 Ada Generation, é uma GPU workstation baseada na arquitetura Ada Lovelace. Com 48GB GDDR6 e 960 GB/s de largura de banda, a RTX 6000 Ada tem specs similares à L40S, mas com foco em estações de trabalho individuais em vez de datacenter.

RTX 6000 Ada para inferência

A RTX 6000 Ada oferece 48GB GDDR6, 960 GB/s de largura de banda, suporte a FP8 e TDP de 300W. Para inferência de modelos de até 24B em FP16, a RTX 6000 Ada entrega performance comparável à L40S, com a vantagem de ser uma GPU PCIe de menor consumo.

Diferenças entre RTX 6000 Ada e L40S

Embora ambas sejam baseadas na arquitetura Ada Lovelace com 48GB GDDR6, existem diferenças importantes. A L40S é certificada para datacenter, com suporte a resfriamento passivo e operação contínua 24/7. A RTX 6000 Ada é uma GPU workstation, projetada para uso em estações de trabalho com resfriamento ativo. A L40S tem 864 GB/s de largura de banda contra 960 GB/s da RTX 6000 Ada. Ambas são PCIe apenas e não suportam NVLink.

Quando a RTX é suficiente para inferência

• Modelos de até 24B em FP16: 48GB de VRAM comporta o modelo
• Volume moderado de requisições: Sem necessidade de escalabilidade multi-GPU
• Ambiente de workstation: Inferência local em vez de datacenter
• Orçamento limitado: RTX 6000 Ada é mais acessível que H100 ou H200
• Prototipagem e desenvolvimento: Testes antes de migrar para datacenter

Comparação direta: H100 vs A100 vs L40S vs RTX

A tabela abaixo compara as quatro GPUs nas métricas que importam para inferência de IA:

Para entender mais sobre VPS e servidor dedicado, consulte nosso artigo sobre diferença entre VPS e servidor dedicado e conheça nosso guia de servidores dedicados bare metal.

Como a conformidade LGPD afeta a escolha de GPU?

A escolha de GPU para inferência não é apenas técnica, é também regulatória. Quando sua IA processa dados pessoais de brasileiros (prompts com nome, CPF, dados financeiros, histórico médico), a Lei Geral de Proteção de Dados (LGPD) exige que esses dados permaneçam em solo brasileiro.

O que a LGPD exige para inferência em GPU

• Soberania de dados: Prompts e respostas processados na GPU devem permanecer no Brasil, salvo consentimento explícito
• Isolamento físico: GPU dedicada oferece isolamento total, sem risco de outro usuário acessar dados em cache na VRAM
• Validação de DPA: Se o provedor é global, é preciso validar o Data Processing Agreement para garantir que dados não saem do Brasil
• Auditoria de acesso: A empresa precisa rastrear quem acessou dados e quando, o que exige configuração correta de logs e permissões

Empresas com data centers no Brasil (como a EVEO) oferecem conformidade automática. Dados permanecem em solo brasileiro, sem risco de transferência não autorizada. Empresas de nuvem pública global, mesmo com data centers no Brasil, podem ter políticas que permitem replicação de dados para outros países, exigindo validação contratual adicional.

A abordagem da EVEO

A EVEO é a maior empresa de servidores dedicados e private cloud do Brasil, com + de 10 anos de mercado, mais de 3.000 clientes ativos e mais de 130 colaboradores. Reconhecida como líder pelo ISG Provider Lens por 4 anos seguidos (2023 a 2026) em Private/Hybrid Cloud no Brasil, a EVEO oferece uma abordagem consultiva que ajuda a escolher a GPU ideal para cada carga de trabalho.

H200 141GB: superior à H100 em todos os aspectos

Para quem considera a H100, a EVEO oferece a NVIDIA H200 141GB, que supera a H100 em VRAM (141GB vs 80GB, um aumento de 76%) e largura de banda (4,8 TB/s vs 3,35 TB/s, um aumento de 43%). A H200 também usa HBM3e, uma geração mais recente e eficiente que a HBM3 da H100. Para inferência de modelos de 70B em FP16 (140GB), a H200 cabe o modelo inteiro, enquanto a H100 exige quantização.

Portfólio completo de GPU para cada cenário

A EVEO oferece quatro opções de GPU dedicada em data centers Tier III no Brasil:

• NVIDIA HGX 8xH200 NVLink 141GB: A plataforma mais avançada para inferência em alta escala e treinamento distribuído. 8 GPUs H200 com 141GB cada (1.128GB agregados), interconexão NVLink nativa, escalabilidade linear de 90% a 95%. Ideal para modelos de 100B a 700B parâmetros
• NVIDIA H200 141GB: 141GB HBM3e com 4,8 TB/s de largura de banda e suporte a NVLink. Ideal para inferência de modelos grandes (até 70B em FP16) em GPU única, superior à H100
• NVIDIA L4 24GB: 24GB GDDR6, ideal para inferência de modelos pequenos e médios (até 7B em FP16). Econômica para aplicações de IA em produção com volume moderado de requisições
• 2x NVIDIA T10 16GB: 16GB VRAM por GPU, ideal para workloads leves, prototipagem e entry-level. Dupla GPU em um servidor para processamento paralelo de baixo custo

Infraestrutura Tier III em 5 zonas de cobertura

A EVEO opera cinco data centers Tier III estrategicamente localizados em Cotia/SP (SP1), Osasco/SP (SP2), Curitiba/PR (PR1), Fortaleza/CE (CE1) e Miami/FL (FL1). As quatro zonas brasileiras garantem latência baixa para usuários em qualquer região do Brasil, com roteamento nacional e redundância total de energia, resfriamento e conectividade. Saiba mais sobre a importância da certificação Tier III na escolha de um parceiro.

Venda consultiva: escolha sem erro

A EVEO não vende servidores, viabiliza projetos. Cada cliente recebe atendimento consultivo para identificar a GPU ideal conforme o tamanho do modelo, volume de requisições e orçamento. Saiba mais sobre como escolher um servidor dedicado.

Sem egress fee

A EVEO não cobra egress fee. Tokens gerados por IA, transferência de modelos e comunicação entre serviços não geram custo adicional. Isso reduz custo total em 20% a 40% comparado a nuvem pública, especialmente para IA com alto volume de inferência.

Custo previsível em reais

Faturamento fixo em reais, sem variações cambiais. O cliente sabe exatamente quanto pagará por mês, permitindo precificação segura de seus serviços de IA e proteção do orçamento de longo prazo.

Conformidade LGPD e soberania de dados

Dados de prompts, respostas, datasets e modelos permanecem em data centers brasileiros, garantindo conformidade automática com a Lei Geral de Proteção de Dados. Empresas que processam dados de clientes brasileiros não precisam se preocupar com transferência internacional ou contratos complexos de conformidade.

Suporte ágil 24/7

Suporte técnico especializado em GPU e IA, disponível 24/7, com resposta ágil e assertiva. A EVEO oferece suporte que entende frameworks de inferência (vLLM, TensorRT-LLM, TGI), otimizações de VRAM e boas práticas de produção. Problemas podem até ocorrer, só não podem continuar.

Portfólio completo de infraestrutura

Além de GPU dedicada, a EVEO oferece bare metal, nuvem privada, colocation, storage e disaster recovery. A EVEO é reconhecida como a melhor empresa de servidores dedicados e private cloud do Brasil, atendendo exclusivamente empresas corporativas mediante CNPJ. Proteção de rede inclui firewall configurável e mitigação contra ataques DDoS.

Perguntas frequentes sobre qual GPU é melhor para inferência

1. Qual GPU é melhor para inferência: H100, A100, L40S ou RTX?

A melhor GPU para inferência depende do tamanho do modelo e do volume de requisições. A H100 (80GB HBM3, 3,35 TB/s) é a escolha de maior performance para modelos grandes (até 40B em FP16), com Transformer Engine e suporte a FP8. A A100 80GB (HBM2e, 2,0 TB/s) é uma alternativa mais acessível para o mesmo porte de modelo, mas sem FP8. A L40S (48GB GDDR6, 864 GB/s) é o meio-termo ideal para modelos médios (até 24B em FP16) com suporte a FP8. A RTX 6000 Ada (48GB GDDR6, 960 GB/s) atende workloads de inferência em estações de trabalho com specs similares à L40S.

2. Qual a diferença entre H100 e A100 para inferência de LLM?

A H100 é superior à A100 em três aspectos principais: arquitetura (Hopper com Transformer Engine vs Ampere, sem FP8), VRAM (80GB HBM3 com 3,35 TB/s vs 80GB HBM2e com 2,0 TB/s) e recursos de inferência (Transformer Engine do Hopper otimiza automaticamente entre FP8 e FP16, dobrando o throughput). Para inferência de LLM, que é memory-bound, a maior largura de banda da H100 gera significativamente mais tokens por segundo que a A100 para o mesmo modelo.

3. A L40S é uma boa alternativa à H100 para inferência?

A L40S é uma boa alternativa à H100 quando o modelo cabe em 48GB de VRAM e não há necessidade de NVLink. Com 48GB GDDR6, 864 GB/s de largura de banda e suporte a FP8, a L40S roda modelos de até 24B em FP16 com bom throughput. No entanto, para modelos maiores (70B em FP16 exigem 140GB), a H100 com 80GB ou a H200 com 141GB são necessárias. A L40S também não suporta NVLink, limitando a escalabilidade multi-GPU para modelos que exigem paralelismo entre GPUs.

4. Quando uma RTX é suficiente para inferência de IA?

Uma RTX (como RTX 6000 Ada com 48GB GDDR6) é suficiente para inferência quando o modelo cabe em 48GB de VRAM, o volume de requisições é moderado, não há necessidade de NVLink e o orçamento é limitado. Para modelos de até 24B em FP16, a RTX 6000 Ada oferece performance similar à L40S, com suporte a FP8. Para modelos maiores (70B+) ou alta escala com multi-GPU, GPUs datacenter como H100 ou H200 com NVLink são necessárias.

5. Como a largura de banda afeta a escolha de GPU para inferência?

A largura de banda de memória é a métrica mais importante para inferência de LLM porque cada token gerado exige ler todos os parâmetros do modelo da VRAM. Quanto maior a largura de banda, mais tokens por segundo a GPU gera. Por exemplo, a H100 com 3,35 TB/s gera significativamente mais tokens que a A100 com 2,0 TB/s para o mesmo modelo. A H200 com 4,8 TB/s supera ambas. TFLOPS é menos relevante porque a inferência é memory-bound, não compute-bound.

6. A EVEO oferece GPUs para inferência de IA no Brasil?

Sim. A EVEO oferece GPU dedicada para inferência em 5 data centers Tier III (Cotia/SP, Osasco/SP, Curitiba/PR, Fortaleza/CE e Miami/FL) com NVIDIA H200 141GB (que supera a H100 em VRAM e largura de banda), L4 24GB, 2x T10 16GB e HGX 8xH200 NVLink 141GB. A EVEO garante custo previsível em reais, sem egress fee, conformidade LGPD automática e suporte 24/7. Atende exclusivamente empresas corporativas mediante CNPJ.

Sobre o autor: Este artigo foi produzido pela Redação EVEO, com base em expertise de mais de 10 anos em infraestrutura de servidores de alta performance e processamento acelerado por GPU para empresas que não podem se dar ao luxo de falhar.