Toda vez que uma IA generativa responde algo em milissegundos, tem um exército de silício suando por trás disso. E foi justamente sobre esse suor que a OpenAI falou na conferência Hot Chips, revelando os primeiros números concretos do Jalapeño, seu chip dedicado a rodar modelos em produção.
O que os benchmarks mostraram
Nos testes do InferenceX, benchmark independente criado pela SemiAnalysis, o Jalapeño entregou mais tokens por usuário e mais throughput por kilowatt do que os processadores de inferência mais avançados disponíveis hoje no mercado. A comparação foi feita contra um sistema baseado em Nvidia Blackwell, hoje referência do setor.
Richard Ho, chefe de hardware da OpenAI, resumiu em uma chamada com jornalistas: os resultados apontam um avanço muito significativo sobre o estado da arte, permitindo atender mais carga de trabalho de IA por unidade de energia e ainda responder mais rápido.
É como comparar dois motores: um consome menos combustível para rodar a mesma distância e, de brinde, chega mais rápido ao destino. Essa combinação de eficiência energética com baixa latência é rara, porque normalmente ganhar velocidade custa energia.
Prazos e a corrida contra o tempo
Vale um alerta: a régua de comparação é a geração atual da Nvidia. Até o Jalapeño sair do papel para produção em escala, o adversário provavelmente terá avançado também. Ho estimou lançamento em volumes bem pequenos no fim de 2026, com produção relevante só em 2027.
Um projeto full-stack com a Broadcom
Anunciado originalmente em outubro passado, o Jalapeño nasceu de uma parceria próxima entre OpenAI e Broadcom, com um detalhe curioso: os próprios modelos da OpenAI ajudaram no processo de design do chip. A ideia é transformar isso numa plataforma multigeracional, onde produtos de IA, modelos, chips e memória evoluem juntos, como peças de uma mesma engrenagem.
Onde estão os gargalos da inferência
Essa visão de ponta a ponta permitiu à OpenAI atacar etapas específicas que costumam travar o processamento: as fases de prefill e comunicação, apontadas pela empresa como pontos clássicos de atrito.
Em post no blog, a OpenAI explicou que o Jalapeño foi desenhado para minimizar movimentação de dados e atrasos de comunicação, mantendo o estado do modelo, incluindo o cache KV usado durante a geração de respostas, alocado localmente enquanto o sistema aciona a combinação certa de computação, memória e rede para cada fase da inferência.
Na prática, é como ter os ingredientes certos já na bancada da cozinha, em vez de correr até a despensa a cada receita. Menos deslocamento, menos tempo perdido, mais pratos saindo por hora.