Há dois anos, pouco depois de Richard Ho, vice-presidente de hardware da OpenAI, ingressar na gigante da IA, ele viajou para a Ásia com o CEO Sam Altman e um grupo de pesquisadores para se reunir com os maiores fabricantes de chips do mundo: TSMC, Samsung e SK Hynix.
A mensagem de Altman foi direta. A demanda já insaciável da OpenAI por poder computacional só iria aumentar, e a indústria de semicondutores precisava começar a se movimentar mais rápido. “Vejam, em alguns anos vamos precisar de muito mais silício”, lembra Ho das palavras de Altman. “Por favor, comecem a construir mais fábricas.”
Essas empresas construíram mais instalações onde os chips de computador são fisicamente montados. Mas isso não foi suficiente para satisfazer o apetite insaciável da OpenAI, disse Ho à Forbes. Foi em parte por causa dessa crise que a OpenAI decidiu construir seu próprio hardware, e Altman recrutou Ho para montar uma equipe do zero.
Dois anos depois, a empresa anunciou seu primeiro semicondutor, um chip de inferência chamado Jalapeno. Em junho, a OpenAI afirmou ter construído o chip em nove meses e planeja começar a instalá-los em data centers até o final do ano.
“Uma das limitações que enfrentamos agora é que, se tivéssemos começado a construir mais fábricas de semicondutores há cerca de dois anos e meio, estaríamos em uma posição muito melhor”, disse Ho à Forbes .
Antes de se juntar à OpenAI, Ho, um veterano do Google, ajudou a projetar o primeiro chip TPU da gigante das buscas, um chip de silício personalizado, desenvolvido especificamente para inteligência artificial.
Ele concedeu uma entrevista à Forbes, na qual falou sobre a formação da equipe, a escolha da Broadcom como parceira de semicondutores em detrimento da Nvidia e da AMD, e como o debate sobre o pessimismo generalizado influenciou seu trabalho na construção de chips. Esta transcrição foi editada para maior clareza e concisão.
Richard Nieva: Vou começar com uma pergunta simples: por que o salgadinho se chama Jalapeno?
Richard Ho: Nós não nos levamos muito a sério. Estávamos na cafeteria do escritório e lá tem um balcão de temperos com todos os molhos, e nossa equipe sempre se sente atraída por ele. Nossa equipe se chama, na verdade, “Pimentas Picantes”. Nos inspiramos nisso para o nome. Então, pareceu natural que batizássemos nosso dispositivo e nosso projeto com algo que amamos: comida apimentada.
Nieva: Por que a OpenAI precisa construir um chip?
Ho: Acho que se trata realmente de controlar toda a infraestrutura. Obviamente, a OpenAI tem os modelos, faz um bom trabalho com eles e possui o software necessário para extrair as informações dos modelos e levá-las até os chips, que na maioria das vezes até agora têm sido GPUs. Se pudermos controlar [toda a infraestrutura], isso nos dará a capacidade de fazer mais e melhor. Portanto, se tivermos controle sobre nossos data centers, os chips, os sistemas que os compõem, o modelo e o software, poderemos trabalhar com mais eficiência.
Em vez de haver uma interface rígida em cada camada, podemos mesclar e reorganizar os elementos para obter um pouco mais de eficiência. E isso, em última análise, leva a mais inteligência com menor consumo de energia para o usuário, que é nossa principal métrica aqui: quão eficientemente podemos fornecer inteligência por watt de energia que vamos consumir?
Nieva: Construir seu próprio chip é um processo caro e complexo. Você pode me contar como surgiu a ideia? Como foram essas conversas e o que Sam Altman lhe disse?
Ho: Minhas conversas iniciais com ele foram basicamente sobre “Será que queremos construir nosso próprio dispositivo?”. Não era algo dado como certo. Era mais como: vamos analisar nossas opções. Será que conseguiríamos o que precisávamos pedindo aos fornecedores existentes, AMD, Nvidia, Intel, que fizessem algo que nos agradasse? E descobrimos que, como eles têm um mercado muito amplo, era muito difícil conseguir exatamente o que queríamos deles.
Além disso, eles tinham arquiteturas legadas que precisavam preservar. E o que decidimos, e percebemos depois dessa análise imparcial, foi que, se adotássemos uma abordagem totalmente nova para projetar um chip para isso, ele se tornaria muito mais eficiente do que qualquer coisa construída sobre arquitetura legada. E foi aí que Sam basicamente nos permitiu dizer: “Ok, vamos começar”.
Vamos formar uma equipe pequena. Não vamos montar uma equipe do tamanho da Intel, nem mesmo da Nvidia, mas será que conseguimos fazer algo com uma equipe pequena e de elite, usando nossa própria IA para acelerar o processo e torná-lo excelente?
Naquela época, lá pelo início de 2024, quando começamos a discutir isso, os modelos não eram muito bons em hardware. Então, tínhamos algumas dúvidas sobre o quanto eles nos beneficiariam. Mas, ao longo dos meses e do ano seguinte, os modelos melhoraram bastante, e conseguimos obter muitos benefícios ao usá-los para acelerar o cronograma.
Nieva: Você disse que é uma equipe pequena. Qual é o tamanho exato dela?
Ho: São cerca de 100 pessoas. Mas durante esse processo, a média ficou em torno de 70. Um número pequeno em comparação com as equipes da Nvidia ou da Intel, que podem ter mais de 500 pessoas.
Mas não se trata apenas de pessoal da área de chips. É todo o sistema: racks, projeto de placas, energia, controle térmico, software da cadeia de suprimentos. Então, em termos de número de pessoas da área de chips, é pelo menos duas ordens de magnitude menor do que uma equipe típica de chips.
Nieva: Quando você fala em eficiência, quer dizer que ela é adaptada especificamente às suas cargas de trabalho?
Ho: É um chip muito flexível e programável. Não é específico para modelos da OpenAI. Ele pode lidar com quase qualquer modelo, e isso é importante porque, à medida que os pesquisadores continuam trabalhando nele e vemos os modelos ficarem cada vez melhores, queremos ter um sistema que seja muito adaptável às mudanças que os pesquisadores propõem.
Assim, quando criarmos modelos futuros, esse hardware ainda será muito eficiente na execução desses modelos. Esse era realmente um objetivo do projeto, e acho que o alcançamos com os resultados que demonstramos aqui.
Nieva: Por que vocês decidiram seguir essa abordagem de inferência mais geral? A OpenAI é uma empresa que exige muito poder computacional. Por que não adaptá-la melhor às suas necessidades específicas?
Ho: É aqui que eu assumo o papel de especialista em hardware. O desenvolvimento de hardware leva muito tempo, certo? Dissemos que levou nove meses, e esse é um dos processos mais rápidos, se não o mais rápido, já demonstrados para ir do projeto inicial (ou da ausência dele) à produção de um dispositivo.
Mas mesmo nove meses no mundo da IA é muito tempo. E ainda leva tempo para instalá-lo nos data centers e implementá-lo. Portanto, qualquer hardware que você utilize precisa ser adaptável e estar pronto para se adaptar a modelos melhores e novas ideias que surgem constantemente no mundo da pesquisa em IA.
Como profissional de hardware, tornar algo muito específico é extremamente assustador, pois você acaba tendo que verificar semanalmente: Quais são as pesquisas mais recentes? Qual o artigo mais recente publicado? Conseguiremos nos adaptar a ele? Ao criar um dispositivo mais programável e de propósito geral, você tem a segurança de que pode se adaptar.
Dito isso, ele é um pouco mais especializado do que uma GPU, uma tecnologia padrão, que é altamente programável em todos os aspectos. Somos especializados em transformadores e LLMs. Portanto, dentro dessa categoria de dispositivos, devemos ser bastante adaptáveis. Mas se estivermos trabalhando com outras coisas, talvez haja hardware mais adequado.
Nieva: Com essa capacidade de inferência geral, faz parte do plano vender os chips para outras empresas ou alugá-los por meio da nuvem?
Ho: Não vamos descartar essa possibilidade, mas temos tanta demanda interna que levará um tempo para atendê-la. Como é um produto tão versátil, acho que vale a pena discutir o assunto, mas não é algo em que estamos focados agora.
Nieva: Por que vocês escolheram trabalhar com a Broadcom para este chip, e não com a Nvidia, AMD ou Marvell?
Ho: Todas são ótimas opções. Eu as usaria sem hesitar. Com a Broadcom em particular, conduzimos um processo de avaliação de parceiros bastante neutro. E para nós, pontos-chave são algumas das propriedades intelectuais analógicas. Então, quando falamos de um acelerador, não se trata apenas de um único chip.
Antigamente, quando falávamos de um PC, era a CPU. Quão boa era essa CPU? Quanta capacidade de processamento ela tinha? Hoje em dia, com a IA, são clusters. São supercomputadores enormes com muitos e muitos chips interligados em um rack, e em vários racks juntos, formando o pod inteiro que executa tudo isso.
Para isso, é necessário muita comunicação, muita memória avançada que permita armazenar os dados, acessá-los rapidamente e obter uma grande quantidade desses dados com muita rapidez.
Nieva: Então a propriedade intelectual da Broadcom era mais adequada para você do que, digamos, a da Nvidia?
Ho: Existe essa propriedade intelectual disponível de outros fornecedores. Acho que acabamos de avaliar isso e, no geral, a Broadcom foi uma ótima escolha para nós. Além disso, já tínhamos experiência com eles.
Minha equipe, inclusive eu, viemos do Google. Eu estava lá quando eles criaram a primeira , e muitos dos meus colegas de equipe vieram do time original da TPU. Passamos muito tempo trabalhando com a Broadcom durante o desenvolvimento do chip. Então, se quiséssemos concluir este projeto rapidamente, isso facilitaria bastante o processo.
Nieva: Você mencionou que um dos fatores na construção do chip foi a relação custo-benefício. Obviamente, os computadores da Nvidia são caros. Isso diminui sua dependência da Nvidia?
Ho: Acho que a Nvidia continuará fazendo parte da frota. O principal aqui é que Sam enxergou a visão de computação para a OpenAI. Temos uma demanda tão grande por mais poder computacional que isso vai complementar o que já temos. Então, continuamos sendo um parceiro muito forte da Nvidia. Temos contratos com a AMD, com a Cerebras, com muitas outras empresas. Onde a Jalapeno se encaixa nisso? Ela está adicionando mais capacidade.
Nieva: Como você lidou com o relacionamento com a Nvidia, passando de cliente a também fabricante de chips?
Ho: Na minha opinião, e não tenho certeza se é assim que o CEO Jensen Huang ou a Nvidia veem, estamos competindo entre amigos. Estamos gerando muitos negócios para eles, e eles são uma parte fundamental de nós. Mas se pudermos fazer melhor e incentivá-los a fazer melhor, devemos fazer isso, certo? E é mais ou menos isso que estamos dizendo aqui. Nós conseguimos. Vocês podem fazer melhor. E se vocês fizerem melhor, nós nos beneficiamos disso.
Então, está tudo bem. Eu diria que havia muito ceticismo na indústria em geral sobre um chip de primeira geração de um laboratório de IA, que pudesse estar pronto para produção, e por isso estou muito orgulhoso da equipe. Estou orgulhoso do apoio que recebemos dentro da OpenAI para conseguir isso.
Nieva: Você tem alguma projeção de quanto dinheiro a OpenAI economizará na próxima década por causa disso?
Ho: Eu não fiz essa análise. Sinto muito. Talvez possamos tentar entrar em contato com você com uma resposta sobre isso. Essa é mais difícil para mim elaborar em tempo real.
Em um e-mail posterior, um porta-voz da OpenAI disse que a empresa não tem uma estimativa.
Nieva: Qual é a maior diferença entre projetar chips para o Google e para a OpenAI?
Ho: Foi um grande privilégio estar lá e ver a TPU crescer. Acho que a principal diferença que vejo é a proximidade que temos com os pesquisadores e com a equipe de software aqui, já que é uma empresa muito menor. Então, pelo tamanho, ainda estamos em modo startup. Esse nível de interação e essa troca intelectual é incrível aqui.
E ter essa visão de alto nível de que realmente precisamos fazer isso, é essencial para a existência da empresa ter uma infraestrutura realmente boa, que vem de Sam e do cofundador e presidente da OpenAI, Greg Brockman, e realmente motivou todos a trabalharem de forma coesa e a avançarem muito rapidamente.
Nieva: O Jalapeno é um chip de inferência. Você faria um chip de treinamento?
Ho: O treinamento é muito importante. Quer dizer, sejamos honestos. Ele exige muita capacidade computacional. Mas o crescimento que vemos está na área de inferência, e é aí que percebemos uma lacuna. Portanto, conseguir reduzir o custo da inferência realmente beneficiaria todo o nosso portfólio de produtos. E é nisso que estamos focando agora.
Especificamente para o pré-treinamento, não está descartado. É uma questão de prioridades e de tentar abordar primeiro o que é mais importante para a empresa e para os nossos usuários, e só depois passar para isso. Portanto, eu não descartaria completamente, mas não estou focado nisso agora.
Nieva: A OpenAI afirmou que começará a implementar o Jalapeno em data centers até o final do ano. Quando ele estará em uso em produção em larga escala?
Ho: Nossa intenção é ter algo em produção no primeiro semestre de 2027. Assim, alguns usuários de alguns modelos poderão estar usando o Jalapeno até lá. Esse é o nosso objetivo. É uma meta ambiciosa, pois há muito trabalho de software e muito trabalho preparatório em andamento.
Nieva: Quantos gigawatts o chip possui?
Ho: Acho que não compartilhamos isso publicamente.
Nieva: Tem-se falado muito sobre pessimismo e desaceleração. Tenho curiosidade em saber como isso se reflete no seu mundo. Se houver uma desaceleração no desenvolvimento, isso afeta a forma como você pensa sobre o design de chips e a construção de data centers?
Ho: Ponto crucial aqui. Acho que a discussão é extremamente importante de forma geral, e acredito que a empresa está muito focada em garantir que tenhamos as diretrizes corretas, as salvaguardas de segurança adequadas e todo o monitoramento necessário. Isso é absolutamente fundamental. Aliás, isso exige muita capacidade computacional.
Então, a forma de pensar nisso é que a infraestrutura permite que as pessoas façam essas escolhas. Você pode optar por usar parte da capacidade computacional para mais segurança, mais salvaguardas, mais monitoramento e coisas do tipo. Ou pode optar por usá-la para aprimorar os modelos. E acho que esse equilíbrio é definido em nível de política da empresa.
Então, do nosso ponto de vista, a infraestrutura precisa continuar se tornando mais eficiente e crescendo. E eu vejo isso como uma expansão do que pensávamos ser necessário.
Pensávamos que precisávamos de uma certa quantidade de poder computacional apenas para atender os usuários. E se vamos ter muito mais mecanismos de segurança e muito mais monitoramento, então é melhor adicionar muito mais poder computacional para isso também, certo?
Reportagem publicada originalmente em Forbes.com