Poucas empresas enfrentam riscos maiores ao implantar IA do que a Waymo, a empresa de automóveis autônomos da Alphabet que surgiu do Google. Os seus modelos não se limitam a gerar texto ou a automatizar tarefas administrativas: ajudam os veículos a navegar por ruas imprevisíveis, a responder a condutores humanos e a tomar decisões em frações de segundo no mundo físico.
Mas os métodos que a Waymo utiliza para gerir esses riscos – avaliação contínua, dados cuidadosamente selecionados, supervisão humana e resultados de negócios claramente definidos – oferecem um manual mais amplo para empresas que implementam agentes de IA em praticamente qualquer setor.
Manasi Joshi, diretor de engenharia de inteligência de sistemas e aprendizado de máquina da Waymo, explicou no VB Transform 2026 como a empresa de veículos autônomos treina, testa e implanta IA em escala. Até o momento, a Waymo conduziu mais de 220 milhões de veículos totalmente autônomos, ou "apenas para piloto," quilômetros, com 17 vezes menos ferimentos graves em acidentes do que motoristas humanos na mesma distância, de acordo com a empresa.
Para alcançar esses resultados impressionantes, Joshi disse que a Waymo adotou o que ela chamou de “desenvolvimento forçado na avaliação” ou “desenvolvimento centrado na avaliação”, tornando a avaliação uma parte central da engenharia, em vez de uma verificação final realizada antes da implantação.
“O estágio em que nossos projetos estão amadurecendo pode ser facilmente revelado com base na maturidade da avaliação que eles apresentam”, disse Joshi.
Na prática, a Waymo avalia a prontidão de um projeto, em parte, examinando a maturidade dos testes que o envolvem. Essa abordagem tem implicações claras para as empresas que criam agentes de atendimento ao cliente, assistentes de codificação, sistemas financeiros ou outras aplicações de IA: se uma empresa não consegue medir de forma fiável o desempenho de um sistema, pode não estar pronta para colocar esse sistema em produção.
As avaliações devem continuar após o lançamento
Joshi disse que grande parte do trabalho de qualidade da Waymo mudou para avaliações, incluindo testes realizados durante o treinamento do modelo, após o treinamento e dentro de simulações de circuito aberto e circuito fechado.
“Eval não é uma tarefa única para lançar um modelo”, disse ela.
Em vez disso, a Waymo trata a avaliação como um processo contínuo que abrange condução, simulação e validação. Sua metodologia combina conjuntos de dados, métricas de desempenho e infraestrutura capaz de operar com eficiência em escala.
Para as empresas, isso significa que testar um agente antes do lançamento é insuficiente. As equipes devem continuar avaliando-o conforme modelos subjacentes, processos de negócios, comportamento do usuário e alterações nos dados recebidos. Essas avaliações também devem estar relacionadas com os resultados reais dos negócios, em vez de se basearem apenas em benchmarks amplos do setor.
Joshi alertou que as medições da qualidade do modelo são tão confiáveis quanto os dados de avaliação por trás delas. A Waymo, portanto, combina suas afirmações de desempenho com informações sobre as propriedades dos conjuntos de dados usados para testar seus sistemas.
Testando os casos raros e perigosos
A hierarquia de avaliação da Waymo permanece baseada em um objetivo primordial: segurança.
A empresa baseia-se em registos de condução próprios, em alguns dados de terceiros e em simulações realistas que expõem os seus sistemas a cenários que abrangem milhares de milhões de quilómetros sintéticos. Os proprietários das tarefas escolhem dados e métricas especializados para situações que envolvem usuários vulneráveis das estradas, cruzamentos ferroviários, zonas de construção e outros ambientes complexos.
O mesmo princípio se aplica fora da condução autônoma. As empresas precisam testar não apenas as solicitações de rotina que seus agentes atendem com sucesso, mas também situações incomuns em que erros podem criar danos financeiros, jurídicos, de segurança ou de reputação.
Joshi enfatizou que a Waymo não deixa as decisões de lançamento inteiramente nas mãos de sistemas automatizados. Suas análises de prontidão para produção incluem ampla supervisão humana, enquanto os líderes internos de segurança aprovam lançamentos de software e expansões de área de serviço.
“Isso não é orientado por IA e é completamente automatizado e sem supervisão humana”, disse ela. “Vidas humanas estão em jogo.”
A eficiência não pode ocorrer em detrimento da confiabilidade
A Waymo enfrenta outro problema familiar às equipes empresariais de IA: a demanda por computação, armazenamento, memória e capacidade de rede está crescendo mais rapidamente do que os recursos disponíveis.
A empresa busca eficiência na extração e armazenamento de dados, treinamento de modelos distribuídos, destilação de modelos, simulação e avaliação. Também enfatiza a “eficiência dos dados”, selecionando os exemplos de treinamento mais úteis em vez de tratar um volume maior como inerentemente melhor.
Waymo começou a usar transformadores em 2017 e posteriormente expandiu-se para grandes modelos de linguagem, modelos de linguagem de visão e modelos de linguagem de visão e ação. Joshi disse que a empresa agora usa modelos multimodais generativos como parte de sua estratégia de modelo básico.
A Waymo divide sua tecnologia entre sistemas integrados dentro de cada veículo e infraestrutura externa usada para desenvolvimento de modelos, processamento de dados e simulação. Essa combinação força a empresa a otimizar tanto a inferência em tempo real quanto os sistemas maiores que a suportam.
Os agentes precisam de suas próprias avaliações
Waymo também usa agentes de IA internamente como ferramentas de produtividade para engenheiros. Joshi disse que os agentes ajudam a analisar distribuições de dados, avaliar a eficiência dos dados e triagem de problemas encontrados na telemetria de veículos, execuções de treinamento e trabalhos de avaliação com falha.
O objetivo é acelerar o trabalho investigativo para que os engenheiros possam dedicar mais tempo ao julgamento e a problemas técnicos difíceis. Mas a Waymo também avalia esses agentes para garantir que produzam resultados confiáveis e precisos, em vez de enviar os funcionários para caminhos improdutivos.
Para os líderes empresariais, a maior lição da Waymo é que a IA agente exige mais do que escolher um modelo poderoso. As organizações precisam de um objetivo claramente definido, de dados de avaliação representativos, de testes contínuos, de uma infraestrutura que possa operar de forma eficiente e de decisores humanos nomeados que permaneçam responsáveis pela implementação.
"Ganhar confiança é extremamente importante," Joshi disse.
Fonte ==> Cyberseo
