Muitos esforços de desenvolvimento de agentes de IA corporativos nunca chegam à produção e não é porque a tecnologia não está pronta. O problema, de acordo com o Databricks, é que as empresas ainda confiam em avaliações manuais com um processo lento, inconsistente e difícil de escalar.

Hoje, no Data + AI Summit, o Databricks lançou os tijolos de agente de mosaico como uma solução para esse desafio. A tecnologia se baseia e estende a estrutura do agente de IA em mosaico que a empresa anunciou em 2024. Simplificando, não é mais bom o suficiente para poder construir agentes de IA para ter impacto no mundo real.

A plataforma Bricks Bricks do Mosaic Agent automatiza a otimização do agente usando uma série de inovações apoiadas pela pesquisa. Entre as principais inovações está a integração do TAO (otimização adaptativa de tempo de teste), que fornece uma nova abordagem para ajustar a IA sem a necessidade de dados rotulados. Os tijolos do agente de mosaico também gera dados sintéticos específicos do domínio, cria benchmarks de consciência de tarefas e otimiza o equilíbrio de qualidade para custo sem intervenção manual.

Fundamentalmente, o objetivo da nova plataforma é resolver um problema que os usuários do Databricks tiveram com os esforços de desenvolvimento de agentes de IA existentes.

“Eles estavam voando cegos, não tinham como avaliar esses agentes”, disse Hanlin Tang, diretor de tecnologia de redes neurais da Databricks, à VentureBeat. “A maioria deles estava confiando em um tipo de rastreamento manual de vibração manual para ver se o agente soa bom o suficiente, mas isso não lhes dá confiança para entrar na produção.”

Da inovação de pesquisa à escala de produção de IA corporativa

Tang foi anteriormente o co-fundador e o CTO da Mosaic, que foi adquirido pelos Databricks em 2023 por US $ 1,3 bilhão.

Na Mosaic, grande parte da inovação de pesquisa não necessariamente teve um impacto empresarial imediato. Tudo isso mudou após a aquisição.

“O grande momento da lâmpada para mim foi quando lançamos nosso produto em Databricks e, instantaneamente, durante a noite, tínhamos, como milhares de clientes corporativos usando -o”, disse Tang.

Por outro lado, antes do mosaico de aquisição, passava meses tentando obter apenas algumas empresas para experimentar produtos. A integração do Mosaic nos Databricks deu à equipe de pesquisa do Mosaic acesso direto a problemas corporativos em escala e revelou novas áreas para explorar.

Esse contato corporativo revelou novas oportunidades de pesquisa.

“Somente quando você tem contato com clientes corporativos, você trabalha profundamente com eles, que realmente descobre um tipo de problema de pesquisa interessante a perseguir”, explicou Tang. “Bricks do agente … é, de certa forma, uma espécie de evolução de tudo o que estamos trabalhando na Mosaic agora que somos todos totalmente, totalmente tijolos.”

Resolvendo a crise de avaliação de IA agêntica

As equipes corporativas enfrentam um processo de otimização de teste e erro caro. Sem benchmarks com reconhecimento de tarefas ou dados de teste específicos de domínio, todo ajuste do agente se torna um jogo de adivinhação caro. A deriva da qualidade, a excedência de custos e os prazos perdidos seguem.

Os tijolos do agente automatizam todo o pipeline de otimização. A plataforma pega uma descrição de tarefas de alto nível e dados corporativos. Ele lida com o resto automaticamente.

Primeiro, gera avaliações específicas de tarefas e juízes da LLM. Em seguida, cria dados sintéticos que refletem os dados do cliente. Por fim, ele pesquisa nas técnicas de otimização para encontrar a melhor configuração.

“O cliente descreve o problema em um nível alto e eles não entram nos detalhes de baixo nível, porque cuidamos deles”, disse Tang. “O sistema gera dados sintéticos e cria juízes personalizados LLM específicos para cada tarefa”.

A plataforma oferece quatro configurações de agentes:

• Extração de informações: Converte documentos (PDFs, e -mails) em dados estruturados. Um caso de uso pode ser organizações de varejo que o usam para extrair detalhes do produto de PDFs do fornecedor, mesmo com formatação complexa.
• Assistente de conhecimento: Fornece respostas precisas e citadas dos dados corporativos. Por exemplo, os técnicos de fabricação podem obter respostas instantâneas dos manuais de manutenção sem cavar os ligantes.
• LLM personalizado: Lida com tarefas de transformação de texto (resumo, classificação). Por exemplo, as organizações de saúde podem personalizar modelos que resumem as notas do paciente para fluxos de trabalho clínicos.
• Supervisor multi-agente: Orquestra vários agentes para fluxos de trabalho complexos. Um exemplo de caso de uso são as empresas de serviços financeiros que podem coordenar agentes para detecção de intenções, recuperação de documentos e verificações de conformidade.

Os agentes são ótimos, mas não se esqueça dos dados

Construir e avaliar agentes é uma parte essencial de preparar a IA Enterprise pronta, mas não é a única parte necessária.

O banco de dados posiciona os tijolos do agente de mosaico como a camada de consumo de IA sentada no topo de sua pilha de dados unificada. Na Cúpula Data + AI, os Databricks também anunciaram a disponibilidade geral de sua plataforma de engenharia de dados do Lakeflow, que foi visualizada pela primeira vez em 2024.

O LakeFlow resolve o desafio de preparação de dados. Ele unifica três jornadas críticas de engenharia de dados que anteriormente exigiam ferramentas separadas. Engestão lida com dados estruturados e não estruturados nos Databricks. A transformação fornece limpeza, reformulação e preparação eficientes de dados. A orquestração gerencia fluxos de trabalho de produção e programação.

A conexão do fluxo de trabalho é direta: o LakeFlow prepara os dados corporativos por meio de ingestão e transformação unificadas, e o agente Bricks cria agentes de IA otimizados nesses dados preparados.

“Ajudamos a colocar os dados na plataforma e você pode fazer análises de ML, BI e IA”, disse Bilal Aslam, diretor sênior de gerenciamento de produtos da Databricks à VentureBeat.

Indo além da ingestão de dados, os tijolos do agente de mosaico também se beneficiam dos recursos de governança do catálogo da unidade do Databricks. Isso inclui controles de acesso e rastreamento de linhagem de dados. Essa integração garante que o comportamento do agente respeite a governança de dados corporativos sem configuração adicional.

Agente Aprendendo com o feedback humano elimina o recheio imediato

Uma das abordagens comuns para orientar os agentes da IA ​​hoje é usar um prompt do sistema. Tang se referiu à prática de ‘recheio imediato’, onde os usuários empurram todos os tipos de orientação para um aviso na esperança de que o agente o siga.

O agente Bricks apresenta um novo conceito chamado – agente aprendendo com o feedback humano. Esse recurso ajusta automaticamente os componentes do sistema com base nas orientações da linguagem natural. Ele resolve o que Tang chama de problema de recheio rápido. Segundo Tang, a abordagem de enchimento imediata geralmente falha porque os sistemas de agentes têm vários componentes que precisam de ajuste.

O aprendizado de agentes com o feedback humano é um sistema que interpreta automaticamente a orientação natural da linguagem e ajusta os componentes do sistema apropriados. A abordagem reflete o aprendizado de reforço com o feedback humano (RLHF), mas opera no nível do sistema do agente, em vez de pesos individuais do modelo.

O sistema lida com dois desafios principais. Primeiro, a orientação da linguagem natural pode ser vaga. Por exemplo, o que ‘respeita a voz da sua marca’ realmente significa? Segundo, os sistemas de agentes contêm vários pontos de configuração. As equipes lutam para identificar quais componentes precisam de ajuste.

O sistema elimina as suposições sobre quais componentes do agente precisam de ajuste para alterações comportamentais específicas.

“Acreditamos que isso ajudará os agentes a se tornarem mais direcionados”, disse Tang.

Vantagens técnicas sobre estruturas existentes

Atualmente, não faltam estruturas e ferramentas de desenvolvimento de IA agênticas no mercado. Entre a crescente lista de opções de fornecedores estão as ferramentas da Langchain, Microsoft e Google.

Tang argumentou que o que torna os tijolos de agente mosaico diferente é a otimização. Em vez de exigir configuração e ajuste manual, os tijolos de agentes incorpora várias técnicas de pesquisa automaticamente: TAO, aprendizado no contexto, otimização imediata e ajuste fino.

Quando se trata de agente para comunicações do agente, existem algumas opções no mercado hoje, incluindo o protocolo Agent2AGENT do Google. Segundo Tang, o Databricks está atualmente explorando vários protocolos de agentes e não se comprometeu com um único padrão.

Atualmente, o agente Bricks lida com a comunicação agente para agente através de dois métodos principais:

1. Expondo agentes como pontos de extremidade que podem ser envolvidos em diferentes protocolos.
2. Usando um supervisor multi-agente que é o MCP (Model Context Protocol).

Implicações estratégicas para tomadores de decisão corporativos

Para empresas que desejam liderar o caminho na IA, é fundamental ter as tecnologias certas em vigor para avaliar a qualidade e a eficácia.

A implantação de agentes sem avaliação não levará a um resultado ideal e nenhum dos agentes sem uma base sólida de dados. Ao considerar as tecnologias de desenvolvimento de agentes, é fundamental ter mecanismos adequados para avaliar as melhores opções.

O agente que aprende com a abordagem de feedback humano também é digno de nota para os tomadores de decisão corporativos, pois ajuda a orientar a IA agêntica para o melhor resultado.

Para empresas que desejam liderar a implantação do agente de IA, esse desenvolvimento significa que a infraestrutura de avaliação não é mais um fator de bloqueio. As organizações podem focar recursos no uso de identificação de casos e preparação de dados, em vez de criar estruturas de otimização.