Uma equipe de pesquisadores de instituições líderes, incluindo a Universidade de Xangai Jiao Tong e a Universidade de Zhejiang, desenvolveu o que eles chamam de “sistema operacional de memória” para a IA, abordando uma limitação fundamental que impediu os modelos de alcançar a memória persistente e a aprendizagem persistente do tipo humano.

O sistema, chamado de memorandos, trata a memória como um recurso computacional essencial que pode ser agendado, compartilhado e evoluído ao longo do tempo – semelhante à forma como os sistemas operacionais tradicionais gerenciam a CPU e os recursos de armazenamento. A pesquisa, publicada em 4 de julho no ARXIV, demonstra melhorias significativas de desempenho em relação às abordagens existentes, incluindo um aumento de 159% nas tarefas de raciocínio temporal em comparação com os sistemas de memória do OpenAI.

“Os grandes modelos de idiomas (LLMs) tornaram-se uma infraestrutura essencial para a inteligência geral artificial (AGI), mas sua falta de sistemas de gerenciamento de memória bem definidos dificulta o desenvolvimento de raciocínio, personalização contínua e consistência do conhecimento de longo contexto”, escrevem os pesquisadores em seu artigo.

Os sistemas de IA lutam com a memória persistente nas conversas

Os sistemas atuais de IA enfrentam o que os pesquisadores chamam de problema de “silo de memória”-uma limitação arquitetônica fundamental que os impede de manter relacionamentos coerentes e de longo prazo com os usuários. Cada conversa ou sessão começa essencialmente do zero, com modelos incapazes de reter preferências, conhecimento acumulado ou padrões comportamentais nas interações. Isso cria uma experiência frustrante do usuário, porque um assistente de IA pode esquecer as restrições alimentares de um usuário mencionadas em uma conversa quando perguntadas sobre as recomendações de restaurantes na próxima.

Enquanto algumas soluções, como a geração de recuperação, a geração (RAG) tentam abordar isso, puxando informações externas durante as conversas, os pesquisadores argumentam que eles permanecem “solucionamentos sem estado sem controle do ciclo de vida”. O problema é mais profundo do que a simples recuperação de informações – trata -se de criar sistemas que podem realmente aprender e evoluir da experiência, assim como a memória humana.

“Os modelos existentes dependem principalmente de parâmetros estáticos e estados contextuais de curta duração, limitando sua capacidade de rastrear as preferências do usuário ou atualizar o conhecimento por períodos prolongados”, explica a equipe. Essa limitação se torna particularmente aparente nas configurações corporativas, onde os sistemas de IA devem manter o contexto em fluxos de trabalho complexos e multi-estágios que possam abranger dias ou semanas.

Novo sistema oferece melhorias dramáticas nas tarefas de raciocínio da IA

Os memorandos introduzem uma abordagem fundamentalmente diferente através do que os pesquisadores chamam de “Memcubes” – unidades de memória padronizadas que podem encapsular diferentes tipos de informações e serem compostas, migradas e evoluíram ao longo do tempo. Eles variam de conhecimento explícito baseado em texto a adaptações e estados de ativação no nível de parâmetros do modelo, criando uma estrutura unificada para o gerenciamento de memória que anteriormente não existia.

Testando o benchmark Locomo, que avalia tarefas de raciocínio intensivas em memória, os memorandos superaram consistentemente as linhas de base estabelecidas em todas as categorias. O sistema alcançou uma melhoria geral de 38,98% em comparação com a implementação da memória do OpenAI, com ganhos particularmente fortes em cenários complexos de raciocínio que exigem informações de conexão em várias curvas de conversação.

“Os memorandos (MEMOS-0630) são consistentemente em primeiro lugar em todas as categorias, superando fortes linhas de base, como MEM0, Langmem, Zep e Openai Memory, com margens especialmente grandes em ambientes desafiadores, como raciocínio multi-hop e temporal”, de acordo com a pesquisa.

O sistema também forneceu melhorias substanciais de eficiência, com redução de até 94% na latência de tempo para o primeiro toque em certas configurações por meio de seu inovador mecanismo de injeção de memória de cache KV.

Esses ganhos de desempenho sugerem que o gargalo da memória tem sido uma limitação mais significativa do que o entendido anteriormente. Ao tratar a memória como um recurso computacional de primeira classe, os memorandos parecem desbloquear os recursos de raciocínio que foram restringidos anteriormente pelas limitações arquitetônicas.

A tecnologia pode remodelar como as empresas implantam inteligência artificial

As implicações para a implantação da IA ​​corporativa podem ser transformadoras, principalmente à medida que as empresas dependem cada vez mais de sistemas de IA para relacionamentos complexos e contínuos com clientes e funcionários. Os memorandos permitem o que os pesquisadores descrevem como “migração de memória de plataforma cruzada”, permitindo que as memórias de IA sejam portáteis em diferentes plataformas e dispositivos, quebrando o que chamam de “ilhas de memória” que atualmente prendem o contexto do usuário em aplicativos específicos.

Considere a frustração atual que muitos usuários experimentam quando as informações exploradas em uma plataforma de IA não podem levar para outra. Uma equipe de marketing pode desenvolver personas detalhadas dos clientes por meio de conversas com o ChatGPT, apenas para começar do zero ao mudar para uma ferramenta de IA diferente para o planejamento de campanhas. Os memorandos abordam isso criando um formato de memória padronizado que pode se mover entre os sistemas.

A pesquisa também descreve o potencial de “módulos de memória paga”, onde especialistas em domínio podem empacotar seus conhecimentos em unidades de memória comprada. Os pesquisadores prevêem cenários em que “um estudante de medicina em rotação clínica pode desejar estudar como gerenciar uma condição autoimune rara. Um médico experiente pode encapsular heurísticas de diagnóstico, caminhos de questionamento e padrões típicos de casos em uma memória estruturada” que pode ser instalada e usada por outros sistemas de IA.

Esse modelo de mercado pode alterar fundamentalmente como o conhecimento especializado é distribuído e monetizado nos sistemas de IA, criando novas oportunidades econômicas para especialistas, enquanto democratiza o acesso ao conhecimento de domínio de alta qualidade. Para as empresas, isso pode significar implantar rapidamente sistemas de IA com profunda experiência em áreas específicas sem os custos e cronogramas tradicionais associados ao treinamento personalizado.

O design de três camadas reflete os sistemas de operação de computador tradicionais

A arquitetura técnica dos memorandos reflete décadas de aprendizado do design tradicional do sistema operacional, adaptado para os desafios únicos do gerenciamento de memória de IA. O sistema emprega uma arquitetura de três camadas: uma camada de interface para chamadas de API, uma camada de operação para agendamento de memória e gerenciamento do ciclo de vida e uma camada de infraestrutura para armazenamento e governança.

O componente Memscheduler do sistema gerencia dinamicamente diferentes tipos de memória – dos estados de ativação temporária a modificações permanentes de parâmetros – selecionando estratégias ideais de armazenamento e recuperação com base nos padrões de uso e requisitos de tarefas. Isso representa um afastamento significativo das abordagens atuais, que normalmente tratam a memória como completamente estática (incorporada nos parâmetros do modelo) ou completamente efêmeras (limitadas ao contexto da conversa).

“O foco muda de quanto conhecimento o modelo aprende uma vez se pode transformar a experiência em memória estruturada e recuperá-la e reconstruir repetidamente”, observam os pesquisadores, descrevendo sua visão para o que chamam de paradigmas de “treinamento em memorados”. Essa filosofia arquitetônica sugere uma repensação fundamental de como os sistemas de IA devem ser projetados, afastando-se do paradigma atual de pré-treinamento maciço em direção a um aprendizado mais dinâmico e orientado a experiência.

Os paralelos ao desenvolvimento do sistema operacional são impressionantes. Assim como os primeiros computadores exigiam que os programadores gerenciassem manualmente a alocação de memória, os sistemas atuais de IA exigem que os desenvolvedores orquestrem cuidadosamente como as informações fluem entre diferentes componentes. Os memorandos abstraem essa complexidade, possibilitando potencialmente uma nova geração de aplicativos de IA que podem ser construídos sobre o gerenciamento sofisticado de memória sem exigir um conhecimento técnico profundo.

Os pesquisadores liberam o código como código aberto para acelerar a adoção

A equipe lançou os memorandos como um projeto de código aberto, com código completo disponível no Github e suporte de integração para as principais plataformas de IA, incluindo Huggingface, Openai e Ollama. Essa estratégia de código aberto aparece projetado para acelerar a adoção e incentivar o desenvolvimento da comunidade, em vez de buscar uma abordagem proprietária que possa limitar a implementação generalizada.

“Esperamos que os memorandos ajudem a avançar nos sistemas de IA, de geradores estáticos a agentes orientados a memória evoluindo continuamente”, comentou o líder do projeto Zhiyu Li no repositório do GitHub. Atualmente, o sistema suporta plataformas Linux, com o Windows e o MacOS suportarem planejado, sugerindo que a equipe está priorizando a adoção de empresas e desenvolvedores sobre a acessibilidade imediata do consumidor.

A estratégia de liberação de código aberto reflete uma tendência mais ampla na pesquisa de IA, onde as melhorias na infraestrutura fundamental são compartilhadas abertamente para beneficiar todo o ecossistema. Essa abordagem historicamente acelerou a inovação em áreas como estruturas de aprendizado profundo e pode ter efeitos semelhantes para o gerenciamento de memória nos sistemas de IA.

Os gigantes da tecnologia correm para resolver as limitações de memória da IA

A pesquisa chega à medida que as principais empresas de IA lidam com as limitações das abordagens atuais de memória, destacando o quão fundamental esse desafio se tornou para a indústria. A OpenAI introduziu recentemente os recursos de memória para o ChatGPT, enquanto o Antrópico, o Google e outros provedores experimentaram várias formas de contexto persistente. No entanto, essas implementações geralmente têm um escopo limitado e geralmente não possuem a abordagem sistemática que os memorandos fornecem.

O momento desta pesquisa sugere que o gerenciamento de memória emergiu como um campo de batalha competitivo crítico no desenvolvimento da IA. As empresas que podem resolver o problema da memória efetivamente podem obter vantagens significativas na retenção e satisfação do usuário, pois seus sistemas de IA poderão criar relacionamentos mais profundos e mais úteis ao longo do tempo.

Os observadores da indústria há muito previam que o próximo grande avanço na IA não viria necessariamente de modelos maiores ou mais dados de treinamento, mas de inovações arquitetônicas que imitam melhor as capacidades cognitivas humanas. O gerenciamento de memória representa exatamente esse tipo de avanço fundamental – que poderia desbloquear novos aplicativos e casos de uso que não são possíveis com os sistemas sem estado atuais.

O desenvolvimento representa parte de uma mudança mais ampla na pesquisa de IA em relação a sistemas mais comuns e persistentes que podem acumular e evoluir o conhecimento ao longo do tempo – capacidades vistas como essenciais para a AGI. Para os líderes de tecnologia corporativa que avaliam as implementações de IA, os memorandos podem representar um avanço significativo na construção de sistemas de IA que mantêm o contexto e melhoram com o tempo, em vez de tratar cada interação como isolado.

A equipe de pesquisa indica que eles planejam explorar o compartilhamento de memória de modelos cruzados, os blocos de memória auto-evoluindo e um ecossistema mais amplo de “Memory Marketplace”. Mas talvez o impacto mais significativo dos memorandos não seja a implementação técnica específica, mas a prova de que o tratamento da memória como um recurso computacional de primeira classe pode desbloquear melhorias dramáticas nos recursos de IA. Em um setor que se concentrou amplamente em dimensionar o tamanho do modelo e os dados de treinamento, os memorandos sugerem que o próximo avanço pode vir de uma melhor arquitetura em vez de computadores maiores.