Os bancos de dados vetoriais surgiram como uma base tecnológica obrigatória no início da era moderna da geração AI.

O que mudou no último ano, entretanto, é que os vetores, as representações numéricas de dados usados ​​pelos LLMs, tornaram-se cada vez mais apenas mais um tipo de dados em todos os tipos de bancos de dados diferentes. Agora, a Amazon Web Services (AWS) está dando o próximo salto na onipresença de vetores com a disponibilidade geral do Amazon S3 Vectors.

Amazon S3 é o serviço de armazenamento de objetos em nuvem AWS amplamente usado por organizações de todos os tamanhos para armazenar todo e qualquer tipo de dados. Na maioria das vezes, o S3 também é usado como um componente fundamental para implantações de data lake e lakehouse. O Amazon S3 Vectors agora adiciona recursos nativos de armazenamento de vetores e pesquisa de similaridade diretamente ao armazenamento de objetos do S3. Em vez de exigir um banco de dados de vetores separado, as organizações podem armazenar incorporações de vetores no S3 e consultá-los para pesquisa semântica, aplicativos de geração aumentada de recuperação (RAG) e fluxos de trabalho de agentes de IA sem mover dados para infraestrutura especializada

O serviço foi visualizado pela primeira vez em julho, com capacidade inicial de 50 milhões de vetores em um único índice. Com o lançamento do GA, a AWS aumentou drasticamente esse número para 2 bilhões de vetores em um único índice e até 20 trilhões de vetores por bucket de armazenamento S3.

De acordo com a AWS, os clientes criaram mais de 250.000 índices vetoriais e ingeriram mais de 40 bilhões de vetores nos quatro meses desde o lançamento da versão prévia. O aumento de escala com o lançamento do GA agora permite que as organizações consolidem conjuntos inteiros de dados vetoriais em índices únicos, em vez de fragmentá-los na infraestrutura. O lançamento do GA também agita o cenário de dados empresariais, fornecendo uma nova abordagem pronta para produção para vetores que poderia potencialmente perturbar o mercado de bancos de dados de vetores criados especificamente.

Adicionando combustível ao fogo competitivo, AWS reivindicações que o serviço S3 Vector pode ajudar as organizações a "reduza o custo total de armazenamento e consulta de vetores em até 90% quando comparado a soluções especializadas de banco de dados de vetores."

AWS posiciona vetores S3 como complementares e não competitivos para bancos de dados vetoriais

Embora os vetores do Amazon S3 forneçam um conjunto poderoso de recursos vetoriais, a resposta para saber se ele substitui ou não a necessidade de um banco de dados vetorial dedicado é um tanto sutil e depende de a quem você pergunta.

Apesar das agressivas reivindicações de custos e das drásticas melhorias de escala, a AWS está posicionando o S3 Vectors como uma camada de armazenamento complementar, em vez de um substituto direto para bancos de dados de vetores especializados.

"Os clientes escolhem se usam S3 Vectors ou um banco de dados vetorial com base nas necessidades de latência do aplicativo," Mai-Lan Tomsen Bukovec, vice-presidente de tecnologia da AWS, disse ao VentureBeat.

Bukovec observou que uma maneira de pensar nisso é como uma “classificação em níveis de desempenho” baseada nas necessidades de aplicação de uma organização. Ela observou que se o aplicativo exigir tempos de resposta super rápidos e de baixa latência, um banco de dados vetorial como o Amazon OpenSearch é uma boa opção.

"Mas para muitos tipos de operações, como criar uma camada semântica de compreensão dos dados existentes ou estender a memória do agente com muito mais contexto, o S3 Vectors é uma ótima opção."

A questão de saber se o S3 e seu armazenamento de objetos em nuvem de baixo custo substituirão um tipo de banco de dados também não é nova para os profissionais de dados. Bukovec fez uma analogia com a forma como as empresas usam os data lakes hoje.

"Espero que veremos o armazenamento vetorial evoluir de forma semelhante aos dados tabulares em data lakes, onde os clientes continuam usando bancos de dados transacionais como o Amazon Aurora para determinados tipos de cargas de trabalho e, em paralelo, usam o S3 para armazenamento e análise de aplicativos, porque o perfil de desempenho funciona e eles precisam das características do S3 de durabilidade, escalabilidade, disponibilidade e economia de custos devido ao crescimento dos dados."

Como a demanda e os requisitos dos clientes moldaram os serviços Amazon S3 Vector

Durante os primeiros meses de visualização, a AWS aprendeu o que os clientes corporativos reais realmente desejam e precisam de um armazenamento de dados vetoriais.

"Recebemos muitos comentários muito positivos da versão prévia e os clientes nos disseram que queriam os recursos, mas em uma escala muito maior e com menor latência, para que pudessem usar o S3 como armazenamento de vetores primário para grande parte de seu armazenamento de vetores em rápida expansão." Bukovec disse.

Além da escala aprimorada, a latência da consulta melhorou para aproximadamente 100 milissegundos ou menos para consultas frequentes, com consultas pouco frequentes concluídas em menos de um segundo. A AWS aumentou o número máximo de resultados de pesquisa por consulta de 30 para 100, e o desempenho de gravação agora oferece suporte a até 1.000 transações PUT por segundo para atualizações de vetor único.

Os casos de uso que estão ganhando força incluem pesquisa híbrida, extensão de memória do agente e criação de camada semântica sobre dados existentes.

Bukovec observou que um cliente de pré-visualização, March Networks, usa S3 Vectors para vídeo em grande escala e inteligência fotográfica.

"A economia do armazenamento vetorial e do perfil de latência significa que a March Networks pode armazenar bilhões de incorporações de vetores economicamente," ela disse. "Nossa integração integrada com o Amazon Bedrock significa que facilita a incorporação de armazenamento vetorial em IA generativa e fluxos de trabalho de vídeo."

Fornecedores de bancos de dados vetoriais destacam lacunas de desempenho

Provedores especializados de bancos de dados vetoriais estão destacando lacunas significativas de desempenho entre suas ofertas e a abordagem centrada em armazenamento da AWS.

Provedores de bancos de dados vetoriais específicos, incluindo PinhaWeaviate, Qdrant e Chroma, entre outros, estabeleceram implantações de produção com algoritmos de indexação avançados, atualizações em tempo real e otimização de consulta específica para cargas de trabalho sensíveis à latência.

A Pinecone, por exemplo, não vê o Amazon S3 Vectors como um desafio competitivo para seu banco de dados de vetores.

"Antes do lançamento do Amazon S3 Vectors, fomos informados sobre o projeto e não consideramos o custo-desempenho diretamente competitivo em grande escala," Jeff Zhu, vice-presidente de produto da Pinecone, disse ao VentureBeat. "Isso é especialmente verdadeiro agora com nossos nós de leitura dedicados, onde, por exemplo, um grande cliente nosso do mercado de comércio eletrônico recentemente comparou um caso de uso de recomendação com vetores de 1,4B e alcançou 5,7k QPS em 26ms p50 e 60ms p99."

Analistas estão divididos sobre o futuro do banco de dados vetorial

O lançamento revive o debate sobre se a pesquisa vetorial continua sendo uma categoria de produto independente ou se se torna um recurso que as principais plataformas de nuvem comoditizam por meio da integração de armazenamento.

"Já faz algum tempo que está claro que vetor é um recurso, não um produto," Corey Quinn, economista-chefe de nuvem do The Duckbill Group, escreveu em um mensagem no X (antigo Twitter) em resposta a uma consulta do VentureBeat. "Tudo fala isso agora; o resto acontecerá em breve."

O analista da Constellation Research, Holger Mueller, também vê o Amazon S3 Vectors como uma ameaça competitiva para fornecedores independentes de bancos de dados vetoriais.

"Agora cabe aos fornecedores de vetores ter certeza de que estão à frente e melhor," Mueller disse ao VentureBeat. "As suítes sempre ganham em software empresarial."

Mueller também destacou a vantagem da abordagem da AWS para eliminar a movimentação de dados. Ele observou que os vetores são o veículo para fazer com que os LLMs entendam os dados corporativos. O verdadeiro desafio é como criar vetores, o que envolve como os dados são movidos e com que frequência. Ao adicionar suporte vetorial ao S3, onde já estão armazenadas grandes quantidades de dados corporativos, o desafio da movimentação de dados pode ser resolvido.

"Os CxOs gostam da abordagem, pois nenhuma movimentação de dados é necessária para criar os vetores," Mueller disse.

Ed Anderson, ilustre vice-presidente do Gartner, vê crescimento para a AWS com os novos serviços, mas não espera que isso signifique o fim dos bancos de dados vetoriais. Ele observou que as organizações que usam o S3 para armazenamento de objetos podem aumentar o uso do S3 e possivelmente eliminar a necessidade de bancos de dados dedicados de fornecedores. Isso aumentará o valor para os clientes S3 e aumentará sua dependência do armazenamento S3.

Mesmo com esse potencial de crescimento para a AWS, os bancos de dados vetoriais ainda são necessários, pelo menos por enquanto.

"Os vetores do Amazon S3 serão valiosos para os clientes, mas não eliminarão a necessidade de bancos de dados de vetores, especialmente quando os casos de uso exigem serviços de dados de baixa latência e alto desempenho," Anderson disse ao VentureBeat.

A própria AWS parece adotar essa visão complementar, ao mesmo tempo em que sinaliza melhorias contínuas de desempenho.

"Estamos apenas começando em escala e desempenho para S3 Vectors," Bukovec disse. "Assim como melhoramos o desempenho de leitura e gravação de dados no S3 para tudo, desde vídeo até arquivos Parquet, faremos o mesmo para vetores."

O que isso significa para as empresas

Além do debate sobre se os bancos de dados vetoriais sobrevivem como produtos independentes, os arquitetos empresariais enfrentam decisões imediatas sobre como implantar o armazenamento vetorial para cargas de trabalho de produção de IA.

A estrutura de níveis de desempenho fornece um caminho de decisão mais claro para arquitetos corporativos que avaliam opções de armazenamento vetorial.

O S3 Vectors funciona para cargas de trabalho que toleram latência de 100 ms: pesquisa semântica em grandes coleções de documentos, sistemas de memória de agente, análise de lote em incorporações de vetores e recuperação de contexto RAG em segundo plano. A economia torna-se atraente em escala para organizações que já investiram na infraestrutura da AWS.

Bancos de dados vetoriais especializados continuam sendo necessários para casos de uso sensíveis à latência: mecanismos de recomendação em tempo real, pesquisas de alto rendimento atendendo milhares de consultas simultâneas, aplicativos interativos onde os usuários esperam de forma síncrona por resultados e cargas de trabalho onde a consistência do desempenho supera o custo.

Para organizações que executam ambos os tipos de carga de trabalho, uma abordagem híbrida reflete como as empresas já usam data lakes, implantando bancos de dados vetoriais especializados para consultas críticas de desempenho enquanto usam vetores S3 para armazenamento em grande escala e operações menos urgentes.

A questão principal não é substituir a infraestrutura existente, mas como arquitetar o armazenamento vetorial em níveis de desempenho com base nos requisitos da carga de trabalho.

Fonte ==> Cyberseo