O Allen Institute for AI (AI2) divulgou uma nova ferramenta que vincula o texto gerado pela IA aos dados de treinamento, com o objetivo de melhorar a transparência e a responsabilidade na inteligência artificial, abordando um dos maiores mistérios do campo.
A AI2 diz que o projeto, Olmotrace, vai além de qualquer outra ferramenta para mostrar como os dados usados para treinar grandes modelos de idiomas podem influenciar o que eles geram.
Ele converte “uma caixa preta em uma caixa de vidro”, disse Ali Farhadi, CEO da organização sem fins lucrativos de Seattle, durante um briefing com repórteres na sede da AI2.
O Olmotrace destaca as frases das respostas da IA que parecem literalmente nos dados de treinamento e vincula os usuários às fontes. A idéia é apoiar a verificação de fatos e melhorar a compreensão de como a IA é influenciada pelos dados de treinamento.
A ferramenta, anunciada quarta -feira em conjunto com a próxima conferência do Google Cloud, baseia -se na abordagem aberta da AI2 para o desenvolvimento da IA, que inclui a liberação de dados de treinamento, código, pesos do modelo e outros componentes dos modelos de IA. A AI2 está fazendo o OLMOTRACE OPEN SWERCE para que outros possam usar, adaptar e construir sobre ele.
A questão de exatamente como os modelos de IA geram suas respostas apareceu sobre a IA desde o lançamento original do ChatGPT da OpenAI em novembro de 2022.
Então, o que a AI2 aprendeu ao espiar a caixa preta?
Embora eles ainda não tenham chegado a conclusões abrangentes, os pesquisadores até agora viram exemplos de modelos de IA repetindo os padrões que os modelos viram no treinamento, em vez de apresentar respostas através do raciocínio.
Em alguns casos, o que parece resolver problemas é realmente apenas o modelo que copia um exemplo em que foi treinado.
Por exemplo, os pesquisadores da AI2 analisaram um problema de matemática que o Antrópico, fabricante do Claude Chatbot, analisou em uma recente postagem no blog: 36+59. Enquanto antropia rastreia a resposta para processos internos complexos dentro do modelo, a AI2 descobriu que o mesmo problema e resposta (95) apareceram várias vezes em seus dados de treinamento.
Como muitos modelos de IA são treinados em conjuntos de dados semelhantes, isso significa que é possível (ou talvez até provável) que o modelo não resolvesse o problema por conta própria – ele simplesmente repetiu uma resposta que havia visto antes.
É o equivalente da IA de olhar por cima do ombro de outra pessoa durante um teste.
De certa forma, revelando como o “truque” funciona pode fazer com que a IA pareça menos misteriosa ou mágica, reconheceram os pesquisadores da AI2. Mas eles disseram que também é impressionante ver quanta informação os modelos de IA podem manter o treinamento e quanto conhecimento está incorporado em seus pesos.
Essa abordagem pode explicar as alucinações da IA? Sim, pelo menos em alguns casos. Os pesquisadores da AI2 estão descobrindo que erros de IA ou falsas reivindicações podem às vezes ser rastreadas até informações ruins nos dados de treinamento.
“Alguns documentos contêm coisas erradas, coisas não fatais, que entraram no pipeline de treinamento do modelo e acabaram enganando o modelo”, disse Jiacheng Liu, o principal pesquisador por trás da Olmotrace da AI2 e um estudante de doutorado da Universidade de Washington.
Os pesquisadores da AI2 dizem que o Olmotrace não prova um vínculo causal direto entre um documento e a saída de um modelo. Em vez disso, sugere que o modelo provavelmente retirou esse idioma durante o treinamento.
“Cientificamente, não diremos que essa é a causa, mas intuitivamente, faz sentido. Quando é visto nos dados de treinamento, faz sentido”, disse Hanna Hajishirzi, diretora sênior de pesquisa da PNL da AI2 e professora associada da UW Allen School de ciência da computação.
Para acessar o Olmotrace, os usuários podem gerar uma resposta de um dos modelos de idiomas de código aberto da AI2 no playground da AI2. Um botão “Show Olmotrace” aparece abaixo da saída.
Quando clicado, a ferramenta destaca todas as frases que aparecerem literalmente nos dados de treinamento do modelo. Um painel para os links certos para os documentos originais onde essas frases foram encontradas.
Os pesquisadores da AI2 dizem que a Olmotrace pode ser útil em áreas como saúde, finanças e ciências, onde pessoas e empresas precisam saber de onde vêm as informações e poder verificar.
Em alguns casos, a ferramenta também pode facilitar o cumprimento das regras e regulamentos, mostrando quais dados podem ter moldado a resposta de uma IA.
A AI2 diz que o OLMOTRACE é diferente em sua abordagem de outras ferramentas que vinculam a materiais de origem. Perplexity.ai, por exemplo, encontra documentos primeiro e os usa para ajudar a IA a escrever sua resposta.
O Olmotrace adota a abordagem oposta – analisa a resposta do modelo depois que ele é gerado e verifica se alguma peça é refletida nos dados de treinamento. O objetivo não é orientar o modelo, mas ajudar as pessoas a entender de onde suas respostas podem estar vindo.
O AI2, fundado em 2014 pelo falecido co-fundador da Microsoft, Paul Allen, é financiado pela Allen Estate e outros doadores.
No início desta semana, a AI2 anunciou uma parceria com o Google Cloud para distribuir os modelos da AI2. OLMOTRACE está hospedado no Google Cloud. A organização sem fins lucrativos desenvolveu e lançou 111 modelos de inteligência artificial em 2024 e anunciou sua participação na AI Cancer Alliance na semana passada.
Fonte ==> GeekWire
