Como o Perplexity incorpora a precisão à IA de fronteira

Nossa missão é impulsionar a curiosidade para pessoas que desejam saber mais e fazer mais com o conhecimento do mundo. Para fazer isso, nosso foco central sempre foi tornar os melhores modelos de IA de fronteira mais precisos no Perplexity.

Pela primeira vez, estamos compartilhando uma das tecnologias por trás de como fazemos isso. Hoje, nossa equipe de pesquisa publicou uma exploração técnica sobre LLMs com busca aumentada.

Existem dezenas de processos que usamos para desenvolver a precisão, e esta é uma visão rara de um deles: o pós-treinamento de modelos de IA de fronteira para que tenham o melhor desempenho em relação aos padrões de precisão dos produtos do Perplexity, como Search, Comet e Computer.

Nós treinamos o comportamento antes da busca

Um mecanismo de resposta exige que os modelos subjacentes façam mais do que gerar um texto fluente. Eles precisam encontrar evidências, seguir a solicitação do usuário, usar as ferramentas corretamente e transformar esse trabalho em uma resposta focada.

Fazemos o pós-treinamento para isso em duas etapas. Primeiro, ensinamos o modelo como se comportar dentro do produto, incluindo como seguir instruções, manter a consistência e usar ferramentas da maneira correta. Depois, nós o treinamos em tarefas de busca mais difíceis para que ele melhore na localização de evidências, no uso correto delas e em responder com mais eficiência.

A abordagem por etapas é uma das diferenças simples entre o Perplexity e uma configuração de wrapper tradicional com acesso a modelo e à web. É por isso que o mesmo modelo pode produzir resultados diferentes em produtos diferentes, e por que pode funcionar melhor no Perplexity do que em uma implementação mais simples.

Perguntas que exigem síntese

Algumas perguntas são consultas fáceis. Outras exigem que o modelo conecte evidências de várias fontes.

Treinamos com perguntas que exigem que o modelo conecte evidências entre fontes. Para perguntas factuais, usamos tarefas que forçam o modelo a pesquisar, raciocinar e verificar, em vez de saltar para uma resposta a partir de uma pista óbvia. Muitas perguntas exigem a conexão de informações entre várias fontes. Elas exigem que o modelo passe de uma evidência para outra e construa a resposta a partir dessa cadeia.

Também treinamos em diferentes formatos de resposta, para que o modelo permaneça preciso, quer o usuário queira um parágrafo, uma lista, uma tabela ou outra estrutura. O resultado é uma síntese melhor, que consiste em respostas que conectam evidências entre fontes, em vez de apenas recuperar fatos isolados.

Tarefas abertas precisam de padrões

O Perplexity é usado para mais do que apenas consultas factuais. Grande parte do trabalho é de final aberto, incluindo reescrever, editar, resumir, explicar e planejar.

Essas tarefas não têm uma única resposta correta, mas ainda precisam de padrões. Para trabalhos abertos, usamos rubricas, que são verificações estruturadas para saber se uma resposta realmente cumpriu a função. Ela seguiu as instruções? Ela preservou o significado? Ela resolveu o problema do usuário?

Isso nos permite treinar tarefas abertas com padrões claros em vez de tratá-las como escrita de formato livre.

A precisão vem antes da preferência

Para tarefas factuais, uma resposta deve estar correta antes de receber créditos por ser mais útil ou mais bem escrita. Para tarefas abertas, a resposta deve satisfazer a rubrica antes que outras qualidades entrem em jogo.

Isso mantém o sistema focado na substância em vez do estilo. Ajuda a prevenir um modo de falha comum de respostas que soam melhor sem serem realmente melhores. A compensação são menos respostas polidas que se desfazem sob inspeção.

A eficiência contribui para a qualidade da resposta

Também treinamos o modelo para usar a pesquisa com disciplina.

Qualquer etapa de pesquisa adicional deve melhorar a resposta, e uma resposta mais longa deve justificar seu comprimento. Quando pesquisas ou palavras extras não ajudam, o sistema deve parar.

Isso produz respostas mais fáceis de usar e preserva o foco do modelo quando ele trabalha em longas cadeias de ações, onde pequenos erros se acumulam.

Respostas melhores exigem trabalho constante

A qualidade da busca vem de como o produto treina o modelo para reunir evidências, responder com disciplina, lidar com trabalhos abertos e parar quando tiver suporte suficiente.

À medida que os sistemas de IA assumem trabalhos mais longos e autônomos, esse treinamento molda a qualidade das respostas individuais e de tudo o que é construído sobre elas. Nunca afirmamos que o Perplexity é 100% preciso, mas afirmamos ser a empresa de IA que mais se preocupa com isso e trabalha incansavelmente nesse aspecto. Incentivamos todos os usuários a enviar feedback sobre suas respostas no Perplexity, pois estamos constantemente iterando e melhorando.