Como o Perplexity integra precisão na IA de ponta

A nossa missão é impulsionar a curiosidade, para pessoas que querem saber mais e fazer mais com o conhecimento do mundo. Para fazer isso, o nosso foco central sempre foi tornar os melhores modelos de IA de ponta mais precisos no Perplexity.

Pela primeira vez, estamos a partilhar uma das tecnologias por trás de como fazemos isso. Hoje, a nossa equipa de investigação publicou uma exploração técnica de LLMs aumentados por pesquisa.

Existem dezenas de processos que utilizamos para desenvolver a precisão, e esta é uma rara visão interna de um deles: o pós-treino de modelos de IA de frente para o desempenho ideal face aos padrões de precisão dos produtos Perplexity, como o Search, o Comet e o Computer.

Treinamos o comportamento antes da pesquisa

Um motor de respostas exige que os modelos subjacentes façam mais do que apenas gerar texto fluído. Eles têm de encontrar evidências, seguir o pedido do utilizador, usar ferramentas corretamente e transformar esse trabalho numa resposta focada.

Fazemos o pós-treino para isso em duas etapas. Primeiro, ensinamos o modelo a comportar-se dentro do produto, incluindo como seguir instruções, manter a consistência e utilizar ferramentas da maneira certa. Depois, treinamos o modelo em tarefas de pesquisa mais difíceis para que ele melhore a encontrar evidências, a usá-las bem e a responder de forma mais eficiente.

Esta abordagem em etapas é uma das simples diferenças entre o Perplexity e uma configuração tradicional de 'wrapper' com acesso a modelos e à web. É por isso que o mesmo modelo pode produzir resultados diferentes em produtos diferentes, e por que ele pode funcionar melhor no Perplexity do que numa implementação mais simples.

Perguntas que exigem síntese

Algumas perguntas são consultas fáceis. Outras exigem que o modelo conecte evidências em várias fontes.

Treinamos com perguntas que exigem que o modelo conecte evidências entre fontes. Para perguntas factuais, utilizamos tarefas que forçam o modelo a pesquisar, raciocinar e verificar, em vez de saltar para uma resposta a partir de uma única pista óbvia. Muitas perguntas exigem a ligação de informações em várias fontes. Elas exigem que o modelo passe de uma evidência para outra e construa a resposta a partir dessa cadeia.

Também treinamos em diferentes formatos de resposta, para que o modelo permaneça preciso, quer o utilizador pretenda um parágrafo, uma lista, uma tabela ou outra estrutura. O resultado é uma melhor síntese, constituída por respostas que ligam evidências entre fontes, em vez de apenas recuperarem factos isolados.

As tarefas em aberto precisam de padrões

O Perplexity é utilizado para muito mais do que apenas consultas factuais. Grande parte do trabalho é em aberto, incluindo reescrever, editar, resumir, explicar e planear.

Essas tarefas não têm uma única resposta exata, mas ainda assim precisam de padrões. Para o trabalho em aberto, utilizamos rubricas, que são verificações estruturadas sobre se uma resposta realmente cumpriu a função. Será que seguiu as instruções? Será que preservou o significado? Será que resolveu o problema do utilizador?

Isso permite-nos treinar tarefas em aberto com padrões claros, em vez de as tratarmos como escrita de formato livre.

A precisão vem antes da preferência

Para tarefas factuais, uma resposta tem de estar correta antes de receber créditos por ser mais útil ou mais bem escrita. Para tarefas em aberto, a resposta tem de satisfazer a rubrica antes de outras qualidades entrarem em jogo.

Isso mantém o sistema focado na substância acima do estilo. Ajuda a prevenir um modo de falha comum de respostas que soam melhor sem realmente o serem. O benefício são menos respostas polidas que se desfazem sob inspeção.

A eficiência contribui para a qualidade da resposta

Também treinamos o modelo para usar a pesquisa com disciplina.

Qualquer etapa adicional de pesquisa deve melhorar a resposta, e uma resposta mais longa deve justificar o seu comprimento. Quando a pesquisa extra ou as palavras extra não ajudam, o sistema deve parar.

Isso produz respostas que são mais fáceis de usar e preserva o foco do modelo quando este trabalha através de cadeias mais longas de ações, onde pequenos erros se agravam.

Melhores respostas exigem trabalho constante

A qualidade da pesquisa vem da forma como o produto treina o modelo para reunir evidências, responder com disciplina, lidar com trabalhos em aberto e parar quando tem suporte suficiente.

À medida que os sistemas de IA assumem trabalhos mais longos e autónomos, esse treino molda a qualidade das respostas individuais e de tudo o que é construído sobre elas. Nunca afirmámos que o Perplexity é 100% preciso, mas afirmamos ser a empresa de IA que mais se importa com isso e que trabalha nisso incansavelmente. Encorajamos todos os utilizadores a fornecer feedback sobre as suas respostas do Perplexity, porque estamos constantemente a iterar e a melhorar.