A OpenAI anunciou o desenvolvimento de uma nova ferramenta, denominada CriticGPT. Ela foi projetada para detectar e corrigir erros no output de código do ChatGPT. A ideia não é apenas aumentar a eficácia das respostas do ChatGPT, mas também oferecer uma vantagem significativa no treinamento de modelos de inteligência artificial (IA).
Leia mais
- Depois do ChatGPT, Apple pode anunciar integração com Google Gemini
- ChatGPT para macOS liberado para todos, sem assinatura
- IA burla professores de universidade em provas, revela estudo
O CriticGPT, baseado na arquitetura GPT-4, foi treinado especificamente para identificar falhas nas respostas geradas pelo ChatGPT. De acordo com os dados divulgados pela OpenAI, a utilização para revisar o código resultou em um desempenho superior em 60% dos casos, comparado àqueles que não utilizaram essa assistência.
A integração de modelos semelhantes ao CriticGPT está sendo iniciada na rotina de treinamento da OpenAI, conhecida como “Reinforcement Learning from Human Feedback” (RLHF). Dessa forma, essa metodologia envolve a comparação de respostas do avaliadas por treinadores de IA, que determinam qual delas é mais eficaz e precisa.
CriticGPT chega para auxiliar imprecisões do ChatGPT
A implementação de CriticGPT representa um avanço significativo no aprimoramento do RLHF. Isso porque os erros cometidos pelo ChatGPT se tornam mais sutis à medida que o modelo evolui. Dessa forma, isso dificulta a tarefa dos treinadores de IA de identificar imprecisões.
“Isso pode tornar difícil para os treinadores de IA detectar imprecisões quando elas ocorrem, tornando a tarefa de comparação que alimenta o RLHF muito mais difícil. Esta é uma limitação fundamental do RLHF e pode tornar cada vez mais difícil o alinhamento dos modelos à medida que estes se tornam gradualmente mais conhecedores do que qualquer pessoa que possa fornecer feedback”, afirmou a OpenIA
Para enfrentar esses desafios, a OpenAI treinou o CriticGPT para redigir críticas que destacam incoerências nas respostas do ChatGPT. Isso não só melhora a capacidade de diagnóstico dos treinadores, mas também contribui para um refinamento contínuo dos critérios de avaliação de outputs de sistemas avançados de IA.
Fonte: OpenAI
