Fine tunning versus Embedding - Um caso de uso em produto voltado para a Educação

Como muitos já sabem, a tecnologia GPT e outros LLMs fornecem uma base conversacional e factual (que pode ser aprimorada), mas seu objetivo não é servir como um chat generalista, e sim como uma estrutura linguística passível de ser refinada e evoluída de acordo com o propósito da aplicação. Neste contexto, entram os famosos prompts, que ajustam o modelo. No entanto, existe uma outra forma de "turbinar" o modelo que vai além dos prompts, chamada de "embedding". Neste artigo, detalho as diferenças entre esses métodos usando como exemplo o ClippingGPT, um produto 100% brasileiro voltado para a educação.

Vamos começar recapitulando o que é Fine Tuning. Essa é uma prática bastante conhecida que possibilita instruir o modelo a se comportar de determinada maneira, dando ênfase a certos temas, evitando outros, e processando texto. No entanto, não gera conhecimento novo, já que o LLM não é "re-treinado" por esta prática. Um ponto importante a se destacar sobre o Fine Tuning é que, frequentemente, se faz uso de um modelo superpotente, como o GPT4, para uma tarefa simples como tutoria de conteúdos para ensinar história, justamente porque o Fine Tuning não permite trabalhar com bases menores. Isso resulta na necessidade de um modelo sofisticado para operar uma tarefa simples - é como usar um canhão para assentarum prego.

A técnica de embedding, por outro lado, permite trabalhar com LLMs mais simples e econômicos, incorporando, por exemplo, todos os artigos de história da Wikipédia, e com isso produzir respostas muito mais assertivas, mais baratas, e usando um modelo de linguagem mais simples. A técnica de embedding permite que você inclua vetores de dados e a manutenção é relativamente simples, já que basta expandir essa base vetorial conforme você queira adicionar mais conhecimento a sua base, e isso é transportado diretamente para a resposta do modelo, já acoplada ao produto. Ao contrário do Fine Tuning, em que é preciso verificar a existência de efeitos colaterais, se o formato do output foi alterado e assim por diante. Portanto, o embedding permite escalar sua base de dados muito rapidamente e com menor custo. Na comunidade da OpenAI, você encontra um tópico de discussão com vídeo explicando muito bem estas diferenças.

Em resumo, o Fine Tuning é adequado quando se deseja adaptar o produto para novas capacidades, novas tarefas, e não para aprimorar a mesma tarefa - como, por exemplo, oferecer tutorias de ciências.

Com o Fine Tuning, pode-se enfrentar o problema de "alucinação" ou "confabulação", que é o ajuste fino do modelo sobre a acurácia que ele deve apresentar; se ajustado de forma inadequada, pode acentuar esse problema. É importante destacar também que Fine Tuning não é engenharia de prompt. A engenharia de prompt é você determinar o que o modelo deve fazer; o Fine Tuning vai além e permite ajustar o tom da resposta, o nível de randomização, o formato da resposta, embora seja mais caro e exija mais testes. Muitas vezes, você também encontrará outro nome para a técnica de embedding, que é "Semantic Search", pois ela permite adicionar novos conteúdos, novos significantes e seus significados articulados nos textos incorporados ao modelo.

Estudo de caso: ClippingGPT

A Clipping é uma startup que auxilia candidatos a se sobressaírem em exames altamente competitivos. Ostentando uma taxa média de aprovação de 94% no Exame de Carreira Diplomática Brasileira, a empresa vem construindo interfaces de conversação em educação baseadas em IA desde 2018, quando ganhou o Bot Awards Brasil como o melhor chatbot para educação, ao lado de marcas como Magazine Luiza, PagSeguro e Rock in Rio. No início deste ano, lançaram um sistema de correção automática para perguntas dissertativas, um algoritmo proprietário desenvolvido em colaboração com o Departamento de Ciência da Computação da Universidade Federal de Minas Gerais (UFMG) e o Parque Tecnológico de Belo Horizonte (BHTEC), onde também são residentes. Agora, o lançamento mais recente é o ClippingGPT (beta), um tutor de IA projetado para ajudar os alunos a atingir seu potencial máximo através de tutoria personalizada 1:1.

Muitas pessoas têm se aproximado da empresa buscando detalhes sobre como foi feito o treinamento do modelo que não apenas passou no exame de entrada para a carreira diplomática, mas também superou o GPT-4 em 26% neste exame em particular, que é conhecido por ser um dos mais difíceis na América Latina. Esta, portanto, é uma excelente oportunidade para documentar e compartilhar o caso.

Em suma:

1. O principal problema do uso do ChatGPT e LLMs na educação não é trapaça, mas os riscos de desinformação durante o processo de aprendizagem devido a alucinações;

2. É possível mitigar esses riscos treinando um modelo em uma base de conhecimento externa para melhorar a precisão das respostas;

3. Após treinar o ClippingGPT em uma base de conhecimento externa, verificou-se que ele passou no exame de entrada para a carreira diplomática com distinção, superando outros candidatos e o GPT-4.

4. O fato de uma IA treinada em uma base de conhecimento externa ter passado em um dos exames mais difíceis com distinção evidencia o potencial dos LLMs para construir tutores de IA no campo da educação.

Você pode encontrar o estudo de caso completo aqui,. Este é um exemplo fantástico de como a aplicação da técnica de embedding pode resultar em respostas mais assertivas, construção e manutenção mais baratas, além de gerar menos alucinações e confabulações. É fundamental pensar em cada caso e determinar quais técnicas usar, seja apenas a engenharia de prompt, a incorporação semântica (embedding), ou, nos casos mais complexos, o Fine Tuning. Espero que este artigo tenha deixado mais claro quando utilizar cada técnica e, em breve, pretendo trazer mais casos de uso à medida que as empresas mais audaciosas lançam seus primeiros produtos baseados em grandes modelos de linguagem. :) Até breve.