OpenAI explica como seus modelos de IA são criados durante o Web Summit Rio

A OpenAI detalhou o processo para montar seus modelos de linguagem (LLM, em inglês) durante o Web Summit Rio, nesta segunda-feira (28). Segundo o chefe de assuntos globais da empresa para a América Latina e Caribe, Nicolas Robinson Andrade, a tecnologia é criada em três etapas: pré-treinamento, treinamento e “ajuste fino”.

• ChatGPT Pro vs ChatGPT Plus: o que muda entre os planos?
• 5 coisas que você não deveria enviar para o ChatGPT

A explicação ocorreu durante a palestra LatAm AI, que destaca a América Latina como um mercado que se encaminha para ser uma região-chave para o futuro da IA. Durante a fala, o executivo também elencou o trabalho recente da OpenAI no bloco e apresentou o canal do ChatGPT no WhatsApp para usar o chatbot através do mensageiro da Meta.

Segundo Andrade, o processo para criar os modelos de IA consiste em três etapas, a começar pelo pré-treinamento. Neste momento, são usados “super computadores”, parâmetros e contextos diferentes para “ensinar” o algoritmo a prever a próxima palavra em uma sequência, sem dados de treinamento.

–
Entre no Canal do WhatsApp do Canaltech e fique por dentro das últimas notícias sobre tecnologia, lançamentos, dicas e tutoriais incríveis.
–

Nesse momento, a OpenAI remove dados indesejados do treinamento, como discursos de ódio ou informações pessoais, além de duplicatas. “Quando você mostra ao modelo informações duplicadas, ele pode erroneamente pensar que essas informações são mais importantes do que realmente são”, explica Andrade. 

Ao finalizar essa etapa, é construído um modelo base capaz de completar frases, mas que não vai além de textos simples.

É aí que entra a segunda etapa de pós-treinamento. Agora ocorre o refinamento do algoritmo, com conhecimento específico, usando técnicas como reforço, aprendizado e feedback humano. O executivo observa que é neste momento que é “perguntado” ao modelo “o que é uma boa resposta e o que não é?”, “como você pode ser mais útil para os usuários?”, entre outras questões.

O segundo passo também acontece a aplicação das salvaguardas no modelo para que ele não possa criar conteúdo que vá contra as políticas da OpenAI. Além disso, a diversidade de respostas quando o prompt não especifica o contrário é aumentada.

“Então, o que estamos dizendo ao modelo é: se alguém lhe pedir a imagem de um veterinário, por exemplo, mesmo que nos dados de treinamento todos os veterinários, ou a maioria deles, sejam homens brancos, no mundo real, veterinários podem ser homens e mulheres e, aliás, nem todos são brancos”, exemplifica.

Em seguida, vem o processo final, onde os desenvolvedores focam em ajustes. É nessa hora que os desenvolvedores fornecem conhecimento adicional específico, e permite que o modelo reduza erros para se adaptar melhor ao que é solicitado.

“Pense nisso como se você tivesse um aluno que está recebendo lição de casa adicional ou que está basicamente ensinando um aluno em uma aula extracurricular sobre um tópico específico”, observa.

A OpenAI ainda executa outras ações posteriormente, como uma análise realizada pelo red team externo para testar os modelos, por exemplo. 

OpenAI na América Latina

O chefe de assuntos globais da OpenAI também detalhou o cenário da América Latina no mercado de inteligência artificial. Durante o encontro, Andrade detalhou projetos implantados no Brasil em conjunto com organizações locais, como as iniciativas para levar ferramentas de IA para comunidades do Rio de Janeiro (RJ) e auxiliar na conservação da Amazônia.

“Esperamos que a IA continue a crescer exponencialmente e que a adoção cresça exponencialmente, especialmente aqui na América Latina”, pontuou. “Mas também há algumas questões mais complexas que, como sociedade e como empresas de IA, precisamos refletir.” 

É o caso do idioma e da cultura que, segundo o executivo, “são questões com as quais as pessoas se importam profundamente”. 

Ele também reconhece que embora a tecnologia da empresa tenha feito “enormes progressos na forma como fala e escreve inglês, francês, espanhol e português, as línguas da América Latina em geral, seu desempenho, particularmente em ciências e matemática”, o recurso ainda não é tão bom ao ser utilizado em línguas indígenas.

Diante desse desafio, Andrade destacou uma parceria com o governo da Islândia, que auxiliou no treinamento dos modelos de IA para o idioma local. “Então, parte do meu trabalho é pensar em como eles poderiam ser aplicados aqui na América Latina. E quanto ao mundo do trabalho?”, disse.

Confira outras matérias do Canaltech:

• CEO da OpenAI afirma que ChatGPT ficou “irritante” nas respostas e quer ajuste
• Como usar o ChatGPT como buscador padrão no Chrome
• Dizer ‘por favor’ e ‘obrigado’ ao ChatGPT custa ‘milhões de dólares’; entenda

VÍDEO: Para estudar: Como criar narrações e podcasts automaticamente no celular usando o ElevenReader

Leia a matéria no Canaltech.