O que acontece se os pesquisadores fazem uma IA ser curiosa?

Pesquisadores da Open AI, uma think-tank fundada com participação de Elon Musk, e das Universidades de Berkeley e de Edimburgo estudaram o que acontece quando fazem um modelo de inteligência artificial ser curioso.

A novidade da pesquisa é que, em vez de usarem incentivos externos à máquina como algoritmos de aprendizado, ela cria recompensas intrínsecas ao modelo para testar como a IA pode desenvolver e aprender outras habilidades. A curiosidade é uma dessas funções, tomando a previsão de erro como sinal de que vai haver ou não recompensa.

De acordo com o experimento relatado no artigo, os modelos desempenharam diferentes atividades, mas sem um objetivo específico pré-determinado. As tarefas eram, basicamente, jogar diversos games, como os do Atari, Super Mario Bros., dentre outros. A imagem abaixo reúne capturas de tela de alguns dos 54 ambientes analisados.

Os resultados mostram comportamentos diferentes dos modelos de IA. De modo geral, eles alcançam bom rendimento, tendo sido capazes de desenvolver diversas habilidades e aprender com o ambiente que fornecia os incentivos (já que, de início, não sabiam o que significa ganhar o jogo). A maior motivação dos modelos é a possibilidade de ter experiências novas, fazendo com que evitem morrer nos títulos em que voltam ao início para não precisarem jogar tudo de novo.

Por outro lado, os pesquisadores também descobriram que a IA dotada de curiosidade se distrai facilmente. Já se o próprio modelo fosse o responsável por estabelecer as regras em um ambiente, ele poderia recompensar a si mesmo sem ter feito algum progresso. 

Eles ainda testaram o papel desempenhado pela televisão enquanto a IA estava executando tarefas. Os resultados mostram que ela diminui a velocidade do aprendizado de forma significativa, mas, se o experimento for feito por um período mais extenso, os modelos se adaptam para alcançar as recompensas externas.