O médico, o monstro e a moderação: quando o monstro da IA precisa de supervisão humana

Em 10 de maio de 1962, as bancas dos Estados Unidos recebiam a primeira edição de O Incrível Hulk. Criado por Stan Lee e Jack Kirby, o personagem sintetizava o medo atômico da Guerra Fria: o brilhante físico nuclear Bruce Banner, atingido por radiação gama, tornava-se incapaz de controlar a força bruta que emergia de seu próprio íntimo. A metáfora do "médico e o monstro", de Dr. Jerkyll e Mr Hyde, assim como de Frankenstein, ganhava nos quadrinhos contornos radioativos.

O personagem nasceu de uma tensão que a ficção científica dos EUA dos anos 1960 queria nomear sem conseguir resolver: a mesma mente que produz a ciência capaz de curar o mundo pode, sob certas condições, liberar uma força que destrói tudo ao redor. Ambos os lados habitam o mesmo corpo, sendo o grande desafio do personagem, que alterna entre o cientista e a criatura, criar condições para que a transformação destrutiva não seja a resposta padrão toda vez que algo dá errado.

64 anos depois, a radiação está nos algoritmos automatizados. A inteligência artificial generativa é o nosso Hulk: uma ferramenta de potencial transformador incomensurável que, quando "irritada" por vieses ou pela ausência de balizas éticas, pode pisotear direitos fundamentais com a mesma indiferença com que o gigante esmeralda esmagava tanques de guerra.

Ao tentar capturar o Hulk a qualquer custo, estamos fingindo que todo verde é a mesma cor

Mas o Brasil trava um debate legislativo sobre inteligência artificial que corre o risco de cometer o erro no estilo General Ross (sogro de Banner e grande rival do Hulk): ao tentar capturar o Hulk a qualquer custo, estamos fingindo que todo verde é a mesma cor. O ChatGPT respondendo a uma redação escolar, o algoritmo de reconhecimento facial nas câmeras da segurança pública, o sistema automatizado removendo postagens de redes sociais e o modelo de linguagem interagindo com uma criança de dez anos às duas da manhã: não podemos supor que haja em todos os distintos casos uma mesma "inteligência artificial" e que, portanto, bastaria uma única política, um único enquadramento regulatório, um único rótulo de risco para dar conta de todos eles ao mesmo tempo.

Não basta. E esse equívoco conceitual tem um custo concreto para crianças e adolescentes.

A armadilha da "IA" como conceito rarefeito

Antes de avançarmos, é preciso nomear uma armadilha argumentativa que se tornou comum: tratar a "inteligência artificial" como uma entidade única e onipresente. Na linha do que propõe o PL 2338/2023 (a mais madura proposta brasileira de regulação de inteligência artificial, que atualmente tramita no Senado), corremos o risco de adotar uma definição guarda-chuva que nubla o debate, em vez de desanuviá-lo. Não podemos colocar no mesmo cesto o sistema que remove spam do e-mail, o reconhecimento facial empregado na segurança pública e os grandes modelos de linguagem que sustentam chatbots.

Não lembro propriamente quem me sensibilizou para esse problema, mas o expressei na oficina realizada em 8 de maio de 2026 pelo projeto "IA com Direitos" da Data Privacy Brasil, dedicado a apresentar a Biblioteca de Danos em IA. Registrei o desconforto com a ideia de reforçar a IA como sendo tudo uma coisa só, apontando que a utopia ou distopia da IA Geral é diferente, por exemplo, da IA que é usada para remoção automatizada de conteúdo ou que é usada para avaliar denúncias de conteúdo a ser removido. Pessoas comuns usam o ChatGPT para resumir PDFs ou escrever e-mails e, ao fazer isso, associam esse benefício cotidiano a uma contraposição automática com tecnologias como o reconhecimento facial na segurança pública, como se fossem a mesma coisa.

Não são. E embaralhar essas experiências não apenas confunde o debate: protege os atores que mais deveriam ser responsabilizados.

Quando dizemos "a IA é perigosa", sem especificar, estamos falando de quê, exatamente? De um modelo de linguagem que alucina fatos em um chatbot educativo? De um sistema de pontuação algorítmico que determina se um adolescente em cumprimento de medida socioeducativa receberá ou não benefício de progressão de regime? De uma ferramenta de nudify que gera imagens sexualizantes de crianças a partir de fotos inocentes? De um algoritmo de recomendação que amplifica conteúdo sobre automutilação para adolescentes às três da manhã? Ou de uma playlist automatizada criada pelo serviço de transmissão de música a partir das canções mais ouvidas por mim nos últimos 14 dias, recomendando artistas por interesse comercial?

Cada um desses casos exige uma resposta regulatória diferente. Alguns demandam proibição absoluta. Outros, obrigações de transparência e auditabilidade. Outros ainda, análise e conteção de risco com supervisão humana qualificada. Confundi-los é como tratar gripe e câncer com o mesmo protocolo porque ambos fazem a pessoa se sentir mal. Bruce Banner e o Hulk compartilham o corpo. Mas o tratamento para cada um é completamente diferente dependendo de quem está no comando.

Precisamos de uma abordagem específica que não aceite a mítica panaceia da "IA Geral" como desculpa para a irresponsabilidade técnica, nem como desculpa para a imprecisão regulatória.

O diagnóstico da Biblioteca de Danos

Na oficina sobre a Biblioteca de Danos em IA, 46 especialistas nos debruçamos sobre evidências concretas de como esses vários sistemas têm falhado, especialmente no recorte de infância e adolescência. Os achados dialogam diretamente com o ECA Digital (Lei nº 15.211/2025) e com o recente Decreto nº 12.880/2026, que o regulamenta. Foram identificados e discutidos casos de uso de chatbots em contextos sensíveis de saúde mental sem supervisão adequada; exploração de imagem e criação de conteúdos sintéticos para abuso sexual, incluindo deepfakes sexuais; estigmatização racial e socioeducativa reproduzida por modelos de linguagem; e impactos profundos no desenvolvimento psíquico e no direito ao brincar.

O que a Biblioteca está fazendo (reunir, sistematizar e tornar acessíveis evidências concretas de danos) é exatamente o tipo de trabalho que deveria alimentar a regulação. Não a partir de hipóteses ou cenários de risco abstratos, mas a partir de casos reais, com vítimas identificadas e mecanismos de dano mapeados. O problema é que esse nexo entre a evidência empírica e as obrigações regulatórias concretas ainda está incompleto. E o ponto onde ele mais falta é, justamente, onde a mediação entre o dano e a vítima é automatizada.

O Artigo 11 do Decreto e o que o ECA Digital ainda não disse

Pode-se ter em mente uma moderação de conteúdo realizada nas plataformas por seres humanos. O cenário muda substancialmente quando a plataforma digital não é apenas um intermediário na distribuição de conteúdos de seus usuários, mas sim ela mesma é a própria geradora do conteúdo. O art. 11 do Decreto nº 12.880/2026 estabelece deveres específicos para fornecedores de produtos ou serviços de tecnologia da informação "capazes de gerar conteúdo e interagir com usuários a partir de instruções em linguagem natural". Essa definição abarca modelos de linguagem como o GPT-4, o Gemini, o Claude e seus congêneres, bem como agentes conversacionais e interfaces similares.

• Art. 11.  Os fornecedores de produtos ou serviços de tecnologia da informação direcionados a crianças e adolescentes ou de acesso provável por eles capazes de geração de conteúdo e interação com usuários a partir de instruções em linguagem natural, incluídos modelos de linguagem, agentes conversacionais e interfaces similares, deverão, na consecução do melhor interesse da criança e do adolescente: 
• I - ser transparentes na interação de crianças e adolescentes quanto a seu caráter sintético e automatizado; 
• II - prevenir a manipulação comportamental de crianças e adolescentes;
• III - avaliar o risco algorítmico à segurança e à saúde de crianças e adolescentes; e
• IV - implementar salvaguardas à proteção do desenvolvimento físico, mental e psicossocial de crianças e adolescentes.
• Parágrafo único.  A ANPD regulamentará e fiscalizará o disposto neste artigo.

O decreto, ao usar essa formulação, já fez parte do trabalho de distinção conceitual que o PL 2338 ainda precisa consolidar. O texto não diz "sistemas de IA em geral", mas aponta para uma categoria específica, a IA generativa conversacional, e atribui a ela obrigações próprias diante do público infantojuvenil. Isso é um avanço real.

Mas o silêncio que permanece é ensurdecedor no que tange à prevenção da manipulação comportamental. Enquanto o decreto fala em "prevenção", o debate legislativo em torno do PL de IA caminha para a "proibição", e a diferença não é semântica. Se um sistema de IA é desenhado para ser viciante, ou para induzir uma criança a comportamentos de risco, não basta "moderar" o resultado: é preciso proibir o design. A ferramenta que pesca crianças e adolescentes na lógica de distribuição de conteúdos sobre drogas, automutilação ou padrões alimentares destrutivos não está cometendo um erro de moderação. Ela está funcionando exatamente como foi projetada. E é justamente esse funcionamento que precisa ser interditado, não apenas corrigido depois que o dano já ocorreu.

Falsos positivos, falsos negativos e o silêncio do algoritmo

Quando uma plataforma usa sistemas de IA para moderar conteúdo e decide o que fica, o que é removido e o que é amplificado, ela está exercendo um poder com consequências diretas sobre direitos fundamentais: liberdade de expressão, acesso à informação, imagem, proteção de dados pessoais, intimidade etc. E ela está exercendo esse poder, na esmagadora maioria dos casos, de forma opaca, sem fundamentação expressa e sem recurso.

Os sistemas automatizados de moderação cometem dois tipos de erro com nomes técnicos precisos e implicações jurídicas distintas.

O falso positivo é a remoção equivocada de conteúdo legítimo. Uma publicação de uma mãe que documenta o abuso sofrido pelo filho, removida por conter termos classificados automaticamente como inadequados. Um relato em primeira pessoa de um adolescente sobrevivente de exploração sexual, apagado porque o algoritmo identificou "conteúdo sexual envolvendo menor" sem entender que a vítima estava narrando o próprio trauma. Uma postagem em português do Brasil que denuncia violência policial contra jovens negros, derrubada porque o sistema foi treinado majoritariamente em inglês e não soube distinguir denúncia de apologia.

O falso negativo é a manutenção equivocada de conteúdo nocivo. Um perfil de adulto que usa linguagem codificada para se aproximar de crianças, invisível para o sistema porque não aciona as palavras-chave proibidas. Uma ferramenta de IA generativa que produz histórias com personagens apresentados em contextos sexualizados, sem identificá-los explicitamente como menores. Uma campanha coordenada de desinformação sobre segurança de vacinas que aprende, iterativamente, a escapar dos filtros automáticos.

Defender o devido processo na moderação não é uma firula jurídica: é a única garantia de que a "cura" não será pior que a doença. A Biblioteca de Danos em IA pode documentar exatamente esses dois tipos de falha, ou seja, além dos danos diretos causados por conteúdo gerado por IA, catalgar danos estruturais decorrentes de como as plataformas decidem o que fazer com esse conteúdo. E é aqui que o art. 30 do ECA Digital, que já analisei nesta coluna, precisa ser lido em conjunto com o art. 11 do Decreto nº 12.880/2026: a exigência de notificação, fundamentação, transparência sobre automação e mecanismo de recurso não é apenas uma garantia procedimental abstrata. É a melhor forma de tornar os erros do sistema auditáveis, identificáveis e corrigíveis.

Um sistema de moderação automatizada que remove conteúdo sem explicar porquê, sem indicar se a decisão foi humana ou algorítmica, e sem oferecer recurso acessível não é apenas arbitrário. Ele é funcionalmente invisível para qualquer tentativa de avaliação de eficiência, proporcionalidade ou discriminação. Sem o devido processo, a Biblioteca de Danos documenta o prejuízo, mas não tem acesso ao processo que o produziu. É como tentar investigar um acidente de aviação sem a caixa-preta.

O médico precisa saber o que o monstro fez, e o motivo

A obrigação mínima de qualquer fornecedor de sistema de IA que opere diante de crianças e adolescentes deve ser o investimento em supervisão humana qualificada e estratégica. Não porque humanos sejam infalíveis (não somos!), mas porque a supervisão humana é o único mecanismo que pode, no estado atual da tecnologia, demandar prestação de contas e responsabilização real sobre decisões automatizadas que afetam direitos fundamentais. 

Uma IA que modera sem supervisão e sem obrigação de fundamentar suas decisões é, para fins jurídicos e democráticos, uma caixa-preta que exerce poder sem qualquer possibilidade de controle externo. Apenas a intervenção humana estratégica pode garantir os três pilares que o workshop identificou como essenciais:

• Explicação acessível: entender, em linguagem compreensível, por que um conteúdo foi gerado, mantido ou removido, e se essa decisão foi tomada por um sistema automatizado ou por uma pessoa.
• Revisão e escuta: permitir que usuários e vítimas contestem decisões opacas, com prazo definido para resposta.
• Métricas de conformidade: avaliar riscos à saúde e à segurança de forma regular, com dados disponíveis para pesquisadores, órgãos reguladores e para a própria sociedade civil.

Bruce Banner não conseguia controlar as transformações do Hulk porque não entendia, no início, o mecanismo que as desencadeava. Só quando a ciência (ironicamente, a mesma que o transformou) foi capaz de mapear o processo é que se tornou possível desenvolver formas de intervenção. O conhecimento do mecanismo não eliminou o risco, mas criou condições para uma resposta proporcional.

O devido processo na moderação de conteúdo é, nessa metáfora, o que permite ao médico entender o que o monstro fez. Sem ele, temos apenas o rastro de destruição: as postagens removidas sem justificativa, os conteúdos nocivos mantidos sem explicação, as vítimas que não sabem para onde recorrer. Porém, precisamos do mapa do processo que produziu esses resultados.

Isso tem uma implicação direta para a regulação da IA generativa no contexto do ECA Digital: o art. 11 do Decreto nº 12.880 não pode ser lido apenas como uma obrigação de resultado (o sistema não pode produzir conteúdo nocivo para crianças). Precisa ser lido também como uma obrigação de meio: o sistema precisa ser capaz de explicar, registrar e submeter a revisão as decisões que toma, incluindo os erros. Não por acaso, o PL 2338 prevê, para sistemas de alto risco, obrigações de transparência, registro e auditabilidade que se aproximam dessa lógica. O problema é que a categoria "alto risco" precisa ser preenchida com precisão empírica, e é exatamente aí que a Biblioteca de Danos tem um papel estratégico insubstituível.

Conclusão: calibrar a transformação e regular o Hulk certo

O General Ross passou décadas tentando capturar o Hulk com as ferramentas erradas, a partir da premissa errada: que o monstro era o inimigo. A revelação tardia (que nos melhores arcos da Marvel é também uma revelação sobre o próprio Ross) é que o monstro e o médico são inseparáveis, e que a questão regulatória não é eliminar a força, mas criar as condições institucionais para que ela seja canalizada de forma controlada, transparente e responsável. Como defendi semana passada, o ECA Digital e a regulação da IA no Brasil não devem buscar a destruição do "laboratório" tecnológico, mas a calibração rigorosa do remédio.

O Brasil, com o ECA Digital, o Decreto nº 12.880 e a tramitação do PL 2338 (além da decisão do STF sobre o art. 19 do Marco Civil da Internet), está construindo essas condições. A forma é imperfeita, às vezes contraditória, mas temos densidade normativa que poucos países conseguiram produzir. O que falta é a articulação explícita entre três elementos que ainda funcionam em paralelo, sem se tocar: a evidência de dano, que a Biblioteca de Danos da Data Privacy Brasil está sistematizando com rigor crescente; o devido processo na moderação, que o art. 30 do ECA Digital positivou mas que ainda não foi conectado às obrigações específicas da IA generativa; e a distinção conceitual entre os diferentes sistemas que se apresentam sob o mesmo rótulo de "inteligência artificial", sem a qual qualquer regulação corre o risco de ser tão eficaz quanto tentar prender o Hulk com algemas comuns.

A proteção integral de crianças e adolescentes exige que abandonemos as decisões algorítmicas autorreferentes e opacas. E o gerador de conteúdo não pode ser o único juiz de sua própria criação. Tomados em conjunto, os incontáveis posts removidos ou mantidos por engano colocam em jogo a soberania da nossa experiência digital, e o direito de crianças e adolescentes de crescerem em um ambiente onde os erros do sistema possam ser vistos, contestados e corrigidos.

O monstro existe. O médico também. A pergunta não é se vamos regular, mas se seremos capazes de distinguir, com precisão suficiente, quando estamos diante de um e quando estamos diante do outro. Crianças e adolescentes não têm o luxo de esperar que resolvamos essa dúvida no abstrato, principalmente diante de tantas e graves evidências empíricas.