Escolas usam Machine Learning para monitorar mídias sociais de alunos

Até onde os adultos podem ir para garantir a segurança e saúde mental de suas crianças — sejam elas filhos ou alunos? A comunidade escolar do distrito escolar Lakeview, de Battle Creek, em Michigan, nos Estados Unidos, começou o semestre letivo com uma novidade: um sistema de monitoramento das redes sociais de seus estudantes que utiliza palavras-chave e algoritmos de Machine Learning para analisar possíveis casos de conflito, violência e outros aspectos polêmicos do tipo.

Desenvolvido pela empresa Firestorm, o software faz uma varredura diária em postagens públicas em redes sociais, em busca de menções ao nome da escola e termos relacionados a ela, de forma a antecipar possíveis conflitos antes que eles cheguem ao seu ápice. Mais do que sexting e bullying, o objetivo do software é criar um sistema de vigilância para ocorrências mais graves, como os tiroteios em escolas, algo relativamente frequente nos Estados Unidos.

Segundo o chefe de operações da Firestorm, Hart Brown, a maneira como os adolescentes utilizam a internet favorece e possibilita esse tipo de interferência. Por exemplo, neste ano, um dos posts de estudantes que geraram um alerta na escola mostrava uma foto de uma mochila com uma arma dentro. Ao receber um email com o aviso, o diretor abordou o aluno quando chegou à escola, e este, de fato, estava carregando o objeto. O fato de ela estar na mochila não significa que o estudante planejasse utilizá-la, mas esse é um dos casos em que é melhor prevenir do que remediar, não é?

Se ferramentas como essa puderem contribuir para a redução de crimes dentro dos portões das escolas, não há dúvidas de que pais e as próprias instituições de ensino serão favoráveis a elas. A grande questão é como chegar de fato aos estudantes sem ferir questões éticas e de privacidade, uma vez que não se pode supor que um estudante que pretende atirar nos colegas vá postar isso em sua timeline no Facebook no modo público.

A parte difícil será chegar aos posts privados, às conversas e às comunidades fechadas online — seja por estarem ocultos, seja pela tradução da linguagem utilizada. É fácil se perder, quando você está se comunicando com um adolescente. Na internet, então, nem se fala. Será que um software de inteligência artificial consegue acompanhar a linguagem viva do público  teen?

Outro ponto que os especialistas levantam é o montante de dados que um programa similar pode gerar. O diretor da escola Lakeview, Blake Prewitt, por exemplo, recebe diariamente 20 emails com alertas de possíveis postagens problemáticas, referentes aos seus 4 mil alunos e 500 funcionários. Quando se pensa na rotina já agitada de uma escola, as chances de que algo passe sem receber a devida atenção é grande.

Segundo o professor Desmond Patton, da Universidade de Columbia — que foi consultor para o desenvolvimento de outra ferramenta, a Social Sentinel —, esses primeiros passos utilizando Machine Learning já são um grande avanço, mas é preciso ter cuidado. "Eu acho que há uma oportunidade para as escolas utilizarem isso como uma ferramenta para dar suporte para as pessoas, mas eu faria com extrema cautela", opina ele, que ajudou a implementar um software que encontra tweets que expressam trauma e perda.

No caso do monitoramento voltado às escolas, a principal preocupação de Patton é que os softwares sejam utilizados de maneira equivocada e reforcem preconceitos contra comunidades que já são alvos de um alerta maior do que as demais, como é o caso de jovens negros, por exemplo. Se, pautada em preconceitos de raça, a escola já tem um olhar mais atento e desconfiado sobre esse grupo, qualquer postagem com uma linguagem segmentada poderia levantar um alerta que traz uma interpretação errônea, causando situações delicadas e perigosas para a segurança desses estudantes.

De qualquer forma, os especialistas sugerem que não basta aplicar os softwares e esperar que eles funcionem sozinhos. Mídia social e comportamento online devem também ser discutidos com os alunos, a fim de que façam uso consciente dessas ferramentas.