Ilusão: o que veículos autônomos podem ver pode ser manipulado?

Um dos princípios sob os quais um sistema de direção autônoma funciona é que sua inteligência artificial consegue discernir um animal de um carro, uma bicicleta do caminhão e também placas.

No entanto, pesquisadores da Google, OpenAI e da Universidade da Pensilvânia descobriram que o software de identificação de imagens pode estar suscetível a ataques um pouco diferentes: a manipulação do que é visto pelo sistema. Isso inclui adicionar elementos em uma placa, por exemplo, para fazer com que o carro faça algo que ele não deveria, como parar, ou não.

Os envolvidos na pesquisa estudaram a aplicação teórica desses ataques, que são chamados de “exemplos desfavoráveis”, no software somente. Um dos testes mostrou que uma alteração de 4% na imagem original já foi o suficiente para que o sistema se enganasse em 97% das vezes.

A crafted image that fools an ML classifier even after being printed out, zoomed, and rotated: https://t.co/vrmVIsYn8A. pic.twitter.com/RZKqCe6q8E

— OpenAI (@OpenAI) July 17, 2017

Em outro estudo mais aprofundado, o time da OpenAI mostrou como uma foto impressa de um gato e o sistema identificou como uma imagem proveniente de um monitor de um computador, mesmo mudando o ângulo, distância e posição da foto. O segundo teste foi feito em resposta a um documento disponibilizado pela Universidade de Illinois, que afirmou que essas alterações não seriam possíveis.

Ainda assim, a pesquisa feita pela OpenAI foi motivada também por uma situação em que um Tesla Model S confundiu uma placa de cruzamento numa estrada com uma indicação de velocidade máxima de 170 km/h.

.@TeslaMotors Model S autopilot camera misreads 101 sign as 105 speed limit at 87/101 junction San Jose. Reproduced every day this week. pic.twitter.com/LfzgZ7xnVl

— Venkat Viswanathan (@venkvis) July 15, 2017

A conclusão, segundo David Forsyth, é que os “exemplos desfavoráveis” representam mais uma área deve ser trabalhada durante a caminhada de desenvolvimento dos autônomos.