Steven Bathiche, diretor do grupo de Ciências Aplicadas da Microsoft (mesma equipe de pesquisadores responsáveis pelo Surface), realizou uma demonstração da mais nova tecnologia de interface entre usuário e software que está sendo desenvolvida. Conforme pode-se observar no vídeo acima, já é possível desenhar ou movimentar objetos virtuais sem encostar em nada.

A novidade usa câmeras comuns para identificar e criar imagens tridimensionais de pessoas e objetos. Com as informações processadas, o sistema permite que o usuário possa interagir com conteúdos sem precisar tocar em botões ou telas – algo parecido com o que acontece com o Kinect.

No vídeo divulgado pela Microsoft, é utilizado um projetor com uma câmera acoplada para capturar os movimentos das mãos de Bathiche acima da tela. Os dados são processados por um software que os transforma em desenhos, projetando o resultado novamente para a tela.

Outra aplicação da nova NUI (Natural User Interface) da Microsoft é a criação de avatares animados. Por meio deste mecanismo será possível construir caricaturas que possuem os trejeitos e reproduzem as falas dos usuários. Abaixo, o pesquisador Zhengyou Zang realiza testes com a novidade.