16/03/2022 - Nas últimas décadas, cientistas da computação desenvolveram técnicas cada vez mais avançadas para treinar e operar robôs. Coletivamente, esses métodos podem facilitar a integração de sistemas robóticos em uma gama cada vez mais ampla de configurações do mundo real. Pesquisadores da Carnegie Mellon University criaram recentemente um novo sistema que permite aos usuários controlar uma mão e um braço robóticos remotamente, simplesmente demonstrando os movimentos que eles querem que ele reproduza na frente de uma câmera.
Este sistema, introduzido em um artigo pré-publicado no arXiv, pode abrir possibilidades interessantes para a teleoperação e treinamento remoto de robôs que completam missões em ambientes cotidianos e inacessíveis aos humanos.
“Trabalhos anteriores nesta área dependem de luvas, marcadores de movimento ou uma configuração multicâmera calibrada”, disse Deepak Pathak, um dos pesquisadores que desenvolveram o novo sistema, ao TechXplore. "Em vez disso, nosso sistema funciona usando uma única câmera não calibrada. Como nenhuma calibração é necessária, o usuário pode estar em qualquer lugar e ainda teleoperar o robô com sucesso."
O novo sistema desenvolvido por Pathak e seus colegas é baseado em um modelo que pode traduzir os movimentos das mãos humanas em uma série de instruções, que depois orientam os movimentos de um robô. Notavelmente, o modelo foi treinado apenas em uma série de vídeos do YouTube em que humanos realizam ações e interagem com diferentes objetos.
"A diversidade de enormes dados de vídeo passivos ajuda a trabalhar com usuários, tarefas e objetos não treinados", explicou Pathak. "Nosso sistema oferece uma maneira natural e de baixo custo de ensinar robôs por meio de demonstrações, em vez de segurar o robô de forma cinestésica ou usar uma luva ou traje de captura de movimento".
Ao analisar uma única imagem bidimensional (2D), o sistema dos pesquisadores pode derivar os movimentos que uma mão e um braço humanos estão realizando em um espaço tridimensional (3D). Posteriormente, ele redireciona as articulações da mão de um humano para combinar com as articulações da mão de um robô, a fim de reproduzir os mesmos movimentos.
Leia também - O Poder do Sêmen
“Como as mãos humanas e robóticas diferem em forma, tamanho e estrutura, essa tradução é limitada, principalmente com uma única imagem”. Aravind Sivakumar e Kenny Shaw, os dois alunos envolvidos no projeto, explicaram. “Nossa principal percepção é que, embora seja caro coletar dados de correspondência humano-robô emparelhados, a Internet contém um corpus maciço de vídeos de mãos humanas ricos e diversificados”.
Para treinar seu sistema usando apenas dados de vídeo passivos, os pesquisadores basearam-se em décadas de pesquisa com foco em estimativa de pose humana 3D e visão computacional. Seus resultados iniciais são altamente promissores, pois descobriram que seu sistema poderia permitir que usuários não treinados teleoperassem um robô e concluíssem remotamente diferentes tarefas de manipulação hábil.
“Pessoalmente, a parte mais empolgante para mim é o uso de diversos dados da Internet para robótica”, disse Pathak. “Esperamos que nosso trabalho recente seja apenas uma das muitas direções futuras nas quais os vídeos da Internet atuam como uma rica fonte de supervisão para controle robótico, além da visão robótica”.
Para usar o sistema desenvolvido por essa equipe de pesquisadores, basta que os usuários fiquem em frente a uma câmera RGB e realizem os movimentos de mão ou braço que gostariam que o robô replicasse. Como é muito fácil de usar e não requer equipamentos sofisticados, o sistema pode eventualmente ser usado para resolver vários problemas do mundo real.
"A telecinese robótica e tecnologias semelhantes permitirão o ensino de robôs em uma variedade maior de configurações, inclusive em residências, onde eles deverão realizar tarefas cotidianas. Pathak acrescentou: "Usando apenas uma única câmera não calibrada, nosso sistema pode, em teoria, ser controlado a partir de em qualquer lugar do mundo, tornando o ensino de robôs mais acessível a qualquer pessoa. Agora estamos coletando dados em grande escala usando nosso sistema de telecinesia robótica para ensinar o robô a agir e se adaptar de forma autônoma no mundo real."
Fonte: https://techxplore.com/