Uma equipe de pesquisa anunciou um avanço emocionante: o desenvolvimento de uma nova rede neural chamada HOVER (Humanoid Omni-functional Controller). Esta rede neural, com 1,5 milhão de parâmetros, é especializada em coordenar o movimento e a manipulação de robôs humanoides.
Jim Fan, gerente sênior de pesquisa da NVIDIA, disse: "Nem todos os modelos básicos precisam ser enormes. A rede neural de 1,5 milhão de parâmetros que treinamos visa controlar o corpo de um robô humanoide." Ele explicou ainda que o HOVER consegue captar os processos subconscientes do movimento humano, permitindo que o robô execute tarefas complexas sem programação complexa. Ele mencionou: "Os humanos precisam de muito processamento subconsciente para caminhar, manter o equilíbrio e manipular os membros com flexibilidade."
Durante o treinamento, o HOVER utilizou a plataforma de simulação Isaac da NVIDIA, que acelera a simulação física em 10.000 vezes a velocidade do tempo real.
Jim Fan revelou que o modelo foi treinado em um ambiente virtual por um ano, mas na realidade levou apenas cerca de 50 minutos, concluído em uma única GPU. Ele afirmou que esse treinamento eficiente permite que a rede neural seja transferida sem problemas para aplicações reais, sem necessidade de ajuste fino.
O HOVER é capaz de responder a várias instruções de movimento de alto nível, incluindo o controle da postura da cabeça e das mãos usando dispositivos XR (como o Vision Pro da Apple), ou a aquisição da postura corporal completa através de captura de movimento e câmeras RGB, ou até mesmo a obtenção de ângulos articulares de um exoesqueleto ou comandos de velocidade de raiz de um joystick. Fan enfatizou que o HOVER fornece uma interface unificada para controlar robôs com diferentes dispositivos de entrada, facilitando a coleta de dados de teleoperação para treinamento.
Além disso, o HOVER também é integrado a modelos de visão-linguagem-ação a montante, permitindo que as instruções de movimento sejam convertidas em sinais de motor de baixo nível com alta frequência. Este modelo é compatível com qualquer robô humanoide que possa ser simulado no Isaac, permitindo que os usuários dêem vida aos robôs com facilidade.
No início deste ano, a NVIDIA também anunciou um projeto chamado GR00T, um modelo básico generalista projetado para robôs humanoides. O robô acionado pelo GR00T (Generalist Robot00Technology) consegue entender a linguagem natural e imitar os movimentos humanos observando-os, o que permite que ele aprenda rapidamente a coordenação, a flexibilidade e outras habilidades necessárias para interagir eficazmente no mundo real.
Link do artigo:https://arxiv.org/pdf/2410.21229
Destaques:
- 🤖 A NVIDIA lança o HOVER, uma rede neural de 1,5 milhão de parâmetros, projetada para controlar o movimento e a manipulação de robôs humanoides.
- ⏳ O HOVER foi treinado em um ambiente virtual por um ano, mas o tempo de treinamento real foi de apenas 50 minutos, aumentando a eficiência das aplicações reais.
- 🎮 O HOVER suporta várias instruções de movimento de alto nível, podendo trabalhar com diferentes dispositivos de entrada, fornecendo uma interface unificada para o controle de robôs.
