LeRobot 0.6.0 chega com robôs que simulam o futuro antes de agir
Saiu o LeRobot 0.6.0, e o pacote da Hugging Face para robótica open source deu um salto que vai muito além de mais um checkpoint na prateleira. A ideia central da release é fechar o loop de aprendizado do robô: treinar políticas que simulam o resultado de uma ação antes de executá-la, medir se a tentativa deu certo com um modelo de recompensa dedicado, e transformar cada falha em dado de treino via CLI.
O destaque técnico são os chamados world models. O VLA-JEPA usa um Qwen3-VL-2B compacto e, durante o treino, acopla um modelo JEPA que tenta prever os próximos frames a partir das ações do próprio agente. Na hora de rodar em produção esse módulo de previsão é descartado, então você paga o custo de aprendizado só no treino, sem pesar na inferência. Tem checkpoint pronto no Hub, inclusive um pré-treinado em DROID para fine-tuning direto:
lerobot-train –policy.path=lerobot/VLA-JEPA-Pretrain –dataset.repo_id=SEU_USUARIO/meu_dataset –policy.repo_id=SEU_USUARIO/minha_policy
O LingBot-VA vai um passo além: é um modelo autoregressivo que prevê vídeo e ação juntos, em blocos, comparando a simulação com o rollout real. Junto entram o FastWAM e uma nova geração de VLAs no zoológico de modelos: GR00T N1.7, MolmoAct2, EO-1, EVO1 e o Multitask DiT.
Saber quando o robô acertou
Sem métrica objetiva, avaliar robô é chute. Por isso a release traz uma API nova de reward models, com o Robometer e o TOPReward, para dar um sinal de sucesso ou falha automatizado em vez de depender de anotação manual.
Dataset mais rápido e mais rico
Do lado de dados, o pipeline ganhou suporte nativo a profundidade (depth), anotação de linguagem automática via VLM, encoder de vídeo configurável pelo usuário e carregamento até duas vezes mais rápido. É a parte menos chamativa da release, mas é a que resolve gargalo de verdade em quem treina em escala.
Um CLI para avaliar, outro para rodar
Seis benchmarks novos de simulação foram unificados sob o comando lerobot-eval, então dá para comparar modelo com modelo sem montar arnês de teste na mão. Para produção, chegou o lerobot-rollout, que já suporta correções humanas no estilo DAgger durante a execução, virando dado de treino automaticamente.
Treino ficou mais robusto também: suporte a FSDP para treinar modelo maior que a memória da GPU, e a opção de rodar tudo na nuvem via HF Jobs, sem precisar montar cluster próprio. A instalação do pacote também ficou mais leve, com menos dependência pesada puxada por padrão.
Não é feature isolada, é o ciclo completo: simular, medir, corrigir e treinar de novo, tudo dentro do mesmo repositório open source.
- World models: VLA-JEPA, LingBot-VA, FastWAM
- Novos VLAs: GR00T N1.7, MolmoAct2, EO-1, EVO1, Multitask DiT
- Reward models: Robometer, TOPReward
- CLIs novos: lerobot-eval e lerobot-rollout
- Infra: FSDP, treino em nuvem via HF Jobs, instalação mais leve
Para quem já usa LeRobot em produção, o upgrade vale só pelo lerobot-rollout e pelo carregamento de dataset mais rápido. O resto é bônus que separa quem só roda demo de quem constrói pipeline de robótica de fato.
