Rephrase Before You Act: Characterizing and Mitigating Language Sensitivity in Vision-Language-Action Models

Robôs inteligentes entendem português, mas tropeçam em uma palavra: o novo desafio da robótica com IA

Um dos avanços mais celebrados na robótica dos últimos anos são os chamados modelos de visão-linguagem-ação (ou Vision-Language-Action Models, VLAs). Na prática, são sistemas de inteligência artificial que enxergam o ambiente por câmeras, compreendem comandos escritos em linguagem natural e executam ações físicas — como ligar um fogão, pegar um objeto ou abrir uma porta. A promessa é enorme para a automação industrial, a logística e até a robótica doméstica.

Mas uma nova pesquisa revela uma fragilidade incômoda: esses robôs são surpreendentemente sensíveis à forma como a instrução é escrita. Uma simples troca de palavra pode derrubar a taxa de sucesso de 100% para 2%. O trabalho, intitulado “Rephrase Before You Act” (algo como “Reformule antes de agir”), propõe uma solução prática — e, curiosamente, bastante simples.

O problema: uma palavra muda tudo

Os pesquisadores testaram modelos como o π₀.₅ e o π₀, versões conhecidas de VLAs usadas em ambientes de simulação como o LIBERO. O resultado chama a atenção de qualquer gestor que pense em adotar essa tecnologia.

No experimento com um fogão simulado, o comando “switch on the stove” (ligue o fogão) teve 100% de sucesso. Já a instrução “switch on the hot plate” (ligue a chapa quente) — que, para um humano, significa praticamente a mesma coisa — obteve apenas 2% de acerto. Ou seja, o robô entendeu a tarefa, mas travou por causa da formulação.

O estudo foi além e mediu essa variação de forma estatística. Em um checkpoint do modelo π₀ ajustado especificamente para lidar com reformulações, ainda foram observadas oscilações de até 61 pontos percentuais dependendo das palavras escolhidas.

Curiosamente, essa fragilidade não vem dos modelos de visão-linguagem (VLMs) que servem de base. Ou seja: a camada que entende imagens e texto é robusta, mas a camada que transforma esse entendimento em ação física herda essa sensibilidade de forma amplificada.

A descoberta: quase todo o problema é de formulação

Os pesquisadores fizeram algo interessante. Em vez de tentar treinar novamente o robô ou ajustar seus parâmetros, decidiram investigar se a sensibilidade à linguagem era sistemática — e não aleatória.

Usando uma técnica de busca por frases ideais (oracle