Kyutai REKI：2.4 B 参数视觉语言动作模型让机器人操作更高效

引言：REKI 把视觉、语言与动作紧密结合

在机器人操作领域，Kyutai REKI 通过 2.4 B 参数的视觉语言动作（Vision‑Language‑Action, VLA）模型，将摄像头画面、自然语言指令以及机器人动作统一映射，实现了“一眼看懂、一句指令、即刻执行”。该模型仅使用公开数据进行预训练，并配备了覆盖最近三帧（间隔 1 秒）的轻量记忆模块，能够在 1 张 NVIDIA H100 GPU 上以 21.8 ms 的时延完成一次动作片段的推理。REKI 的出现为机器人操作的成本、部署门槛以及跨域适应性带来了新的可能。

技术概览：模型结构与记忆机制

核心网络组成

REKI 由两大子模型构成：

• 视觉语言骨干：基于 Qwen3.5‑2B（约 2.2 B 参数）的大型视觉语言模型，负责对双目摄像头的 256×256 图像以及自然语言指令进行特征编码。
• 动作专家模块：约 200 M 参数的流匹配（flow‑matching）动作专家，采用 10 步欧拉积分将连续的机器人状态映射为离散的动作片段。

两者通过跨模态注意力层深度融合，实现“看—说—做”的闭环。

短时记忆的实现方式

REKI 引入了一个轻量级的记忆缓冲区，保存最近三帧图像特征，每帧相隔 1 秒。记忆信息在每次推理时与当前帧特征拼接，帮助模型捕捉动作的时间连续性，提升对动态场景的理解能力。该记忆仅占用极少的显存，保持了整体推理的高效性。

实验评估：公开数据下的竞争力

基准数据集与对比模型

REKI 在三类跨域（out‑of‑distribution）机器人操作基准上进行了评测：

• LIBERO‑Plus
• RoboTwin Clean2Rand
• RoboCasa365

与同类公开数据预训练的 VLA 模型相比，只有规模约为 REKI 两倍的模型在部分指标上稍有优势。

关键成绩

• LIBERO‑Plus：90.4% 的成功率，创下公开数据模型的最高分。
• RoboTwin Clean2Rand：同样保持领先，细节分数略高于竞争对手。
• RoboCasa365：38.4%（相对较低），落后于专用的 Xiaomi‑Robotics‑1（57.4%），说明在复杂家庭场景仍有提升空间。

行业意义：从实验室走向实际部署

成本与部署门槛的降低

传统机器人操作系统往往依赖大规模私有数据和多卡训练，成本高昂且难以复现。REKI 完全基于公开数据，且只需单卡 H100 即可实时推理，意味着中小企业、科研实验室甚至高校都能在较低预算下部署高质量的机器人操作模型。

跨域适应性的提升

记忆模块的加入让模型对时间序列信息更敏感，能够在未见过的物体布局或光照变化下保持一定的鲁棒性。这对物流分拣、仓储管理等需要快速适应新场景的工业应用尤为重要。

局限与挑战：仍需突破的瓶颈

复杂交互场景的表现不足

在 RoboCasa365 这类模拟真实家庭环境的基准上，REKI 的成功率明显低于专用模型，说明仅凭短时记忆和公开数据仍难以应对高度多样化的交互动作（如多物体协同搬运、柔性物体操作等）。

模型体积与硬件依赖

虽然单卡 H100 已能满足实时需求，但对大多数企业来说仍属高端硬件。后续若能推出量化或蒸馏版本，将进一步降低部署门槛。

对读者的行动建议

如果你所在的团队正考虑引入机器人操作能力，建议先评估任务场景是否与 REKI 在公开基准上表现相近的任务相匹配；若是标准的抓取、放置或简单的装配任务，REKI 已具备足够的精度和速度。可以从 Hugging Face 上下载 BF16 权重，结合已有的机器人控制框架（如 ROS）进行快速原型验证。同时，关注后续的量化或轻量化版本发布，以便在更低算力平台上运行。

结语：REKI 为机器人智能化打开新路径

Kyutai REKI 通过公开数据预训练、紧凑的记忆设计以及高效的推理实现，展示了视觉语言动作模型在机器人操作中的可行性与竞争力。虽然在复杂家庭场景仍有提升空间，但其低成本、高效能的特性已经为行业提供了一个可复制的基准。未来，随着模型压缩技术和更丰富的跨模态数据的加入，REKI 有望在更广泛的工业和服务机器人应用中发挥更大作用。