学术
学术论文arXiv2026-10-08
OmniDex: Scaling Dexterous Hand Grasping to Diverse Cluttered Scenes
OmniDex提出大规模仿真基准和模型，提升灵巧手在杂乱场景中的抓取性能。
- 构建超260万场景和4亿抓取真值的大规模基准，解决杂乱场景数据稀缺问题。
- OmniDex模型结合Soft WTA学习和物理约束，克服抓取多模态和毫米级精度误差。
CTO学院产业中心核心小组
具身智能 · 每周资讯
自动聚合技术与商业前沿，共收录 45 条精选内容
学术
学术论文arXiv2026-10-05
Inspect Robots: Evaluating the Capabilities and Safety of Embodied AI
介绍Inspect Robots框架，用于评估具身智能体的能力与安全性。
- Inspect Robots是模块化开源框架，支持具身智能体评估的开发与运行。
- 框架提供可定制抽象和自动化基础设施，简化物理评估流程。
学术
学术论文arXiv2026-10-04
Beyond LLM Serving: Characterizing Vision-Language-Action Workloads for Embodied AI System Design
研究VLA模型在机器人控制中的推理性能与能效权衡。
- 在边缘GPU和板载SoC上表征四种VLA模型的批量1推理行为
- 发现动作张量维度决定内存或计算瓶颈，平台平衡可改变瓶颈
学术
学术论文arXiv2026-10-01
LiteReality-Agent: An Agentic System for Interactable 3D Indoor Scene Reconstruction
提出LiteReality-Agent系统，从RGB-D扫描重建可交互3D室内场景，用于具身智能仿真。
- 将3D重建转化为编码任务，通过观察-编辑-验证流程生成Room.py脚本。
- 重建结果在几何精度、视觉真实感和仿真兼容性上优于Astra和Fable等前沿模型。
学术
学术论文arXiv2026-09-30
Video2SwimFish: An Automated Pipeline for Reconstructing Controllable Fish Models and Biological Locomotion from Real Fish Videos
提出Video2SwimFish流水线，从真实鱼视频重建可控鱼模型和生物运动。
- 从多视角鱼视频重建可变形网格和个体化关节
- 提取生物运动流形作为低维动作空间，学习个体游泳策略
学术
学术论文arXiv2026-09-30
WorldLine: Action-Driven Visual Simulation for Robotic Manipulation
WorldLine提出动作驱动的视觉仿真器，提升机器人操作预测与策略评估效率。
- 利用超1万小时无动作视频和2千小时动作轨迹，解耦动力学学习与动作接地
- 图像空间动作表示实现跨多具身共享控制，多视图与失败增强训练提升交互预测
学术
学术论文arXiv2026-09-25
Ego-Exo4D Human Meshes Dataset: 4D Human Motion Reconstruction for Ego-Exo Captures
发布Ego-Exo4D-HM数据集，提供4D人体运动重建，助力具身智能研究。
- 基于Ego-Exo4D多视角视频，重建密集4D人体运动网格
- 提供大规模数据集和配套重建流程，开源代码与文档
学术
学术论文arXiv2026-09-24
BeyondRetarget: Learning Executable Humanoid Motions Directly from Monocular Video
提出BeyondRetarget框架，直接从单目视频生成可执行人形机器人动作。
- 端到端框架直接从单目RGB视频映射到机器人动作，摒弃显式人体表示
- 设计接触感知动作优化机制，提升时序一致性和物理合理性
学术
学术论文arXiv2026-09-24
Anthropomimetic Soft Robotic Forearm with Independently Articulated Carpal Bones Enabling Human-Like Adaptive Stiffness Modulability
研究仿生软体前臂，揭示腕骨形态对刚度调节的关键作用。
- 开发解剖精确的仿生软体前臂，含8块独立腕骨和22块肌肉。
- 实验显示腕骨形态主导人类手腕刚度调节，融合腕骨会消除低刚度方向。
学术
学术论文arXiv2026-09-24
Echo in the Steps: Learning Perceptive Humanoid Parkour with Gated Memory
提出人形机器人跑酷框架，利用深度观测实现稀疏立足点地形稳定穿越。
- 提出显著性引导的时间感知模块，结合门控记忆保留跨帧深度特征，实现部分观测下的可靠落脚点选择。
- 引入交替损失进行对称正则化，鼓励交替步态模式，提升穿越鲁棒性。
学术
学术论文arXiv2026-09-24
TactileStep: Sole Tactile Learning for Regulating Foot-Terrain Interaction in Humanoid Locomotion
TactileStep框架利用足底触觉学习提升人形机器人足地交互，减少冲击力与噪音。
- 提出可部署的触觉学习框架TactileStep，将足底压力传感融入人形机器人运动控制。
- 通过触觉与运动线索识别足部接触阶段，应用相位感知奖励鼓励更软着陆和更稳定支撑。
学术
学术论文arXiv2026-09-24
ForgetMimic: Motion Unlearning for Reinforcement Learning Humanoid Control
提出ForgetMimic方法，实现人形机器人控制策略中特定动作的遗忘。
- 针对人形机器人强化学习控制，首次提出运动级遗忘方法ForgetMimic。
- 可在删除目标动作的同时保留其余动作性能，解决安全、隐私和版权问题。
学术
学术论文arXiv2026-09-22
MotionForge: A Data Generation Pipeline and Large-Scale Benchmark for Long-Horizon Manipulation of Dynamic Objects with Domain Shifts
MotionForge提出动态物体长时程操作基准，评估策略在域偏移下的鲁棒性。
- 包含40个动态交互任务，覆盖11种运动模式和17个长时程任务。
- 引入单因素和联合域偏移评估协议，以及解耦延迟感知执行协议。
学术
学术论文arXiv2026-09-22
Uranus: Building the Next-Generation Simulation Infrastructure for Embodied AI
Uranus提出数据驱动的机器人仿真器，实现流式生成、低延迟和可扩展控制。
- 基于关节轨迹条件的自回归扩散模型，支持开放式流式生成，每步生成4帧RGB。
- 推理优化后达到24 FPS低延迟，提供多视角同步生成接口，适配多种机器人形态。
学术
学术论文arXiv2026-09-21
Smoothness as a Constraint for Stable Humanoid Locomotion
提出DeCap算法，通过解耦上下身平滑约束提升人形机器人运动稳定性。
- DeCap将全身平滑性解耦为上下身约束组，分别限制物理运动量。
- 引入有界障碍惩罚，在接近约束边界时主动激活，提高约束满足度。
学术
学术论文arXiv2026-09-20
Identity Continuity in Long-Term Embodied AI Relationships: From Agent-Specific Identity Representation to Identity-Continuity Appraisal
探讨长期具身AI身份连续性框架，涉及跨形态迁移与用户关系维护。
- 提出用户侧身份连续性框架，包含具身感知、心理行为和关系自传三个内容域。
- 系统变更后用户加权整合连续与断裂证据，形成从强连续到明确断裂的判断谱系。
学术
学术论文arXiv2026-09-17
Learning Slope-Adaptive Whole-Body Locomotion for Humanoid Robots in Roofing Construction
研究人形机器人在屋顶施工中学习斜坡自适应全身运动。
- 提出任务语义场景接地框架，使Unitree G1学习屋顶工式全身运动。
- 结合轨迹优化与执行感知强化学习，确保支撑、工作间隙和非穿透约束。
学术
学术论文arXiv2026-09-17
OmniCalib: Target-Free, Task-Structured Self-Calibration for Humanoid Robots
OmniCalib实现人形机器人无靶标全身自标定，精度达亚毫米级。
- 无需外部标定靶，仅用机器人自身运动和传感器完成标定
- 标定范围覆盖上肢14个关节零位、腕部和胸部相机外参及下肢关节
学术
学术论文arXiv2026-09-17
FASA: Feedback-Aware Sampling Adaptation for Efficient Diffusion-Based VLA Models
提出FASA框架，训练免调优加速扩散VLA模型推理，提升边缘部署效率。
- FASA利用实时多模态反馈动态调整去噪采样步数，无需额外训练。
- 通过视觉和夹爪力反馈调节全局采样预算，并用本体感知优化具体步数。
学术
学术论文arXiv2026-09-17
ViLoMan: Learning Visual-Proprioceptive Whole-Body Loco-Manipulation Skills for Humanoid Robots
ViLoMan框架实现人形机器人自主全身移动操作，仅用机载深度和本体感觉完成关门任务。
- 将部分人类交互演示转化为可执行的机器人轨迹
- 通过师生蒸馏学习统一策略，直接映射观测到关节动作
学术
学术论文arXiv2026-09-17
Learning Safe Humanoid Navigation from Reduced Order Models
提出RoM-Nav方法，通过降阶模型和泊松安全过滤器实现人形机器人多楼层无地图导航。
- 将导航问题分解为降阶模型策略和全阶人形动力学策略，解决多楼层地形导航难题。
- 使用泊松安全过滤器处理分布外障碍物，保持导航成功率。
学术
学术论文arXiv2026-09-17
In-Context Robot Learning with VLM Agents
提出GPT-Policy框架，利用VLM实现机器人上下文学习，无需梯度更新即可适应新任务。
- GPT-Policy整合上下文编译器、VLM和约束控制器，将演示转化为可执行机器人动作。
- 在真实机器人试验中，人类视频演示提升任务完成率，对齐动作参考在接触敏感任务上增益更大。
学术
学术论文arXiv2026-09-17
rMuscle: Robotic Muscle Memory for Efficient Vision-Language-Action Model Inference
提出rMuscle框架，利用肌肉记忆缓存加速VLA模型推理。
- 针对工厂重复任务，发现跨执行在观测、动作和内部状态上高度相似。
- 设计双阶段缓存：上下文缓存减少计算，动作缓存减少权重访问。
学术
学术论文arXiv2026-09-16
PASSAGE: Scaling Scene-Aligned Motion Learning for Perceptive Humanoid Traversal in Cluttered Environments
PASSAGE框架实现人形机器人在杂乱环境中的感知驱动穿越，无需预建地图。
- 提出感知条件规划-跟踪框架PASSAGE，结合VR和惯性动捕收集100小时场景对齐人类运动数据。
- 条件流匹配规划器生成短时参考，全身跟踪器以50Hz执行，实时分块提升一致性。
学术
学术论文arXiv2026-09-16
A Comprehensive Review of Generative Physical Artificial Intelligence
综述生成式物理人工智能在机器人中的架构、应用与局限。
- 提出五类方法：RFM、VLA、LBM、DPM、WFM
- 分析各方法互补关系及跨平台部署
学术
学术论文arXiv2026-09-15
The Robot Data Factory
提出机器人数据工厂，将数据生成转为持续科学过程。
- 提出机器人经验概念，强调感知-行动-后果闭环
- 构建RDF基础设施，实现部署-测量-学习-重复循环
学术
学术论文arXiv2026-08-20
Towards Professional Tennis Styles for Humanoid Robots with Adaptive Motion Planning and Tracking
提出AdaPT框架，让人形机器人从视频学习专业网球发球与对打风格。
- 提出自适应运动规划与跟踪框架AdaPT，从广播视频学习专业网球风格
- 通过随机执行速度跟踪和运动速度适配器缩小仿真到现实差距
学术
学术论文arXiv2026-08-20
Hybrid Feedback Sampling for Sample-Efficient Model Predictive Control
提出反馈采样MPC算法，提升采样效率与稳定性，适用于人形机器人等高维控制任务。
- 针对采样MPC在高维不稳定系统中样本效率低的问题，提出反馈采样MPC（FS-MPC）算法。
- 混合采样设计平衡局部与全局搜索，理论分析显示收敛速度优于标准MPPI。
学术
学术论文arXiv2026-08-20
Learning the Right Abstraction: Neural Reduced Dynamics for Complex Robot Control
提出神经简化动力学框架，用低精度模型加速机器人控制策略学习。
- 开发NRD框架，分离状态传播与输入恢复，实现高效策略训练
- 在HMMWV轨迹跟踪和履带车目标到达任务中，策略成功迁移回高保真模拟器
学术
学术论文arXiv2026-08-19
Beyond Placement and Articulation: Usage-Driven Code Scenes for Embodied Interaction
提出RoomWright框架，用代码生成可交互3D场景，支持具身智能任务。
- RoomWright以任务为中心进行对象推理，生成可执行、可编辑的3D场景代码。
- 通过触发-条件-效果规则建模多部件交互，捕捉对象间因果依赖。
学术
学术论文arXiv2026-08-18
HODAgent: Towards On-Demand, Responsive Humanoids for Physical World Human Interaction
提出HODAgent系统，提升人形机器人服务场景的按需响应与任务执行能力。
- HODAgent采用半双工架构，集成环境交互、规划、执行和分层记忆，支持任务修订与结果验证。
- 在164例仿真测试中，联合成功率最高达91.5%，超越基线9.8-18.9个百分点。
学术
学术论文arXiv2026-08-18
HAF: Adapting Generalist VLAs to Humanoid Whole-Body Loco-manipulation via Hierarchical Action Flow and Spectral Latent RL
提出HAF框架，将通用VLA适配到人形机器人全身运动操控。
- HAF-VLA通过分层动作流生成，分阶段去噪并保留运动学依赖，避免全身动作不协调。
- HAF-Steer利用流匹配可逆性和DCT降维，在冻结大模型骨干下进行潜在离线到在线强化学习。
学术
学术论文arXiv2026-08-17
Throwing a Tight Spiral American Football by a Humanoid Robot
人形机器人实现美式足球稳定螺旋投掷，控制耦合动量与瞬态接触。
- 提出全身控制策略，结合轨迹优化与模型预测控制实现精准投掷。
- 在29自由度Unitree G1人形机器人上验证，达到93.6%旋转效率和0.286弧度鼻角误差。
学术
学术论文arXiv2026-08-17
Co-design of Neural and Muscle Network based on Embodied Perceptron Representation
提出具身感知器框架，统一神经网络与身体设计，实现身体与控制器协同优化。
- 将物理身体视为感知器，机械参数对应权重，非线性特性充当激活函数。
- 在肌肉骨骼机器人上协同优化控制策略与肌肉配置，提升学习效率并大幅缩小模型规模。
学术
学术论文arXiv2026-08-16
Algorithm-Architecture Co-Design for Efficient VLA Inference via Speculative Inference and Verification
提出SpecVLA框架，通过推测推理与验证协同设计提升VLA推理效率。
- 利用机器人环境主动/非主动状态交替，实现长动作长度推测预测与选择性验证。
- 算法上引入状态感知VLA执行范式和硬件友好的小型验证模型sVLA。
学术
学术论文arXiv2026-08-16
EcoVLA: Energy-Efficient Device-Edge Co-Inference for Vision-Language-Action Models under Real-Time Constraints
提出EcoVLA框架，提升VLA模型端边协同推理能效。
- 针对VLA模型高推理成本，提出自适应端边协同推理框架EcoVLA
- 通过统一阶段抽象和延迟能耗预测模型，在实时约束下最大化系统能效
学术论文雷锋网2026-08-13
给黑盒导航机器人「使绊子」：AdvNav 如何揭示具身智能系统潜在安全风险 | GAIR Paper 117
AdvNav框架揭示视觉语言导航系统在黑盒条件下的视觉脆弱性。
- AdvNav是首个面向视觉语言导航的黑盒行为引导对抗攻击框架，无需模型内部信息。
- 在R2R数据集上对HAMT和MapGPT模型攻击成功率分别达49.70%、65.96%和87.30%。
学术
学术论文arXiv2026-08-13
HumanoidVLN: A Physics-Grounded Simulator and Benchmark for Vision-Language Navigation Across Diverse Humanoid Embodiments
推出人形机器人视觉语言导航仿真基准HumanoidVLN，支持多形态测试。
- 基于Isaac Sim构建，支持4种人形机器人配置，集成强化学习运动控制。
- 生成933个碰撞感知导航指令，含精细和粗粒度风格变体。
学术
学术论文arXiv2026-08-12
HandEdit: A Unified Benchmark for Egocentric Human-to-Robot Dexterous Hand Image Editing
HandEdit基准数据集助力人手机器人手图像编辑与灵巧操作学习。
- 发布大规模具身感知图像编辑数据集HandEdit，包含超2亿编辑实例和26种机器人URDF。
- 建立统一基准协议，支持仅手部和手-臂两个赛道及URDF条件评估。
学术
学术论文arXiv2026-08-12
D3D-GEN: Robot-Aware Domain-Grounded Interactive 3D World Generation for Social Robotics
提出D3D-GEN系统，自动生成机器人可交互3D仿真世界。
- 结合领域代理与检索增强生成，自动收集领域知识并合成逼真平面图和物体布局。
- 输出可加载于Isaac Sim和Gazebo的完全交互式3D世界，无需固定3D模型库。
学术
学术论文arXiv2026-08-11
Energy-Structured Latent World Models with Neural Time Fields for Physically Constistent Open-World Motion Planning
提出能量结构化潜世界模型，提升开放世界运动规划的物理一致性和导航性能。
- 模型显式携带能量和动量，确保因果转换和物理一致预测
- 结合神经时间场实现物理信息导航，导航成功率提升至89.7%
学术
学术论文arXiv2026-08-10
Efficient Real-World Online Reinforcement Learning for Robot Manipulation via Centralized Training and Critic Decomposition
提出集中训练与分解批评框架，提升机器人操作在线强化学习效率。
- 结合CTDE与混合奖励架构，分解任务与抓取批评头
- 在双臂和仿真人形机器人上验证，随机化范围扩大5-25倍
学术
学术论文arXiv2026-08-10
WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation
提出WorldSimProbe框架，诊断具身操作中动作条件世界模型的仿真保真度。
- 评估六个开源ACWM在RoboTwin、ManiSkill和LIBERO上超18000个实例
- 发现动作实现退化、交互接地和动力学结构化失败
学术
学术论文arXiv2026-08-08
Multi-modal Interactive Control of Robotic Arm based on Offline Large Language Models
提出基于离线大模型的机械臂多模态交互控制算法，降低具身智能成本。
- 利用开源大模型在本地服务器部署，避免商业API持续付费。
- 提出Socratic Models-ChatGLM算法，在PyBullet平台实现机械臂多模态交互控制。
学术
学术论文arXiv2026-08-07
A Haptic Robot Finger Designed for Guqin Instrument Playing
设计高精度触觉传感手指，用于古琴演奏验证。
- 开发仿生多模态触觉指尖，模拟人类手指形状和指甲。
- 在古琴弦接触任务中验证，如空弦与按音比较、泛音调音和触觉触发双手协调。