处理管道
四大核心处理管道
从基础数据到高级应用的完整转换链路
空间先验生成
run_01_spatial_prior基于 NVIDIA Cosmos 世界模型实现空间理解,生成场景的语义分割和几何先验
技术栈
NVIDIA CosmosPyTorch 2.5.1CUDA 12.1
输出产物
语义地图
几何先验
Cosmos 特征向量
物理属性预测
run_02_physics_jepa基于 Meta JEPA 架构预测物体物理属性,推断材质、密度、摩擦系数等参数
技术栈
Meta JEPAPyTorch 2.5.1PyTorch3D 0.7.6Open3D 0.18.0
输出产物
标准化 3D 网格模型
物理属性元数据
交互轨迹记录
run_03_causal_trajectory整合多模态感知数据(RGB-D + IMU),记录物理交互轨迹和行为模式,支持反事实推演
技术栈
YOLOv8ORB-SLAM3/LIO-SAMPyBullet
输出产物
交互轨迹数据
行为模式分析
反事实推演结果
评测数据导出
run_04_benchmark_export支持多种标准评测格式的数据导出,兼容主流评测框架,提供数据质量报告
技术栈
Genie Sim 3.0NVIDIA CosmosMeta JEPA
输出产物
标准格式数据集
质量报告
完整性验证
核心价值
核心价值
物理世界数字化
将现实场景转化为可计算、可仿真的数字孪生体
语义丰富化
为 3D 场景注入丰富的语义和物理属性信息
交互建模
记录和分析物理交互行为,支持反事实推演
标准输出
生成符合主流评测框架的标准化数据格式
技术架构
技术架构
基础设施
Docker 容器化基于 CUDA 12.1 的 Ubuntu 22.04 基础镜像
Python 环境Miniforge3 + Python 3.11
深度学习PyTorch 2.5.1 (CUDA 12.1), PyTorch3D 0.7.6
3D 处理Open3D 0.18.0, Kaolin 0.17.0, gsplat
世界模型NVIDIA Cosmos, Meta JEPA
视觉算法YOLOv8, ORB-SLAM3, LIO-SAM
开发进度
开发进度
基础架构搭建完成
Docker 容器化配置就绪
四个核心处理模块全部实现
run_01_spatial_prior (Cosmos 适配器)
run_02_physics_jepa (JEPA 物理预测)
run_03_causal_trajectory (SLAM+ 因果推理)
run_04_benchmark_export (多格式导出)
端到端集成测试80%
性能基准测试
当前版本:v1.0.4.0开发中 80%