Isaac Sim知识小解（9）：anygrasp生成抓取位姿-北京尧图网络

1. Anygrasp介绍AnyGrasp是上海交大非夕 Flexiv 联合实验室GraspNet 团队推出的通用 7DoF 视觉抓取算法工程 SDK2022 论文面向无序未知物体静态动态抓取是目前工业落地最主流的 6/7 自由度抓取开源方案常和 cuRobo 运动规划搭配使用视觉出抓取位姿→cuRobo 做机械臂避障轨迹。无需提前物体建模、物体 CAD、离线标定训练输入单目 RGB-D 点云直接输出夹爪可用7 自由度抓取位姿6D 位姿夹爪开合宽度与其他主流方法比较使用流程建议典型 pipeline获取 RGB-D 图像 → 生成点云运行 AnyGrasp → 得到多个候选抓取7DoF 位姿在相机系下手眼标定 → 将抓取位姿转到机器人基坐标系对抓取位姿进行后处理 → 选择最优抓取位姿位姿送入 cuRobo 运动规划 → 规划无碰撞路径执行抓取动作接近 → 闭合夹爪 → 提起使用 [AnyGrasp]它输入一帧 RGBD 数据以及相机内参输出一组相机坐标系下带分数的候选抓取位姿。AnyGrasp 的 SDK 需要申请 license。最直接的用法是离线跑一帧数据核心就是从深度图反投影出点云喂给模型from gsnet import AnyGrasp from graspnetAPI import GraspGroup anygrasp AnyGrasp(cfgs) anygrasp.load_net() # 从深度图反投影出点云 xmap, ymap np.meshgrid(np.arange(W), np.arange(H)) points_z depths / scale points_x (xmap - cx) / fx * points_z points_y (ymap - cy) / fy * points_z points np.stack([points_x, points_y, points_z], axis-1) mask (points_z 0) (points_z 1) points points[mask].astype(np.float32) colors colors[mask].astype(np.float32) # 检测抓取返回一个 GraspGroup gg, cloud anygrasp.get_grasp( points, colors, apply_object_maskTrue, collision_detectionTrue ) gg gg.nms().sort_by_score() # 非极大值抑制按分数排序 best_grasp gg[0] # 分数最高的抓取用服务的方式调用在实际的数据采集流水线里AnyGrasp 模型加载一次要占不少显存而且我们往往需要并行跑很多个 Isaac Sim 实例每个实例都自己加载一份模型既慢又浪费。所以更实用的做法是把AnyGrasp 包成一个 HTTP 服务模型常驻显存Isaac 这边作为客户端按需请求。from flask import Flask, request, jsonify app Flask(__name__) anygrasp AnyGrasp(cfgs) anygrasp.load_net() # 模型常驻 app.route(/process, methods[POST]) def process_data(): data request.get_json() colors np.array(data[colors], dtypenp.uint8) depths np.array(data[depths], dtypenp.uint16) # ... 反投影 get_grasp ... gg gg.nms().sort_by_score() grasp_list [{ translation: g.translation.tolist(), rotation_matrix: g.rotation_matrix.tolist(), depth: g.depth, score: g.score, } for g in gg] return jsonify({grasp_groups: grasp_list}), 200 app.run(host0.0.0.0, port5001)从相机系到世界系AnyGrasp 给出的抓取位姿是在相机坐标系下的而我们前面规划用的是世界坐标系所以又得做一次坐标变换。这里需要特别小心的是AnyGrasp / GraspNet 的相机坐标系约定和 Isaac Sim 的相机坐标系约定是不一样的中间需要插一个修正矩阵def get_world_grasp_from_camera_coords( camera_position, camera_quaternion, point_3d, matrix_grasp ): rotation_cam_to_world R.from_quat(camera_quaternion[[1, 2, 3, 0]]) # 这两个矩阵用来对齐 GraspNet 和 Isaac 的相机坐标系约定 transform_custom_pose np.array([[0, 0, 1], [0, -1, 0], [1, 0, 0]]) correction_matrix np.array([[1, 0, 0], [0, 0, -1], [0, 1, 0]]) point_in_world ( rotation_cam_to_world.as_matrix() correction_matrix transform_custom_pose point_3d camera_position ) rotation_world ( rotation_cam_to_world * R.from_matrix(correction_matrix transform_custom_pose) * R.from_matrix(matrix_grasp) * R.from_matrix(np.linalg.inv(transform_custom_pose)) ).as_quat()[[3, 0, 1, 2]] return point_in_world, rotation_world

Isaac Sim知识小解（9）：anygrasp生成抓取位姿

相关推荐

基于个人博客数据微调大模型，打造专属AI写作助手实战指南

VC++ MFC开发企业级MIS系统：现代重构与性能优化实战

ResNet残差网络：从网络退化到深度革命的核心原理与实战应用

更多资讯

锐评32个AI编程工具：Cursor估值逼近500亿美元登顶，谁在“夯”谁在“拉”？TaoToken统一Key接入实测

华为云Flexus+DeepSeek征文｜用 DeepSeek-R1 当裁判：Dify Agent 自动化回归测试流水线配置实战

基于LSTM的Python日志异常检测：从解析到部署实战

初探来会会OpenClaw这只虾：用TaoToken统一Key跑通Agent配置

小白程序员必看！收藏这份A2A大模型协作秘籍，用TaoToken统一Key轻松跑通AI Agent之间的“社交舞”

建业V8自动变速箱维修靠谱吗，技术实力怎么样

今日更新

BunnyScholar硕士论文跨章节检查：长文档双栏如何梳理因果链

维普标红教育学SEM量表怎么办：助研君修改与RMSEA指标复核

知网标红有限元仿真与网格划分怎么办：助研君按字修改与参数复核

本周精选

深入解析Transformer多头注意力机制与工程优化

OpenClaw 的 Skills 跑学习任务，模型通道改到 TaoToken 通道行不行？

ChatGPT报错Oops, an error occurred! 全链路排查指南

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？