【深度学习】PointSIFT尝鲜-北京尧图网络

之前也做过点云处理但用的都是传统的方法比如说进行平面拟和有很老的region grow random seed或者利用层次聚类进行计算对应法线之类的这个PointSIFT首先比较吸引LZ的是好多公众号都在报导在Scannet数据集上效果非常好。二来也有一定时间没接触深度学习了tensorflow之类的了找一个开源的代码读读回忆回忆。有可能再修改改贴出具体论文的信息论文PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation论文作者Mingyang Jiang、Yiran Wu、Cewu Lu 通讯作者阅读论文arXiv:1807.00652, 2018https://arxiv.org/abs/1807.00652论文主页http://www.mvig.org/publications/pointSIFT.html代码链接https://github.com/MVIG-SJTU/pointSIFT放张论文的效果图先吸引下眼球首先要进行安装基本的环境得有啊看到PointSIFT不禁吸了一口气怕是没有GPU是扛不住了。。。有些README.md有的 LZ就直接粘贴了但是有不一致的地方LZ也会进行补充说明的好久没用tensorflow了好激动O(∩_∩)O哈哈~InstallationIn our experiment, All the codes are tested in Python3.5(If you use Python 2.7, please add some system paths), CUDA 8.0 and CUDNN 5.1. 之前运气很好配置的环境基本都是相同的。正常的安装CUDA 8.0和CUDA 5.1这个是基本配置啦好多博客都有介绍LZ就不再赘述了。唯一不同的是LZ使用的是Python2.7版本的。因为在跑程序所以内存用的比较多Install TensorFlow (We use v1.4.1).安装tensorflow这个很简单因为LZ是python2.7还是习惯使用1.2.0版本的所以安装的是1.2.0.具体的显示如图sudo pip install tensorflow-gpu1.2.0可能会报如下的问题Could not find any downloads that satisfy the requirement tensorflow这个很方便解决的update一下对应的pippip install -U pipInstall other python libraries likeh5py这个看着安装就行缺什么sudo pip install就行了Compile TF operator (Similar to PointNet). Firstly, you should find Tensorflow include path and library paths.importtensorflowastf# include pathprint(tf.sysconfig.get_include())# library pathprint(tf.sysconfig.get_lib())这个主要是查找一下你的机器上tensorflow的路径的。Then, change the path in all the complie file, liketf_utils/tf_ops/sampling/tf_sampling_compile.shFinally, compile the source file, we use tf_sampling as example.cdtf_utils/tf_ops/samplingchmodx tf_sampling_compile.sh ./tf_sampling_compile.sh然后对应改就行了查一下有多少个*.sh,把里面对应的tensorflow的路径改一下就行了这里贴出其中一个tf_sampling_compile.sh#/bin/bash /usr/local/cuda-8.0/bin/nvcc tf_sampling_g.cu -o tf_sampling_g.cu.o -c -O2 -DGOOGLE_CUDA1 -x cu -Xcompiler -fPIC # TF1.2 g -stdc11 tf_sampling.cpp tf_sampling_g.cu.o -o tf_sampling_so.so -shared -fPIC -I /usr/local/lib/python2.7/dist-packages/tensorflow/include -I /usr/local/cuda-8.0/include -lcudart -L /usr/local/cuda-8.0/lib64/ -O2 -D_GLIBCXX_USE_CXX11_ABI0 # TF1.4 #g -stdc11 tf_sampling.cpp tf_sampling_g.cu.o -o tf_sampling_so.so -shared -fPIC -I /home/jmydurant/anaconda3/envs/pointsift/lib/python3.5/site-packages/tensorflow/include -I /usr/local/cuda-8.0/include -I /home/jmydurant/anaconda3/envs/pointsift/lib/python3.5/site-packages/tensorflow/include/external/nsync/public -lcudart -L /usr/local/cuda-8.0/lib64/ -L/home/jmydurant/anaconda3/envs/pointsift/lib/python3.5/site-packages/tensorflow -ltensorflow_framework -O2 -D_GLIBCXX_USE_CXX11_ABI0在运行./*.sh如果报找不到tensorflow的头文件的时候就要考虑一下你的路径写对了O(∩_∩)O哈哈~如报如下的错误tf_grouping.cpp:6:42: fatal error: tensorflow/core/framework/op.h: No such file or directory #include tensorflow/core/framework/op.h全部完成后就可以进行使用了UsageIf you want use our model in your own project. After compiling the TF operator, you can import it easily. Here shows a simple case.(we takebatch_size * num_point * input_dimas input and getbatch_size * num_point * output_dimas output)importtensorflowastf# import our modulefromtf_utils.pointSIFT_utilimportpointSIFT_module# input coordinatesxyztf.tf.placeholder(tf.float32,shape(batch_size,num_point,3))# input featurespoint_featuretf.tf.placeholder(tf.float32,shape(batch_size,num_point,input_dim)# setting phasesis_trainingtf.placeholder(dtypetf.bool,shape())# setting searching radius (0.1 as an example)radius0.1_,out_feature,_pointSIFT_module(xyz,point_feature,radius,output_dim,is_training)LZ暂时还没想好使用这个既然给出了在ScanNet上的train_and_eval_scannet.py那就试一下吧Training and evaluating on ScanNetAll the data can be download from here. They are the same as PointNet.下载对应的数据集比起图片动辄几十个G1.8G对网速的要求还是很仁慈的。解压后如下图所示Train the data:python train_and_eval_scannet.pyIf you have multiple GPU:CUDA_VISIBLE_DEVICES0,1,2,3 python train_and_eval_scannet.py--gpu_num4其实在运行上述脚本还是会出现各种问题No module named tf_utils.provider认真的嘛认真真的会报错LZ估计刚开始这些代码是在一个文件夹下的后来代码公布总得整齐点让小伙伴们也好知道每块代码的作用所以分到不同的文件夹下但是却没有加一个__init__py的文件所以导致tf_utils.provider这个模块没法找到。LZ不会说自己傻傻的一直在pip中找这个模块后来恍然大悟这模块自己文件夹里就有啊( ⊙ o ⊙ )啊Couldn’t import dot_parser, loading of dot files will not be possible.这个是pyparsing和pydot版本不兼容的问题直接卸载了重新安装一下就行//卸载 sudo pip uninstall pyparsing sudo pip uninstall pydot //安装 sudo pip install pyparsing sudo pip install pydot还有有TypeError: load() got an unexpected keyword argument ‘encoding’修改部分python代码修改部分如下import cPickle as pickle #self.scene_points_list pickle.load(fp, encodingbytes) #self.semantic_labels_list pickle.load(fp, encodingbytes) self.scene_points_list pickle.load(fp) self.semantic_labels_list pickle.load(fp)然后就应该没有了至少ScanNet的training和Evaluation是可以跑通的了Resource exhausted: OOM when allocating tensor with shape[32,1024,8,256]报这个错误字面上就可以理解资源耗尽把batch size改小点就行了电脑跑了一下午还在训练中没法给效果啦(≧▽≦)/啦啦啦参考博客1.https://stackoverflow.com/questions/15951748/pydot-and-graphviz-error-couldnt-import-dot-parser-loading-of-dot-files-will2.https://blog.csdn.net/csdn_lisword/article/details/555067653.https://stackoverflow.com/questions/43895013/pickle-loading-cifar-100-data4.https://blog.csdn.net/zsg2063/article/details/74332487

【深度学习】PointSIFT尝鲜

相关推荐

Gemini 4 Argon 深度解析：Android 开发者的端侧推理与多模态实战

DeepAgents插槽化设计：Agent的模型、工具、记忆等五大扩展点解析

数学建模竞赛实战：学生面试问题的组合优化建模与算法解析

更多资讯

MachineY Engine：两分钟在Windows上搭建AI Agent运行环境

微信小程序+云开发：校园二手交易平台源码设计与实战

AI驱动商业智能落地指南：从数据治理到决策闭环

专科生降AIGC实测：10个工具让AI辅助写作更像自己写的

基于Matlab的UPFC统一潮流控制器仿真建模与调参实战

eNSP综合组网实验：VLAN、单臂路由与静态路由全流程

今日更新

电商智能运营体系从0到1：架构设计、落地步骤与避坑指南

压缩空气储能与热网热惯性联合优化调度：热电联产系统建模与求解

若依框架AI代码生成不稳定？用Agent Skill三层结构+五步法搞定

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？