红联Linux门户
Linux帮助

Ubuntu16中编译caffe

发布时间:2016-10-12 11:12:57来源:cnblogs.com/darkknightzh作者:darkknightzh
1.必须的依赖:Boost >= 1.55,CUDA,BLAS
看一下自己的CUDA安装在哪个目录下了。Makefile.config默认CUDA_DIR := /usr/local/cuda
依赖库:protobuf, glog, gflags, hdf5。安装:
sudo apt-get install libgflags-dev
sudo apt-get install libgoogle-glog-dev
sudo apt-get install libhdf5-serial-dev
BLAS可以使用atlas,mkl或者openblas。atlas是caffe默认选择的。mkl和openblas性能更好。安装atlas:
sudo apt-get install libatlas-base-dev
 
2.可选的:OpenCV >= 2.4 including 3.0(默认使用2.4。如果想不使用,则将Makefile.config中11行取消注释;如果使用opencv3,将Makefile.config中21行取消注释)
IO库:lmdb(默认使用。如果想不使用,则将Makefile.config中13行取消注释)、leveldb (note: leveldb requires snappy;默认使用。如果想不使用,则将Makefile.config中12行取消注释)
pip install lmdb(可能需要先安装pip:sudo apt install python-pip)
cuDNN:见http://www.linuxdiyf.com/linux/24945.html中步骤1-3。
 
3.如果只使用cpu的话,将Makefile.config中的CPU_ONLY := 1取消注释。
使用cuDNN的话,取消注释Makefile.config中的USE_CUDNN := 1。
使用mkl的话,设置Makefile.config中BLAS := mkl
使用openblas的话,设置Makefile.config中BLAS := open
说明:装完依赖的库之后,最好重启一下(比如装完boost,重启一下),因为装完boost没有重启,然后make all时能通过了。
此处make all和make test都通过了,但是make runtest会提示libboost_system未定义(实际上装的是中文的ubuntu,因而显示信息时未定义。但是开始没截图。现在成功了,没法截图了。只能找一个英文的信息贴这里。):
undefined reference to `boost::system::generic_category()'
 
4.编译caffe:终端中输入如下命令:
cp Makefile.config.example Makefile.config
# Adjust Makefile.config (for example, if using Anaconda Python, or if cuDNN is desired)
make all
make test
make runtest
如果想用多线程编译,使用make all -j8,其中8为并行的线程数。
 
更新1:
1) 如果想在python和matlab中使用caffe,首先在Makefile.config中设置python和matlab的路径PYTHON_INCLUDE(64行)和MATLAB_DIR(59行),而后分别运行如下命令:
make pycaffe
make matcaffe
说明:(1) 对于python,官网推荐使用Anaconda。
(2) 为了在make pycaffe后,在python中能成功import caffe,需要将模块的路径添加到$PYTHONPATH中,命令如下:
export PYTHONPATH=/path/to/caffe/python:$PYTHONPATH
不能将caffe/python/caffe导入到$PYTHONPATH中。
(3)目前的caffe兼容matlab 2015a, 2014a/b, 2013a/b, and 2012b.
2) 使用如下命令创建一个distribute,可将所有的caffe头文件,编译后的库文件及二进制文件置于对应的文件夹内,方便将该distribute拷贝到其他电脑上面。使用该命令后,会在caffe根目录下创建一个distribute文件夹,里面包含bin、include、lib、proto、python等文件夹。
make distribute
 
更新2:
对于上面1)(2)中PYTHONPATH路径,实际上导入的是caffe/python路径,由于该文件夹内还有caffe文件夹,所以说不能导入caffe/python/caffe文件夹,比如可以导入:
export PYTHONPATH=/home/xxx/caffe-master/python:$PYTHONPATH
下面的导入则是错误的:
export PYTHONPATH=/home/xxx/caffe-master/python/caffe:$PYTHONPATH
或者干脆更省事的方法,直接打开.bashrc文件,位于/home/xxx/.bashrc,然后在最后添加上上面正确的语句。之后将终端定位到/home/xxx内,输入source .bashrc,使bashrc生效。再在终端中输入python后,输入import python就能成功。
最终编译完成后的截图:
Ubuntu16中编译caffe
ps:使用cmake编译(CMake version >= 2.8.7):
首先定位到caffe文件夹内。之后:
mkdir build
cd build
cmake ..
make all
make install
make runtest
说明:使用cmake编译没成功。总是有问题。最终又回到了make编译。
 
5.将caffe的头文件拷贝到系统目录下:
sudo cp -a build/lib /usr
sudo cp –a include /usr
刚才很奇怪,用第二句就一直提示:
cp: 无法获取'–a' 的文件状态(stat): 没有那个文件或目录
cp: 略过目录'include'
之后第二句开始的include改成了绝对路径,就可以了。(关键的在另一台电脑上,第二句是可以用的):
sudo cp -a /home/XXX/caffe-master/include /usr
 
6.遇到的问题:
1)fatal error: hdf5.h: 没有那个文件或目录”解决方法
在Makefile.config文件的第90行,添加/usr/include/hdf5/serial/ 到 INCLUDE_DIRS。
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
在Makefile文件的第181行,把 hdf5_hl 和hdf5修改为hdf5_serial_hl 和 hdf5_serial。
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
2)/usr/local/cuda/bin/nvcc:命令未找到:
在Makefile.config的第28行内容从CUDA_DIR := /usr/local/cuda修改为(我这边nvcc所在位置为/usr/lib/nvidia-cuda-toolkit/bin/nvcc):
CUDA_DIR := /usr/lib/nvidia-cuda-toolkit
3)error: ‘memcpy’ was not declared in this scope
return (char *) memcpy (__dest, __src, __n) + __n;
Makefile中409行,增加-D_FORCE_INLINES:
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
4)直接使用make all,提示下面的内容。
Ubuntu16中编译caffe
网上说是protobuf 版本不一致。重新装了最新版的protobuf,然后用make all,还是会提示上面的内容。此时显示所有文件夹的话,实际上在caffe根目录下有.build_release的目录,里面就有caffe.pb.cc。
用make clean,提示权限不足(caffe放在了usr/local目录下),然后使用sudo make clean(如果是在home的路径下,应该不需要sudo的),成功清除了.build_release里面的文件。之后再make all,就不会有上面的提示了。
 
本文永久更新地址:http://www.linuxdiyf.com/linux/24961.html