之前使用的是torch,由于其他人在caffe上面预训练了inception模型,需要使用caffe的inception模型进行微调。然后网上搜了一下如何将caffe模型load到torch里面。有两种方式(可直接跳转到3查看):
1.https://github.com/szagoruyko/loadcaffe
该网址的不需要安装caffe。应该是根据.prototxt来强制解析.caffemodel文件的吧(瞎猜的。)。这个安装比较简单,直接使用luarocks install loadcaffe就行(唯一的依赖就是protobuf:sudo apt-get install libprotobuf-dev protobuf-compiler),但是装完之后,用不了。仔细一看,该网址写着:Loading googlenet is supported by。应该就是不支持inception模型吧。
代码如下:
require 'loadcaffe'
model = loadcaffe.load('my inception.prototxt', ' my inception.caffemodel', 'nn')
torch.save("net.t7", model)
反正用的时候,提示如下:
说明:该网址提供了一些已经训练好的模型(下载不一定需要fq,但是从该网址打开对应的连接需要fq),使用训练好的模型是可以成功载入的。同时自动生成对应的lua文件,如my inception.prototxt.lua。使用torch.save后,会生成.t7文件。
2.该网址给出了如果使用inception模型的网址的链接(并未算作第二种方式):
https://github.com/soumith/inception.torch
但是该程序是直接读已经写好的lua文件,貌似并不能转caffe的inception。
ps:上面这个网址又给出了tensorflow转torch的V3的链接:
https://github.com/Moodstocks/inception-v3.torch
3.https://github.com/szagoruyko/torch-caffe-binding
这个网址给出的也是从.prototxt及.caffemodel来得到torch的模型。但是不会生成lua文件。使用该程序需要安装caffe。
1)由于使用的电脑已经安装了caffe,因而直接运行如下命令安装:
CAFFE_DIR=/*path-to-caffe-root*/ luarocks install caffe
如:
CAFFE_DIR=/usr/local/caffe luarocks install caffe
说明:
a.上面这个直接在终端里面一次性输入就行(开始在.bashrc文件中加入了CAFFE_DIR并重启了电脑。不清楚如果不加入CAFFE_DIR,程序能否运行)
b.此处为caffe的根目录,如下图,不用加上include目录。
因为CMakeLists.txt里面包含了需要的子文件夹:
c.中间碰到了一个问题,就是运行上面的命令后,提示如下:
error: #error This file was generated by a newer version of protoc which is
error: #error incompatible with your Protocol Buffer headers. Please update
截图如下:
https://github.com/BVLC/caffe/issues/19中有人建议需要更新Protocol Buffers,更新了之后,重新运行上面的命令,安装成功了。之前安装的版本未2.5.0,重新安装后的为2.6.1。
ps:参见下面网址:
http://www.linuxdiyf.com/linux/23425.html
2)直接使用训练好的模型:
require 'caffe'
net = caffe.Net('deploy.prototxt', 'bvlc_alexnet.caffemodel', 'test')
input = torch.FloatTensor(10,3,227,227)
output = net:forward(input)
gradOutput = torch.FloatTensor(10,1000,1,1)
gradInput = net:backward(input, gradOutput)
或者把训练好的模型嵌入到新的网络中:
require 'caffe'
model = nn.Sequential()
model:add(caffe.Net('deploy.prototxt', 'bvlc_alexnet.caffemodel', 'test'))
model:add(nn.Linear(1000,1))
ps:目前能成功载入caffe的inception模型,但是还不清楚能不能使用呢。
载入网上下载的模型,不会有Ignoring source layer的提示,如下:
载入其他人训练的模型,会提示Ignoring source layer XXX,如下:
更新:刚才和同事说了一下Ignoring的问题,他说是因为里面有些层没有,不用管这个。
pppppps:刚才碰到了很诡异的一件事:开始用着好好地,结果突然间就出错了,错误如下:
libcaffe.so.1.0.0-rc3: cannot open shared object file:No such file or directory
截图如下:
真的莫名其妙啊。即便只使用require "caffe",也还是报上面的错误。当时去找这个库,印象中在caffe安装目录/usr/local/caffe/build/lib里面找过,没找到,刚才一试,程序又可以了。又去了这个目录,这几个文件出现了:
我都准备用下面3种方法:
1. 用ln将需要的so文件链接到/usr/lib或者/lib这两个默认的目录下边
ln -s /where/you/install/lib/*.so /usr/lib
sudo ldconfig
2.修改LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/where/you/install/lib:$LD_LIBRARY_PATH
sudo ldconfig
3.修改/etc/ld.so.conf,然后刷新
vim /etc/ld.so.conf
add /where/you/install/lib
sudo ldconfig
去重新链接了。但是重新链接也需要有那个文件才行啊。结果出现这些文件之后,直接运行程序,又可以了。