系统为ubuntu14.04，python3.6（用的conda的虚拟环境）。
用scipy.misc的imread读取图片的时候，正常是读出一个array的矩阵来表示图片，但是却读出了一个array(<PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=870x1110 at 0x10BEC3F80>, dtype=object)的东西，因为大部分Python的关于矩阵的的图片读取都是基于PIL的，所以问题应该是处在了PIL无法正确读取jpg图像上，于是首先卸载了PIL（这里注意如果是py3以上的应该需要的安装包是Pillow而不用pil了），然后安装了libjpeg，再重装pil（或pillow）即可，事实证明不论py2或py3就用pillow就可以，放弃pil吧。
下面以pillow为例：
conda uninstall pillow
sudo apt-get install libjpeg62-dev
conda install pillow
这样应该能解决问题，用pip的直接把上面的conda换成pip就行了。