Scrapy是一个开源的机遇twisted框架的python的单机爬虫，该爬虫实际上包含大多数网页抓取的工具包，用于爬虫下载端以及抽取端。
CentOS 6.4 安装搭建 Scrapy 0.22 环境过程记录，希望对大家有所帮助。
一、安装Python2.7.6
1.更新CentOS lib库文件
yum -y update
2.安装开发工具包
yum groupinstall -y development
3.安装扩展包
yum install -y zlib-dev openssl-devel sqlite-devel bzip2-devel
4.下载Python2.7.6
wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tar.xz
5.解压Python2.7.6
tar -xvf Python-2.7.6.tar.xz
6.进入Python2.7.6目录
cd Python-2.7.6
7.编译安装Python2.7.6
./configure
make && make altinstall
二、解决Yum不支持Python2.7的问题
1.将老的Python程序进行备份
mv /usr/bin/python /usr/bin/python2.6.6
2.建立新的Python链接
ln -s /usr/local/bin/python2.7 /usr/bin/python
3.修改/usr/bin/yum文件
vi /usr/bin/yum
将第一行的 #!/usr/bin/python 改为 #!/usr/bin/python2.6.6
三、安装setuptools 和 pip
1.下载setuptools
wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-1.4.2.tar.gz
2.解压setuptools
tar -xvf setuptools-1.4.2.tar.gz
3.进入setuptools目录
cd setuptools-1.4.2
4.通过已安装的Python2.7.6安装setuptools
python setup.py install
5.安装 pip
easy_install pip
6.curl https://raw.github.com/pypa/pip/master/contrib/get-pip.py | python2.7 -
四、安装libxslt-devel支持lxml
yum install libxslt-devel
五、安装Scrapy
pip install scrapy
如何在Ubuntu 14.04 LTS安装网络爬虫工具：Scrapy：http://www.linuxdiyf.com/linux/9985.html