Linux 很厉害,你可以不用微软的系统,可以避开苹果的硬件,但是惟独避不开 Linux ,因为它无处不在。
本文将告诉你一个简单的办法,让Linux支持一行代码调用一个爬虫,下载数万张美女图片,是不是很激动呢!
请在磁盘空间足够充足,身体状态良好的情况下执行,谢谢配合!代码的内容就是:
curl -s https://code.csdn.net/snippets/1938671/master/spider.sh/raw | bash -s
执行 shell 爬虫之后,等待一会儿就可以验收一下了,查看jpg目录下面,就是Linux shell 爬虫抓取来的图片信息。我现在已经有了两万多张了,还在继续下载中!
Git代码地址:
https://code.csdn.net/snippets/1938671
下面给大家分析下具体的原理:
本次抓取完整代码其实是三行,分别代表三个步骤:
1.获取图片集合列表
2.解析列表,获取图片地址
3.下载图片
当然也就是对应了图片里面的1,2,3行了。
这次抓取的效果非常的好,真是让人感叹Linux Shell 的力量之强大。