红联Linux门户
Linux帮助

厉害了我的Linux:短小精悍的Shell图片爬虫

发布时间:2016-10-20 22:32:42来源:toutiao.com作者:IT老司机
厉害了我的Linux:短小精悍的Shell图片爬虫
 
Linux 很厉害,你可以不用微软的系统,可以避开苹果的硬件,但是惟独避不开 Linux ,因为它无处不在。
本文将告诉你一个简单的办法,让Linux支持一行代码调用一个爬虫,下载数万张美女图片,是不是很激动呢!
 
请在磁盘空间足够充足,身体状态良好的情况下执行,谢谢配合!代码的内容就是:
curl -s https://code.csdn.net/snippets/1938671/master/spider.sh/raw | bash -s
 
执行 shell 爬虫之后,等待一会儿就可以验收一下了,查看jpg目录下面,就是Linux shell 爬虫抓取来的图片信息。我现在已经有了两万多张了,还在继续下载中!
厉害了我的Linux:短小精悍的Shell图片爬虫
 
Git代码地址:
https://code.csdn.net/snippets/1938671
 
下面给大家分析下具体的原理:
本次抓取完整代码其实是三行,分别代表三个步骤:
1.获取图片集合列表
2.解析列表,获取图片地址
3.下载图片
 
当然也就是对应了图片里面的1,2,3行了。
厉害了我的Linux:短小精悍的Shell图片爬虫
这次抓取的效果非常的好,真是让人感叹Linux Shell 的力量之强大。
 
本文永久更新地址:http://www.linuxdiyf.com/linux/25225.html