TuChong_Spider
偶然的机会在抖音看到这个APP,发现有很多高质量的手机壁纸和图片,对于一个爬虫初学者,这就非常美滋滋了,好多欧美小姐姐啊,哎嘿嘿….
图虫网共享图库爬虫, 通过抓取Ajax获取图片ID进行图片保存
爬取网站:
爬取结果
运行环境:
Python 3.5+Windows 10VSCode
如何使用
下载项目源码
/cexll/tuchong_Spider.git
安装依赖
$ pip install -r requirements.txt
运行项目
$ python spider.py输入想要搜索的内容: 少女获取图片ID.....解析imageID存在ID,解析解析HTML图片URL...准备下载... ///weili/l/199813*************89.jpg下载成功----------------------拼接url访问网页解析HTML图片URL...准备下载... ///weili/l/189***********417.jpg下载成功----------------------拼接url访问网页解析HTML图片URL...准备下载... ///weili/l/1**************25.png拼接url访问网页解析HTML图片URL...准备下载... ///weili/l/2***********62820.jpg拼接url访问网页解析HTML图片URL...准备下载... ///weili/l/************2.jpg拼接url访问网页...
图片链接我就大码了,免得被打….
思路(前方高能,请流量党注意)
首先爬取一个网页,第一步,先打开这个网页(/滑稽,,,,
打开之后,先看看怎么搜索图片,下载图片的..
嗯~~,好看山山水水…(我是来干嘛的….
回到正题~
打开开发者工具(F12 或者右键 ,然后刷新
然后看一看有没有什么有用的东西….好像仔细找了找是没有发现什么有用的…怎么办呢?
好像真找不到了,怎么办?
网页往下翻一翻,,,,,
图片中间出现了个奸细….这就是我们需要的东西,,但是打开发现不对啊,怎么没有图片下载的链接??
哎,别慌,先去网页打开一个图片看看是什么结构的…
到这里我们发现了,网页url链接有个imageID=这东西,好像和之前找到个奸细内容是一样的,,,打开后发现的确是一样的
那么整体的结构就清楚了,先把刚才的奸细链接打开看看是什么
密集恐惧症都犯了,….仔细看了看,发现最开始都有imageID,那么思路就有了
通过访问奸细的链接得到每一页的imageID,在用/free/image/?+imageID就可以访问到图片了,好一气呵成
代码
总结
抓取所有的网页都是类似的思路,首先先通过人的逻辑去找到数据,在通过代码去得到,不要一来就上手代码,
细心的朋友肯定发现了,我们抓的是免费图库里的图片,是的,至于为什么不抓优选图库,高端图库,1是我也是才发现他们不一样,2是别人赚钱的生意我就这样发出来了万一被抓了怎么办….
有能力的可以自己去琢磨一下,我上次看了一下imageID这次是保存在HTML里面的,有点类似今日头条的
项目地址: /cexll/tuchong_Spider
