Python代码简单几步完成爬虫

进入互联网时代，网络上充斥着各种各样的信息，鱼龙混杂，要是人工分辨工作效率又非常低，那么如何才能实现快速检索我们需要的信息呢 ？例如如何通过爬虫实现美图批量下载，如何通过多线程实现快速爬虫 ？下面我们一起来了解下吧。

之前我只是利用单线程爬取的项目，那种太多单一，而且工作效率太慢，只得考虑多线程。

知识点：认识和了解爬虫、爬虫思路、urllib.parse、jsonpath库

环境：windows、pycharm、python3

第三方库：

requests、jsonpath


导入模块

import urllib.parse
import json
import requests
import jsonpath


确定目标网址

url = 'https://www.duitang.com/napi/blog/list/by_search/?kw={}&start={}'


分析网站，确定爬取目标

label = '美女'
label = urllib.parse.quote(label)


发送请求，提取数据

num = 0
for index in range(0,2400,24):
    u = url.format(label,index)
    we_data = requests.get(u).text


类型转换

html = json.loads(we_data)
    photo = jsonpath.jsonpath(html,"$..path")


保存数据

登录后复制 
for i in photo:
        a = requests.get(i)
        with open(r'C:\Users\Administrator\Desktop\tupian\{}.jpg'.format(num),'wb') as f:
            f.write(a.content)  # 二进制
        num += 1


运行代码，效果如下图：


 

时间:2023-01-03 22:45:32