Python爬虫:抓取多级页面数据

前面讲解的爬虫案例都是单级页面数据抓取,但有些时候,只抓取一个单级页面是无法完成数据提取的。本节讲解如何使用爬虫抓取多级页面的数据。

在爬虫的过程中,多级页面抓取是经常遇见的。下面以抓取二级页面为例,对每级页面的作用进行说明:

  • 一级页面提供了获取二级页面的访问链接。
  • 二级页面作为详情页用来提取所需数据。

一级页面以<a>标签的形式链接到二级页面,只有在二级页面才可以提取到所需数据。

多级页面分析

下面以电影天堂2020 新片精品为案例进行讲解,将每部影片的名称,以及下载链接抓取下来。首先点击“更多”进入一级页面,如下图所示:


图1:Python爬虫多级页面抓取

1) 寻找url规律

通过简单分析可以得知一级与二级页面均为静态页面,接下来分析 url 规律,通过点击第 1 页,第 2 页 …,其规律如下:

**

第1页 :https://www.dytt8.net/html/gndy/dyzz/list_23_1.html
第2页 :https://www.dytt8.net/html/gndy/dyzz/list_23_2.html
第n页 :https://www.dytt8.net/html/gndy/dyzz/list_23_n.html

2) 确定正则表达式

通过元素审查可知一级页面的元素结构如下:


图2:页面元素分析

其正则表达式如下:

**

 <table width="100%".*?<td width="5%".*?<a href="(.*?)".*?ulink">.*?</table>

点击二级页面进入详情页,通过开发者工具分析想要数据的网页元素,即电影名称,和下载链接,其正则表达式如下:

**

<div class="title_all"><h1><font color=#07519a>(.*?)</font></h1></div>.*?<div><a href="(.*?)">.*?</a>

爬虫增量抓取

爬虫是一种效率很低的程序,非常消耗计算机资源。对于聚焦爬虫程序而言,需要每天对特定的网站进行数据抓取,如果每次都去抓取之前已经抓取过的数据,就会白白消耗了时间和资源。而增量爬虫是指通过监测网站更新的情况,只抓取最新数据的一种方式,这样就大大降低了资源的消耗。

对于本节案例来说,电影天堂网站每天都会更新内容,因此编写一个增量抓取的爬虫程序是非常合适的。

那么要如何判断爬虫程序是否已抓取过二级页面的 url 呢?其实,当您第一次运行爬虫程序时,爬虫会将所有的 url 抓取下来,然后将这些 url 放入数据库中。为了提高数据库的查询效率,您可以为每一个 url 生成专属的“指纹”。当网站更新后,第二次运行爬虫程序时,程序只会对数据库中不存在的指纹进行抓取。

程序代码实现

1) 建库建表

将抓取的数据的存放至 MySQL 数据库,需要先进行建库建表操作。注意,这里需要将 url 指纹单独存放在一张表中,如下所示:

  1. create database movieskydb charset utf8;
  2. use movieskydb;
  3. create table request_finger(
  4. finger char(60)
  5. )charset=utf8;
  6. create table movieinfo(
  7. moviename varchar(300),
  8. downloadaddr varchar(600)
  9. )charset=utf8;

2) url指纹生成

您可以使用 Python 内置模块 md5 来生成加密“指纹”,如下所示。

  1. #导入模块
  2. from hashlib import md5
  3. #待加密的url
  4. url=“https://www.dytt8.net/html/gndy/dyzz/20210226/61131.html”
  5. 生成MD5对象

  6. secret = md5()
  7. 加密url

  8. secret.update(url.encode())
  9. 提取十六进制的加密串

  10. finger = secret.hexdigest()
  11. print(finger)

输出结果:

**

2d5e46ee52756e8ae59c9ba42230b883

3) 程序完整代码

  1. – coding: utf-8 –

  2. from urllib import request
  3. import re
  4. import time
  5. import random
  6. import pymysql
  7. from hashlib import md5
  8. from ua_info import ua_list
  9. import sys
  10. class MovieSkySpider(object):
  11. def init(self):
  12. self.url = ‘https://www.dytt8.net/html/gndy/dyzz/list_23_{}.html’
  13. self.db = pymysql.connect(
  14. ‘localhost’,‘root’,‘123456’,‘movieskydb’,
  15. charset=‘utf8’
  16. )
  17. self.cursor = self.db.cursor()
  18. 1.请求函数

  19. def get_html(self, url):
  20. headers = {‘User-Agent’: random.choice(ua_list)}
  21. req = request.Request(url=url, headers=headers)
  22. res = request.urlopen(req)
  23. 本网站使用gb2312的编码格式

  24. html = res.read().decode(‘gb2312’, ‘ignore’)
  25. return html
  26. 2.正则解析函数

  27. def re_func(self,re_bds,html):
  28. pattern = re.compile(re_bds,re.S)
  29. r_list = pattern.findall(html)
  30. return r_list
  31. 3.提取数据函数

  32. def parse_html(self,one_url):
  33. 调用请求函数,获取一级页面

  34. one_html = self.get_html(one_url)
  35. re_bds = ‘<table width=“100%”.?<td width=“5%”.?<a href=“(.?)”.?ulink”>.*?’
  36. 获取二级页面链接

  37. link_list: [‘/html//html/gndy/dyzz/20210226/61131.html’,‘/html/xxx’,‘’,‘’]

  38. link_list = self.re_func(re_bds,one_html)
  39. for link in link_list:
  40. 判断是否需要爬取此链接

  41. 1.获取指纹

  42. 拼接二级页面url

  43. two_url = ‘https://www.dytt8.net’ + link
  44. s = md5()
  45. #加密url,需要是字节串
  46. s.update(two_url.encode())
  47. 生成指纹,获取十六进制加密字符串,

  48. finger = s.hexdigest()
  49. 2.通过函数判断指纹在数据库中是否存在

  50. if self.is_hold_on(finger):
  51. 抓取二级页面数据

  52. self.save_html(two_url)
  53. time.sleep(random.randint(1,2))
  54. 抓取后,把想用的url专属指纹存入数据库

  55. ins = ‘insert into request_finger values (%s)’
  56. self.cursor.execute(ins,[finger])
  57. self.db.commit()
  58. else:
  59. sys.exit(‘更新完成’)
  60. 4.判断链接是否已经抓取过

  61. def is_hold_on(self,finger):
  62. 查询数据库

  63. sql=‘select finger from request_finger where finger=%s’
  64. execute()函数返回值为受影响的行数(即0或者非0)

  65. r = self.cursor.execute(sql,[finger])
  66. 如果为0表示没有抓取过

  67. if not r:
  68. return True
  69. 5.解析二级页面,获取数据(名称与下载链接)

  70. def save_html(self,two_url):
  71. two_html = self.get_html(two_url)
  72. re_bds = ‘

    (.*?)

    \
  73. .*?

若要查询数据库存储数据,执行以下命令即可:

  1. mysql> select * from movieinfo\G

输出如下,如下图所示:


图3:MySQL数据库存储数据

在二级页面提取数据时要注意该页面的类型。该网站在二级页面使用了两种类型的网页结构,另外一种页面结构的正则表达式如下所示:

**

<div class="title_all"><h1><font color=#07519a>(.*?)</font></h1></div>.*?<td style="WORD-WRAP.*?>.*?>(.*?)</a> 

若要抓取此类页面的数据,需要更换二级页面正则表达式。

零基础Python学习资源介绍

👉Python学习路线汇总👈

温馨提示:篇幅有限,已打包文件夹获取方式在:点击这里【 Python全套资料】 即可获取。

image.png

👉Python必备开发工具👈

image.png

温馨提示:篇幅有限,已打包文件夹获取方式在:点击这里【 Python全套资料】 即可获取。

👉Python学习视频600合集👈

image.png
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

👉实战案例👈

image.png

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

👉100道Python练习题👈检查学习结果。

image.png

👉面试刷题👈

image.png

温馨提示:篇幅有限,已打包文件夹获取方式在:点击这里【 Python全套资料】 即可获取。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
扎眼的阳光的头像扎眼的阳光普通用户
上一篇 2023年5月20日
下一篇 2023年5月21日

相关推荐