目录

前言

    📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

🚀对毕设有任何疑问都可以问学长哦!

选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277

大家好,这里是海浪学长毕设专题,本次分享的课题是

🎯国内疫情数据综合可视化分析系统

课题背景和意义

自从２０２０年新型冠状病毒肺炎疫情发生后，人 们对疫情情况非常关注。大数据背景下，网络时刻 产生海量疫情方面数据，这些数据只有被合理解读 与展示，民众才能更好了解真实情况。借助网络爬虫技术和 Ｅｃｈａｒｔｓ技 术，再通过爬虫从网上获取到 每日疫情的 各 项 权 威 数 据，清 洗、转 化 和 挖 掘 后 通 过 Ｅｃｈａｒｔｓ整理成各种可视化统计 图［１］，以 及 每 日 热点搜图等以多种多样的可视化形式呈现在人们 面前。通过疫情可视化页面，使人们能实时快速直 观地了解疫情发展情况以及每日疫情感染人数的 增长、治愈及死亡情况。全球防疫形势依然非常严 峻，对疫情预防和控制仍然是当今全球共同使命,通过可视化系统及时准确评估疫情传播、根据每日 疫情数据了解疫情的情况，从 而 分 析 疫 情 发 展 趋 势，这对于政府制定防控措施有着重要意义。因此， 文中提出一种基于网络爬行器来监控疫情数据的方 法，通过Ｐｙｔｈｏｎ爬取疫情数据，显示疫情发生的实时 状态，实现数据可视化，让人们看到世界疫情的实时 数据以及疫情在中国的状态，以便做好必要的预防。

实现技术思路

网络数据爬取

如果把互联网比作一张大的蜘蛛网，数据便是 存放于 蜘 蛛 网 的 各 个 节 点，而 爬 虫 就 是 一 只 小 蜘 蛛。爬虫沿着网络抓取自己的猎物（数据）指的是 向网站 发 起 请 求，获取资源后分析并提 取有用数 据。从技术 层 面 来 说 就 是 通 过 程 序 模 拟 浏 览 器 请 求站点的 行 为，把 站 点 返 回 的 ＨＴＭＬ 代 码／ＪＳＯＮ 数据／二进制数据（图片、视频）爬到本地，进而提取 自己需要的数据，存放起来使用［８］。用户获取 网 络 数据的方 式：１）浏 览 器 提 交 请 求 下 载 网 页 代 —→ 码 解析成页 面 —→ ；２）模 拟 浏 览 器 发 送 请 求（获 取 网页代码）—→提取有用的数据 存放于数据库 —→ 或文件中。

 １）发起请求。使用 ＨＴＴＰ 库 向 目 标 站 点 发 起 请求，即 发 送 一 个 Ｒｅｑｕｅｓｔ。Ｒｅｑｕｅｓｔ包 含 请 求 头、 请求体等。Ｒｅｑｕｅｓｔ模块缺陷：不能执行ＪＳ和 ＣＳＳ 代码。

２）获取响应内容。如果服务器能正常响应，则 会得到 一 个 Ｒｅｓｐｏｎｓｅ。Ｒｅｓｐｏｎｓｅ包 含 ｈｔｍｌ、ｊｓｏｎ、 图片、视频等。

３）解析内容。解析ｈｔｍｌ数据：正则表达式（ＲＥ 模块）、第三方解析库如 Ｂｅａｕｔｉｆｕｌｓｏｕｐ、Ｐｙｑｕｅｒｙ等； 解析ｊｓｏｎ数据：ｊｓｏｎ模 块；解 析 二 进 制 数 据：以 ｗｂ 的方式写入文件。

４）数据筛选过滤，包括数据抽取、数据清理、数 据加载三部分。

５）保 存 数 据。使 用 数 据 库 ＭｙＳＱＬ、Ｍｏｎｇｄｂ、 Ｒｅｄｉｓ保存文件。

数据可视化

数据可视 化 指 的 是 将 数 据 用 统 计 图 表 方 式 呈现。数据可视化起源于２０世纪６０年代计算机图形 学，人们使用 计 算 机 创 建 图 形 图 表，可 视 化 提 取 数 据，将数据的各种属性和变量呈现出来，例 如 饼 图、直方 图、散 点 图、柱 状 图 等 是 最 原 始 的 统 计 图 表，它们是数据可视化最基础和常见的应用。 数据可视化的开发和大部分项目开发一样，也是 根据需求来确定数据维度或属性而进行筛选。有的 可视化目标是为了观测、跟踪数据；有的为了分析数 据；有的为了发现数据之间的潜在关联；还有的制作 成海报、课件被用于宣传。数据可视化的应用价 值是能洞察世界的究竟，发现形形色色的关系，还能 理解其他形式下不易发掘的事物。

１）导入 Ｐｙｔｈｏｎ库，ｒｅｑｕｅｓｔｓ是简单易用的 Ｐｙ－ ｔｈｏｎ实现的 ＨＴＴＰ库，ｒｅｑｕｅｓｔｓ．ｇｅｔ（）用于请求具 有 ＨＴＴＰｒｅｓｐｏｎｓｅ类型的目标网站，是一个用来生 成 Ｅｃｈａｒｔｓ图表的类库。映射函数主要用于显示地 理区域数据。

２）目 标 网 站 来 自 腾 讯 新 闻 ｈｔｔｐｓ：／／ｖｉｅｗ．ｉｎ－ ｅｗｓ．ｑｑ．ｃｏｍ／ｇ２／ｇｅｔＯｎｓＩｎｆｏ？ｎａｍｅ＝ｄｉｓｅａｓｅ＿ｈ５。

３）发送网络请求。

４）数据提取转换类型：Ｊｓｏｎ类型转换为Ｄｉｃｔ类型。

５）从每 一 个 省 中 提 取 疫 情 数 据，包 括 省 名、 诊断人数、死亡人数、报告日期等，并将其分类保存 到数组。

６）将数据按照绘图模块的格式要求打包数组。

７）利用 Ｅｃｈａｒｔｓ模块绘制中国疫情地图数据。

８）疫情数据生成 ＨＴＭＬ 网页和Ｊｕｐｙｔｅｒｎｏｔｅ－ ｂｏｏｋ内部的网页格式。

实现效果图样例

我是海浪学长,创作不易,欢迎点赞、关注、收藏、留言。

毕设帮助，疑难解答，欢迎打扰！

最后