爬虫代码+绘图代码+数据集+文档下载链接(CSDN平台):https://download.csdn.net/download/qq_34060370/87163278
课程名称:Python语言与数据分析
课 程 报告
项目名称 平板电脑数据集分析
班 级
学 号
姓 名 刘建杰
任课教师
开课学期:2021 至 2022 学年第 2 学期
完成时间: 2022 年 6 月 8 日
《平板电脑》数据分析报告
目录
目录
1 概述… 1
2数据描述… 1
2.1数据来源及提取… 1
2.2数据特点、包含字段… 2
2.3数据处理… 2
2.3.1查看是否含有缺失值… 2
2.3.2处理重复值… 3
2.3.3删除不需要的列… 3
3 数据分析内容… 3
3.1平板电脑每年上市的数量… 3
3.2各公司平板电脑数量规模对比… 3
3.3平板电脑各个价位的数量… 4
3.4平板电脑价格与评价关系… 4
3.5平板电脑的配置与价格关系… 4
3.5.1屏幕尺寸与价格… 4
3.5.2屏幕分辨率与价格… 4
3.5.3存储器容量与价格… 4
4 数据分析图表… 5
4.1平板电脑每年上市的数量… 5
4.2各公司平板电脑数量规模对比… 5
4.3平板电脑各个价位的数量… 6
4.4平板电脑价格与评价关系… 6
4.5平板电脑的配置与价格关系… 7
4.5.1屏幕尺寸与价格… 7
4.5.2屏幕分辨率与价格… 8
4.5.3存储器容量与价格… 9
5 数据分析结果… 9
5.1平板电脑每年上市的数量… 9
5.2各公司平板电脑数量规模对比… 10
5.3平板电脑各个价位的数量… 10
5.4平板电脑价格与评价关系… 10
5.5平板电脑的配置与价格关系… 10
5.5.1 屏幕尺寸与价格… 10
5.5.2屏幕分辨率与价格… 11
5.5.3存储器容量与价格… 11
6 总结… 11
附录-数据分析代码… 11
1 概述
平板电脑也叫便携式电脑是一种小型、方便携带的个人电脑,以触摸屏作为基本的输入设备,它最大特点是,触摸屏和手写识别输入功能,以及强大的笔输入识别、语音识别、手势识别能力,且具有移动性。随着科技的进步,信息化的提高,平板电脑在我们日常生活中越来越常见,其功能与作用越来越接近电脑与手机,能提高我们的生产力和工作效率,本文的目的是对于我们能快速对平板电脑的发展与其各种参数有个宏观了解,了解平板电脑的价格有哪些因素影响,以及提供新手选购平板电脑选购思路和参考
2数据描述
2.1数据来源及提取
本数据分析报告内的平板电脑数据来源于中关村在线网站【平板电脑】平板电脑报价及图片大全-ZOL中关村在线。
自己编写爬虫程序,分析网址数据页构成,思考如何编写增量爬虫逻辑,利用request请求获取html,再用beautifulsoup解析html获取逐个字段,最终成功爬取平板电脑的各项数据参数并保存csv文件到本地。
2.2数据特点、包含字段
从中关村网站共爬取1417条数据,17个关键参数的字段。
17个平板电脑数据集参数的字段分别为公司名称、产品名称、上市年份、上市月份、价格(元)、阶段、运行内存(GB)、存储容量(GB)、操作系统、处理器型号、屏幕尺寸(英寸)、屏幕分辨率、重量(g)、评论人数、评分、电池类型、电池容量
2.3数据处理
2.3.1查看是否含有缺失值
使用Pandas将csv数据导入后,使用pandas库中dateframe的info()函数,数据集信息如下
因网站存储的平板电脑信息不是很全,导致有的字段不为空的行数小于1417,存在空值的字段,由于含有空值字段比较分散,而且数据集量并不是很大,不能采用一刀切删除操作,于是采用等数据分析具体内容字段时,再删除空值的行或者不纳入数据分析的范围。
2.3.2处理重复值
使用duplicated()函数清除重复的行,数据集良好,未有重复的行
2.3.3删除不需要的列
爬取的字段有17个,字段较多,而有些个字段与本次数据分析内容暂时无关,所以删除数据表中的上市月份、电池容量、电池类型等无关字段
3 数据分析内容
3.1平板电脑每年上市的数量
通过分析每年上市的数量有利于我们对平板电脑的发展趋势与兴起有个宏观了解
3.2各公司平板电脑数量规模对比
通过分析各公司平板电脑数量,可以体现出市场的多样性,市场中哪几个品牌占有市场最多的份额,能让我们消费者普通人能更好的选购大品牌
3.3平板电脑各个价位的数量
通过分析不同价位的数量可以得出平板电脑什么价位数量最多,证明这个价位最亲民,最适合我们普通大众的价位
3.4平板电脑价格与评价关系
通过分析电脑价格与评价的关系,可以验证平板电脑领域是否与我们所熟知的那样,评价与价格正比,评价随价格的提升而提升
3.5平板电脑的配置与价格关系
简单从3个电脑配置方面分析配置与价格之间的关系,有助于我们了解平板电脑价格因什么而增长,以及什么配置影响因素最大,为我们解释为什么不同平板电脑配置导致价格差异较大。
3.5.1屏幕尺寸与价格
分析屏幕尺寸的占比与屏幕尺寸是否对价格有影响
3.5.2屏幕分辨率与价格
分析屏幕分辨率的占比与屏幕分辨率是否对价格有影响
3.5.3存储器容量与价格
分析存储器容量的占比与存储器容量是否对价格有影响
4 数据分析图表
4.1平板电脑每年上市的数量
4.2各公司平板电脑数量规模对比
4.3平板电脑各个价位的数量
4.4平板电脑价格与评价关系
4.5平板电脑的配置与价格关系
4.5.1屏幕尺寸与价格
4.5.2屏幕分辨率与价格
4.5.3存储器容量与价格
5 数据分析结果
5.1平板电脑每年上市的数量
通过4.1的折线图可以清晰的看出
- 2010年是平板电脑诞生,正式进入市场的一年。在网上搜索相关资料后,2010年确实是平板电脑正式诞生的年份,是苹果公司生产的苹果ipad一代,使得平板电脑开始慢慢进入我们生活。
- 2012年是平板电脑上市数量剧增开始的一年,可以猜测平板电脑市场很大,许多公司都进行此产品的研发。
- 2013年平板电脑上市数量最高,而此后每年的上市数量越来越少,可以推测应该是各公司对平板电脑的提升要求较高,为了与同行竞争,而将重心放在核心技术上,将以更好的产品竞争市场而不是以上市数量。
5.2各公司平板电脑数量规模对比
通过4.2的横向柱形图可以得出
- 苹果公司拥有平板电脑的产品数量最多,是平板电脑的龙头企业。
- 苹果、台电、联想、酷比魔方、华为、三星公司平板电脑产品数量都挺多,为平板电脑市场作出主要贡献
- 从图中可看出前6家公司拥有的产品数量虽然有差异但差距没有很大,可以得出市场并没有被垄断,使得平板电脑市场在产品的创新领域有良好的竞争氛围,有利于市场的创新发展。
5.3平板电脑各个价位的数量
通过4.3的竖向柱形图可以获知
1000-2000价位范围内的平板电脑数量最多,说明这个价格最亲民,最普及大众,可以推测各公司的对这价位都投入了精力,为了获得许多大众的青睐打出品牌知名度,毕竟我们普通人都希望有较便宜且好用的电脑。
5.4平板电脑价格与评价关系
通过4.4的箱型图分析得知
- 通过图中各箱子的q2中位数,可以看出随着价格范围增长,中位数也在提高,验证了价格与评价成正比的关系,也给我们提供选购指南,纠结价格稍低还是稍高点的,最好选购价格稍高点的平板电脑。
- 1000价位以下的平板电脑,箱子图中的q2中位数最低,说明低价的平板电脑还是不尽人意,我们应慎重购买
- 0-1000与1000-2000价格范围的上下端(须)很长,可以得出即使同样的产品在每个人手中,不同人有着不同的评价与看法,说明不同人的主观性与个体的差异
5.5平板电脑的配置与价格关系
5.5.1 屏幕尺寸与价格
屏幕的尺寸大小是平板电脑组成中比较重要的部分,尺寸的大小关系着我们日常使用,影音、小说等都需要在屏幕上展现出来。分析4.5.1的箱型图,根据q2中位数可以得出,随着尺寸的增大,价格普通也在提高,说明屏幕尺寸与价格是成正比的,也侧面反映企业若提高屏幕尺寸大小,平板电脑的制作成本也会增加,所以屏幕尺寸是影响价格是重要因素
5.5.2屏幕分辨率与价格
屏幕分辨率是指纵横向上的像素点数,屏幕分辨率确定计算机屏幕上显示多少信息,所以不言而喻,分辨率是平板电脑组成中较重要的部分。通过分析4.5.2的箱型图,根据q2中位数可以得出,随着分辨率的增大,价格也在增长,但是增长速度较慢,不过也能反映出屏幕分辨率是影响价格的重要因素
5.5.3存储器容量与价格
这里分析的存储器容量是外存储器,外存用来存储程序、数据以及各种软件资源,毫无疑问,存储器容量是平板电脑组成的重要部分。分析4.5.3的折线图,根据折线的形状,可以清晰的看出,存储容量增长时,平均价格也在增长,而且增长速度很快,由此可断定,企业生产平板电脑存储器容量的增加,其成本会增加很多,所以存储器容量是影响平板电脑的一个非常重要的因素。
6 总结
1.整个数据分析过程
首先,做此报告前,需要有平板电脑的数据集,但是我搜索了阿里云天池以及和鲸社区都没有找到相关的数据集,无奈之下只好自己写爬虫爬取数据集,本想爬京东的数据,想着京东的平板电脑数据信息比较齐全和权威,写了些相关爬取京东数据代码后才觉得并不合适,京东列出的平板电脑数据只是各个店铺上架的销售平板电脑的数据,会有重复值以及其它原因,做起来会非常复杂,遂放弃,后想起有中关村网站,这网站将平板电脑的数据分门别类,而且展示齐全,很符合我想要爬的数据,于是开始写爬虫代码爬取。由于爬虫库(request、re、beautifulsoup)代码并不熟悉,代码写得较困难,需要边翻书和查资料才能勉勉强强写出来。
然后,有了数据集csv文件后,需要使用pandas读取处理,再使用matplotlib库来绘图,pandas库并不是很熟悉,刚接触不久,matplotlib库更不用说了,各种函数与参数很难有个大概宏观映像,只好上matplotlib官网看例子,再上CSDN搜索相关matplotlib教程,再一步一步调试出来想要的图形效果,写代码绘图分析花费挺多时间,需要找到合适的图形来匹配分析的数据集,有时找的图形不合适又得换掉,综合对比哪个图好一点才决定最终图表。绘好图后,需要写文档了,但是各个小点的写法并没有思路,于是查看众多老师发的学长学姐的文档以及在和鲸社区相关项目后,才有思路开始着手写。
2.收获
了解熟悉了python爬虫代码的编写和思路,更多的是熟悉了pandas、numpy、matplotlib这三个库用来做数据分析的使用,增加了自己站在大数据下分析事物。还有增加自己搜索资料独立完成任务的能力,以及巩固这一学期python的各个知识点。
3.体会
做python的数据分析更多的是得动手实践才能加深理解和印象。python用来爬虫、数据分析都很有用,适合当自己的小工具。另外学python这段时间虽然比较艰苦,很短的时间得学很多知识,虽然累但是收获颇丰。
附录-数据分析代码
爬虫代码+绘图代码+数据集+文档下载链接(CSDN平台):https://download.csdn.net/download/qq_34060370/87163278
- 数据分析代码(部分展示,具体请点链接下载)
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
font = {'family':'SimHei',
'weight':'bold',
'size':'14'}
plt.rc('font', **font)
plt.rc('axes', unicode_minus=False)
df = pd.read_csv('平板电脑.csv', encoding='gbk')
yearcts = df['上市年份'].value_counts().sort_index(axis=0)
x = yearcts.index
y = yearcts.values
plt.plot(x, y, linewidth=1, color="orange", marker="o",label="Mean value")
#设置每个点上的数值
for i in range(len(yearcts)):
plt.text(x[i], y[i], y[i], fontsize=12, color="black", style="italic", weight="light", verticalalignment='center',horizontalalignment='right')
plt.title('各年份上市平板电脑的数量')
plt.xlabel("年份")
plt.ylabel("数量")
plt.show()
文章出处登录后可见!