数据分析：人工智能篇

文章目录

- 第三章数据可视化库matplotlib
- - 3.1 matplotlib基本绘图操作
  - 3.2 plot的线条和颜色
  - 3.3 条形图分析
  - 3.4 箱型图分析
  - 3.5 直方图分析
  - 3.6 散点图分析
  - 3.7 图表的美化
- 第四章数据预测库Sklearn
- - 4.1 sklearn预测未来
  - 4.2 回归数据的预测
  - - 4.2.1 回归数据的切分
    - 4.2.2 线性回归数据模型
    - 4.2.3 回归模型评估方法-MSE
  - 4.3 二分类数据的预测
  - - 4.3.1 二分类数据的切分
    - 4.3.2 逻辑回归数据模型
    - 4.3.3 二分类模型评估指标-准确率
    - 4.3.2 逻辑回归数据模型
    - 4.3.3 二分类模型评估指标-准确率

第三章数据可视化库matplotlib

3.1 matplotlib基本绘图操作

import matplotlib.pyplot as plt
import numpy as np
# 中文设置
plt.rcParams['font.sans-serif'] =['KaiTi'] # 指定默认字体
plt.rcParams['axes.unicode_minus'] = False #解决保存图像是负号'-'显示为方块的问题

# 设置图形大小，即设置画布
plt.figure(figsize=(10,5))

# 画直线
x = np.arange(10)
y = 2 * x + 10
plt.plot(x, y) # 画图

# x，y轴的名称
plt.xlabel('x')
plt.ylabel('y')

# 标题
plt.title("简单的直线")

plt.show() # 展示图形

3.2 plot的线条和颜色

线条形状设置

字符	线条类型	字符	线条类型
‘-’	实线	‘–’	虚线
‘-.’	虚点线	‘:’	点线
‘.’	点	‘,’	像素点
‘o’	圆点	‘v’	下三角点
‘^’	上三角形	‘<’	左三角形
‘>’	右三角形	‘1’	下三叉点
‘2’	上三叉点	‘3’	左三叉点
‘4’	右三叉点	‘s’	正方点
‘p’	五角点	‘*’	星形点
‘h’	六边形点	‘H’	六边形点2
‘+’	+号点	‘x’	乘号点
‘D’	实习菱形点	‘d’	瘦菱形点

常用颜色缩写
- 字符颜色英文全称
  ‘b’ 蓝色 blue
  ‘g’ 绿色 green
  ‘r’ 红色 reed
  ‘c’ 青色 cyan
  ‘m’ 品红 magenta
  ‘y’ 黄色 yellow
  ‘k’ 黑色 black
  ‘w’ 白色 white

字符	颜色	英文全称
‘b’	蓝色	blue
‘g’	绿色	green
‘r’	红色	reed
‘c’	青色	cyan
‘m’	品红	magenta
‘y’	黄色	yellow
‘k’	黑色	black
‘w’	白色	white

示例：

import matplotlib.pyplot as plt
import numpy as np
x = np.linspace(-10,10)
len(x)

## 50

y = np.sin(x)
len(y)

## 50


# 设置图形大小，即设置画布
plt.figure(figsize=(10,5))

# plt.plot(x, y,'-.',color='r') # 画图
plt.plot(x, y,'b-.') 

# 标题
plt.title("正弦函数")
# x，y轴的名称
plt.xlabel('x')
plt.ylabel('y')

plt.show() ## 展示图片

3.3 条形图分析

示例一：

import matplotlib.pyplot as plt
import numpy as np

# 中文设置
plt.rcParams['font.sans-serif'] = ['KaiTi'] # 设置默认字体
plt.rcParams['axes.unicode_minus'] = False #解决保存图像是负号'-'显示为方块的问题

x = ['北京', '上海', '深圳', '广州']
y = [20, 18, 21, 18]

# 设置画布
plt.figure(figsize=(10,6))
# 设置标题
plt.title('各个城市的销量',fontsize=16) ## fontsize设置字体大小
# 画条形图
plt.bar(x, y)
plt.show()

# 设置画布
plt.figure(figsize=(10,6))
# 设置标题
plt.title('各个城市的销量',fontsize=16) ## fontsize设置字体大小
# 画条形图
plt.barh(x, y) 
plt.show()

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

示例二（数据实操）：

# 读取data文件夹下面的学生信息表
import pandas as pd
data = pd.read_excel("data/学生信息.xlsx")
data

## 
	班级	学号	性别	身高	体重
0	1班	1101	男	173	63
1	1班	1102	女	192	73
2	1班	1103	男	186	82
3	1班	1104	女	167	81
4	1班	1105	女	159	64
5	2班	1201	男	188	68
6	2班	1202	女	176	94
7	2班	1203	男	160	53
8	2班	1204	女	162	63
9	2班	1205	女	167	63
10	3班	1301	男	161	68
11	3班	1302	女	175	57
12	3班	1303	男	188	82
13	3班	1304	男	195	70
14	3班	1305	女	187	69
15	1班	2101	男	174	84
16	1班	2102	女	161	61
17	1班	2103	男	157	61
18	1班	2104	女	159	97
19	1班	2105	男	170	81
20	2班	2201	男	193	100
21	2班	2202	女	194	77
22	2班	2203	男	155	91
23	2班	2204	男	175	74
24	2班	2205	女	183	76
25	3班	2301	女	157	78
26	3班	2302	男	171	88
27	3班	2303	女	190	99
28	3班	2304	女	164	81
29	3班	2305	男	187	73
30	4班	2401	女	192	62
31	4班	2402	男	166	82
32	4班	2403	女	158	60
33	4班	2404	女	160	84
34	4班	2405	女	193	54

# 查看有多少个班级，分析各个班学生的身高分布（即平均值）
data['班级'].unique() ##array(['1班', '2班', '3班', '4班'], dtype=object)
a = data.groupby("班级")["身高"].mean().reset_index()
a

##
	班级	身高
0	1班	169.8
1	2班	175.3
2	3班	177.5
3	4班	173.8

plt.figure(figsize=(10,6))
plt.bar(a["班级"],a["身高"])
plt.show()




# 分析各个班级的体重
b = data.groupby("班级")["体重"].mean().reset_index()
b

##
	班级	体重
0	1班	74.7
1	2班	75.9
2	3班	76.5
3	4班	68.4

plt.figure(figsize=(10,6))
plt.bar(b["班级"],b["体重"])
plt.show()

3.4 箱型图分析

箱型图
- 反映一组数据的分布特征，如：分布是否对称，是否存在异常点；
- 对多维数据的分布可以进行比较；
- 针对连续性变量分析；

示例：

## data文件夹下的箱型图数据.xlsx
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

data = pd.read_excel("data/箱型图数据.xlsx")
data

##
	数据1			数据2		数据3
0	0.673772	2.877434	2.049346
1	2.094364	1.744089	-2.000739
2	-0.229255	-3.478537	-1.174358
3	0.162415	-0.161255	-0.192022
4	1.601201	0.249620	-3.260043
...	...	...	...
95	0.802054	-2.125556	4.469550
96	0.704063	-0.020990	-0.325966
97	-1.003454	-0.645414	-3.517653
98	1.009918	1.299786	1.303022
99	0.798712	2.160066	4.128328
100 rows × 3 columns



# 单个
plt.boxplot(data["数据1"])
plt.show()

# 三个放一起
plt.boxplot([data["数据1"],data["数据2"],data["数据3"]],labels=["数据1", "数据2", "数据3"])
plt.show()

3.5 直方图分析

直方图：
- 直方图又称频率分布图，是一种显示数据分布情况的柱形图，即不同数据出现的频率
- 通过这些高度不同的柱形，可以直观、快速地观察数据的分散程度和中心趋势，从而分析流程满足客户的程度

示例（数据实操）：

# data文件夹下的直方图数据下有两个xlsx文件
import matplotlib.pyplot as plt
import pandas as pd

data = pd.read_excel("data/直方图数据/乘客信息.xlsx")
data

##
	乘客编号	年龄
0	1	22
1	2	38
2	3	26
3	4	35
4	5	35
...	...	...
709	886	39
710	887	27
711	888	19
712	890	26
713	891	32
714 rows × 2 columns


data1 = pd.read_excel("data/直方图数据/学生分数.xlsx")
data1

## 
学生编号	分数
0	162	56
1	129	28
2	25	2
3	114	21
4	130	29
...	...	...
185	178	78
186	148	42
187	123	25
188	82	10
189	30	3
190 rows × 2 columns

# 分析其年龄分布情况

# 中文设置
plt.rcParams["font.sans-serif"] = ["KaiTi"] # 设置默认字体
plt.rcParams["axes.unicode_minus"] = False # 解决"-"号显示为方块的问题

plt.hist(data["年龄"], bins=20, density=True, color='r', edgecolor='k') 
# bins表示区间数 # density表示对直方图作出规划（纵轴变为频率了）# edgecolor表示对边缘加颜色
plt.xlabel("年龄")
plt.ylabel("频率")
plt.title("直方图")
plt.show() 



# 分析班级里面学生成绩的分布情况
plt.hist(data1["分数"], bins=50, density=True,color='y',edgecolor='k')
plt.xlabel("分数")
plt.ylabel("频率")
plt.title("直方图")
plt.show()

3.6 散点图分析

散点图：
- 用两组数据构成多个坐标点，考察坐标点之间的分布，判断两变量之间是否存在某种关联或总结坐标点的分布模式
- 散点图主要用来研究两个连续性变量之间的关系

示例（数据实操）：

# data文件夹下的国民经济核算季度数据.xlsx
import matplotlib.pyplot as plt
import pandas as pd

data = pd.read_excel("data/国民经济核算季度数据.xlsx")
data.columns

##
Index(['序号', '时间', '国内生产总值_当季值(亿元)', '第一产业增加值_当季值(亿元)', '第二产业增加值_当季值(亿元)',
       '第三产业增加值_当季值(亿元)', '农林牧渔业增加值_当季值(亿元)', '工业增加值_当季值(亿元)',
       '建筑业增加值_当季值(亿元)', '批发和零售业增加值_当季值(亿元)', '交通运输、仓储和邮政业增加值_当季值(亿元)',
       '住宿和餐饮业增加值_当季值(亿元)', '金融业增加值_当季值(亿元)', '房地产业增加值_当季值(亿元)',
       '其他行业增加值_当季值(亿元)'],
      dtype='object')

# 分析国内生产总值和第一产业的值之间的相关性
# 单个散点图
plt.scatter(data["国内生产总值_当季值(亿元)"],data["第一产业增加值_当季值(亿元)"])
plt.show()



# 分析国内生产总值和第一产业的值之间的相关性
# 分析国内生产总值和第二产业的值之间的相关性
# 分析国内生产总值和第三产业的值之间的相关性
# 多个散点图
plt.scatter(data["国内生产总值_当季值(亿元)"],data["第一产业增加值_当季值(亿元)"], label="第一产业")
plt.scatter(data["国内生产总值_当季值(亿元)"],data["第二产业增加值_当季值(亿元)"], label="第二产业")
plt.scatter(data["国内生产总值_当季值(亿元)"],data["第三产业增加值_当季值(亿元)"], label="第三产业")
plt.legend() # legend可以将label调用
plt.show()

3.7 图表的美化

基本设置：

图例设置	plt.legend(loc=“best”)
画布设置	plt.figure(figsize=(10,6))
标题设置	plt.title(string,size=10,color=“red”)
横轴设置	plt.xlabel(string,fontsize=10)
纵轴设置	plt.ylabel(string,fontsize=10)
是否显示网络	plt.grid(False)

loc=“best”	自动找到最佳位置
loc=“upper left”	左上角位置
loc=“upper right”	右上角位置
loc=“lower left”	左下角位置
loc=“lower right”	右下角位置
loc=“center left”	左边中间位置
loc=“center right”	右边中间位置

示例：

import matplotlib.pyplot as plt
import numpy as np

# 中文设置
plt.rcParams["font.sans-serif"] = ["KaiTi"] # 设置默认字体
plt.rcParams["axes.unicode_minus"] = False # 解决"-"号显示为方块的问题

plt.figure(figsize=(10,6)) # 画布大小
x = np.linspace(0,20,100)
plt.plot(x, 2*x, label="曲线1")
plt.plot(x, 3*x, label="曲线2")
plt.plot(x, 4*x, label="曲线2")
plt.legend(loc="best")  ## 默认best
plt.title("三条曲线",size=16,color="r")
plt.xlabel("变量1", fontsize=16,color='c')
plt.ylabel("变量2", fontsize=16, color='m')
plt.grid(True) 
plt.show()

第四章数据预测库Sklearn

4.1 sklearn预测未来

4.2 回归数据的预测

4.2.1 回归数据的切分

示例（数据实操）：

# data文件夹下的房价数据.xlsx
import pandas as pd

data = pd.read_excel("data/房价数据.xlsx")
data

##	
   	城镇人均犯罪率	城镇非零售商用土地比例	一氧化氮浓度	住宅平均房间数	到城市中心区域的加权距离	房价(万元)
0	0.00632	2.31	0.538	6.575	4.0900	2.40
1	0.02731	7.07	0.469	6.421	4.9671	2.16
2	0.02729	7.07	0.469	7.185	4.9671	3.47
3	0.03237	2.18	0.458	6.998	6.0622	3.34
4	0.06905	2.18	0.458	7.147	6.0622	3.62
...	...	...	...	...	...	...
501	0.06263	11.93	0.573	6.593	2.4786	2.24
502	0.04527	11.93	0.573	6.120	2.2875	2.06
503	0.06076	11.93	0.573	6.976	2.1675	2.39
504	0.10959	11.93	0.573	6.794	2.3889	2.20
505	0.04741	11.93	0.573	6.030	2.5050	1.19
506 rows × 6 columns

## 用前五个属性来预测房价
from sklearn.model_selection import train_test_split  # 训练跟测试切分的方法
train, valid = train_test_split(data, test_size=0.2, shuffle=True, random_state=2020)  # 0.8作为训练集，0.2作为验证集，0.2表示把验证集 大小切成0.2
# shuffle=True切分的时候把数据打乱， 便于切出来的数据比较均匀  # random_state 随机种子，返回的是一个列表
# 返回的数据分别是训练集和验证集，分别把他们赋值给train和valid两个变量

data.shape  ## 未切分前的形状

## (506, 6)


train.shape  ## 切分后的形状

## (404, 6)


valid.shape ## 切分后的形状

## (102, 6)


404 / 506 # 训练集
## 0.7984189723320159

102 / 506 # 验证集
## 0.2015810276679842

train

##
城镇人均犯罪率	城镇非零售商用土地比例	一氧化氮浓度	住宅平均房间数	到城市中心区域的加权距离	房价(万元)
215	0.19802	10.59	0.489	6.182	3.9454	2.50
191	0.06911	3.44	0.437	6.739	6.4798	3.05
107	0.13117	8.56	0.520	6.127	2.1224	2.04
442	5.66637	18.10	0.740	6.219	2.0048	1.84
230	0.53700	6.20	0.504	5.981	3.6715	2.43
...	...	...	...	...	...	...
195	0.01381	0.46	0.422	7.875	5.6484	5.00
118	0.13058	10.01	0.547	5.872	2.4775	2.04
323	0.28392	7.38	0.493	5.708	4.7211	1.85
392	11.57790	18.10	0.700	5.036	1.7700	0.97
352	0.07244	1.69	0.411	5.884	10.7103	1.86
404 rows × 6 columns


valid

##
城镇人均犯罪率	城镇非零售商用土地比例	一氧化氮浓度	住宅平均房间数	到城市中心区域的加权距离	房价(万元)
409	14.43830	18.10	0.5970	6.852	1.4655	2.75
247	0.19657	5.86	0.4310	6.226	8.0555	2.05
399	9.91655	18.10	0.6930	5.852	1.5004	0.63
300	0.04417	2.24	0.4000	6.871	7.8278	2.48
321	0.18159	7.38	0.4930	6.376	4.5404	2.31
...	...	...	...	...	...	...
204	0.02009	2.68	0.4161	8.034	5.1180	5.00
495	0.17899	9.69	0.5850	5.670	2.7986	2.31
244	0.20608	5.86	0.4310	5.593	7.9549	1.76
413	28.65580	18.10	0.5970	5.155	1.5894	1.63
216	0.04560	13.89	0.5500	5.888	3.1121	2.33
102 rows × 6 columns

4.2.2 线性回归数据模型

示例（实操接4.2.1数据）：

# 预测房价
# 导入线性回归模型
from sklearn.linear_model import LinearRegression

model = LinearRegression() # 定义一个数据模型

# train , valid # 训练集训练数据，验证集用来预测数据
model.fit(train[['城镇人均犯罪率', '城镇非零售商用土地比例','一氧化氮浓度','住宅平均房间数','到城市中心区域的加权距离']], train['房价(万元)'])  
# fit传入需要训练的特征，这里需要传入除预测外的所有属性 ，fit表示训练的意思

## LinearRegression()


pred = model.predict(valid[['城镇人均犯罪率', '城镇非零售商用土地比例','一氧化氮浓度','住宅平均房间数','到城市中心区域的加权距离']])
pred
# predict表示预测，对验证集的每条数据进行预测

##
array([ 2.46474589,  2.2128151 ,  1.65888896,  2.85265327,  2.52879848,
        2.2258853 ,  2.57939134,  2.59693129,  1.82202357,  2.40885497,
        2.77841379,  1.64989292,  2.25647387,  3.30694586,  1.94037339,
        2.49620692,  2.03597603,  2.61239847,  1.95491352,  1.73957756,
        2.1573622 ,  2.82385479,  2.09397049,  2.33096025,  0.80547778,
        0.83617233,  2.43902438,  1.73929665,  3.29007521,  0.96528621,
        2.80937346,  2.75473389, -0.04440117,  2.4362086 ,  2.053418  ,
        0.87830185,  2.00948295,  2.45519188,  1.94278751,  2.27900789,
        2.80594378,  2.2755299 ,  2.15347854,  3.23576954,  1.9600308 ,
        2.26173723,  2.29422412,  2.06932986,  2.27333606,  2.95266904,
        2.84799092,  2.59296111,  2.65458646,  1.42464319,  1.82023523,
        1.16141491,  2.70465962,  2.31695954,  1.55678262,  2.46458798,
        2.43287322,  2.23338117,  2.67973044,  4.33672353,  2.95615622,
        2.53254281,  2.70089423,  0.27060842,  1.71579957,  2.12512989,
        2.5633941 ,  2.31433153,  2.84858425,  2.03601581,  2.46245774,
        2.02078349,  2.25731773,  2.38199773,  2.14867614,  2.46881375,
        2.32091925,  2.16436359,  3.11908093,  3.43351395,  3.3118866 ,
        1.69532309,  1.87010176,  2.3609788 ,  3.13228058,  2.08536776,
        1.75231547,  1.93768106,  2.04788031,  2.28601279,  2.1095751 ,
        2.38820313,  1.59125697,  3.93697614,  1.97308141,  1.75644051,
        0.92296715,  2.05833759])


len(pred)

## 102


train.columns

## 
Index(['城镇人均犯罪率', '城镇非零售商用土地比例', '一氧化氮浓度', '住宅平均房间数', '到城市中心区域的加权距离',
       '房价(万元)'],
      dtype='object')


valid.columns

##
Index(['城镇人均犯罪率', '城镇非零售商用土地比例', '一氧化氮浓度', '住宅平均房间数', '到城市中心区域的加权距离',
       '房价(万元)'],
      dtype='object')

4.2.3 回归模型评估方法-MSE

MSE
- 即均方误差
- MSE的值越大，表明预测效果越差

示例（实操接4.2.2数据）：

# vaild验证集是真实准确的数据，pred是经过验证集预测的数据
import numpy as np
# 导入均方误差
from sklearn.metrics import mean_squared_error  # mean_squared_error表示均方误差

mse_error = mean_squared_error(valid['房价(万元)'],pred)  # 先传入实际值，再传入预测值
mse_error

## 0.38184398467340286


np.sqrt(mse_error)  # 对均方误差进行开方，就可以知道每个样本的偏离程度 # np.sqrt 是numpy的开方

## 0.6179352592896791

4.3 二分类数据的预测

4.3.1 二分类数据的切分

示例（数据实操）：

# data文件夹下的泰坦尼克号数据.xlsx  # 0是死亡，1是存活
import pandas as pd
data = pd.read_excel("data/泰坦尼克号数据.xlsx")
data

## 
	乘客编号	船票种类	性别	年龄	乘客兄弟姐妹/配偶的个数	乘客父母/孩子的个数	是否存活
0	1	3	male	22.0	1	0	0
1	2	1	female	38.0	1	0	1
2	3	3	female	26.0	0	0	1
3	4	1	female	35.0	1	0	1
4	5	3	male	35.0	0	0	0
...	...	...	...	...	...	...	...
886	887	2	male	27.0	0	0	0
887	888	1	female	19.0	0	0	1
888	889	3	female	-10.0	1	2	0
889	890	1	male	26.0	0	0	1
890	891	3	male	32.0	0	0	0
891 rows × 7 columns

data.dtypes  
# 性别 是字符串类型，不符合字符类型，需要转为数值类型。因为数学模型里面必须要都是数值类型才可以分析

##
乘客编号              int64
船票种类              int64
性别               object
年龄              float64
乘客兄弟姐妹/配偶的个数      int64
乘客父母/孩子的个数        int64
是否存活              int64
dtype: object
    
data['性别'].value_counts()

##
male      577
female    314
Name: 性别, dtype: int64
        
data['性别'] = data['性别'].apply(lambda x: 0 if x == 'male'else 1)  
# 用pandas学的apply快速实现转换，然后更新列的数据
data.head()  # 显示修改后的前五条数据

##
	乘客编号	船票种类	性别	年龄	乘客兄弟姐妹/配偶的个数	乘客父母/孩子的个数	是否存活
0	1	3	1	22.0	1	0	0
1	2	1	1	38.0	1	0	1
2	3	3	1	26.0	0	0	1
3	4	1	1	35.0	1	0	1
4	5	3	1	35.0	0	0	0

from sklearn.model_selection import train_test_split

train,valid = train_test_split(data, test_size=0.2, shuffle=True, random_state=2020)

data["是否存活"].value_counts() # 0是死亡，1是存活

##
0    549
1    342
Name: 是否存活, dtype: int64
        
549 / 342 # 死亡:活着
##1.605263157894737

train['是否存活'].value_counts()

##
0    444
1    268
Name: 是否存活, dtype: int64
        
444/268
## 1.6567164179104477

valid['是否存活'].value_counts()

##
0    105
1     74
Name: 是否存活, dtype: int64
        
105/74
## 1.4189189189189189

# 由以上数据可知 训练集是1.6多，而验证集是1.4，跟预测数据1.60的比值差别太大差别太大

### 解决办法 # 用stratify，进行分层抽样
train,valid = train_test_split(data, test_size=0.2, shuffle=True, random_state=2020, stratify=data["是否存活"])

train['是否存活'].value_counts()

##
0    439
1    273
Name: 是否存活, dtype: int64

439/273
## 1.6080586080586081

valid['是否存活'].value_counts()

##
0    110
1     69
Name: 是否存活, dtype: int64
    
110/69
## 1.5942028985507246

4.3.2 逻辑回归数据模型

logistic函数：

# logistic函数曲线
import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(-10, 10, 100)
y = 1 / (1 + np.exp(-x))  # np.exp就是数学中的自然e，np.exp(-x)表示e的-x次方
plt.plot(x, y)
plt.show()

示例（实操接4.3.1数据）：

from sklearn.linear_model import LogisticRegression # LogisticRegression 逻辑回归

model = LogisticRegression() # 定义一个数据模型

train.columns # 因为每个乘客的乘客编号都不同，就不熟他们特有的特征了，索引只取其他五个特有的属性

##
Index(['乘客编号', '船票种类', '性别', '年龄', '乘客兄弟姐妹/配偶的个数', '乘客父母/孩子的个数', '是否存活'], dtype='object')


# 训练
model.fit(train[['船票种类', '性别', '年龄', '乘客兄弟姐妹/配偶的个数', '乘客父母/孩子的个数']], train['是否存活'])

## LogisticRegression() # 成功


# 预测
pred = model.predict(valid[['船票种类', '性别', '年龄', '乘客兄弟姐妹/配偶的个数', '乘客父母/孩子的个数']])
pred # 预测结果

##
array([0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 1, 0,
       0, 0, 0, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0,
       1, 0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 1, 1, 0, 0, 1, 1, 1, 0, 0, 1,
       0, 1, 0, 0, 1, 0, 0, 0, 1, 0, 1, 0, 0, 1, 0, 1, 0, 1, 1, 1, 0, 0,
       1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 1, 1, 0, 0, 0, 1, 0, 0, 0, 1, 1,
       0, 1, 0, 1, 1, 0, 1, 0, 0, 0, 1, 0, 1, 0, 0, 1, 0, 0, 1, 1, 0, 0,
       1, 0, 1, 1, 1, 0, 0, 1, 1, 1, 0, 1, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 1, 0, 1, 1, 1, 0, 0, 0, 1, 0, 0, 0, 1, 1, 0, 0, 1,
       0, 0, 0], dtype=int64)

4.3.3 二分类模型评估指标-准确率

准确率：
- 准确率，Accuracy，表示模型预测正确地比例
- M表示预测对的数量，N表示需要预测的数据
- Accuracy的值越大，表明预测的效果越好

示例（实操接4.3.2数据）：

from sklearn.metrics import accuracy_score # accuracy_score 准确率分数，用来计算准确率的
accuracy_score(valid["是否存活"], pred)  # 先传入真实数据再传入预测数据

## 0.776536312849162

if x == ‘male’else 1)
# 用pandas学的apply快速实现转换，然后更新列的数据
data.head() # 显示修改后的前五条数据

 ##
 	乘客编号	船票种类	性别	年龄	乘客兄弟姐妹/配偶的个数	乘客父母/孩子的个数	是否存活
 0	1	3	1	22.0	1	0	0
 1	2	1	1	38.0	1	0	1
 2	3	3	1	26.0	0	0	1
 3	4	1	1	35.0	1	0	1
 4	5	3	1	35.0	0	0	0
 ```

from sklearn.model_selection import train_test_split

train,valid = train_test_split(data, test_size=0.2, shuffle=True, random_state=2020)

data["是否存活"].value_counts() # 0是死亡，1是存活

##
0    549
1    342
Name: 是否存活, dtype: int64
        
549 / 342 # 死亡:活着
##1.605263157894737

train['是否存活'].value_counts()

##
0    444
1    268
Name: 是否存活, dtype: int64
        
444/268
## 1.6567164179104477

valid['是否存活'].value_counts()

##
0    105
1     74
Name: 是否存活, dtype: int64
        
105/74
## 1.4189189189189189

# 由以上数据可知 训练集是1.6多，而验证集是1.4，跟预测数据1.60的比值差别太大差别太大

### 解决办法 # 用stratify，进行分层抽样
train,valid = train_test_split(data, test_size=0.2, shuffle=True, random_state=2020, stratify=data["是否存活"])

train['是否存活'].value_counts()

##
0    439
1    273
Name: 是否存活, dtype: int64

439/273
## 1.6080586080586081

valid['是否存活'].value_counts()

##
0    110
1     69
Name: 是否存活, dtype: int64
    
110/69
## 1.5942028985507246

4.3.2 逻辑回归数据模型

[外链图片转存中…(img-qmvxTRUZ-1696233196612)]

logistic函数：

# logistic函数曲线
import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(-10, 10, 100)
y = 1 / (1 + np.exp(-x))  # np.exp就是数学中的自然e，np.exp(-x)表示e的-x次方
plt.plot(x, y)
plt.show()

[外链图片转存中…(img-eO8xp7LI-1696233196612)]

示例（实操接4.3.1数据）：

from sklearn.linear_model import LogisticRegression # LogisticRegression 逻辑回归

model = LogisticRegression() # 定义一个数据模型

train.columns # 因为每个乘客的乘客编号都不同，就不熟他们特有的特征了，索引只取其他五个特有的属性

##
Index(['乘客编号', '船票种类', '性别', '年龄', '乘客兄弟姐妹/配偶的个数', '乘客父母/孩子的个数', '是否存活'], dtype='object')


# 训练
model.fit(train[['船票种类', '性别', '年龄', '乘客兄弟姐妹/配偶的个数', '乘客父母/孩子的个数']], train['是否存活'])

## LogisticRegression() # 成功


# 预测
pred = model.predict(valid[['船票种类', '性别', '年龄', '乘客兄弟姐妹/配偶的个数', '乘客父母/孩子的个数']])
pred # 预测结果

##
array([0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 1, 0,
       0, 0, 0, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0,
       1, 0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 1, 1, 0, 0, 1, 1, 1, 0, 0, 1,
       0, 1, 0, 0, 1, 0, 0, 0, 1, 0, 1, 0, 0, 1, 0, 1, 0, 1, 1, 1, 0, 0,
       1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 1, 1, 0, 0, 0, 1, 0, 0, 0, 1, 1,
       0, 1, 0, 1, 1, 0, 1, 0, 0, 0, 1, 0, 1, 0, 0, 1, 0, 0, 1, 1, 0, 0,
       1, 0, 1, 1, 1, 0, 0, 1, 1, 1, 0, 1, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 1, 0, 1, 1, 1, 0, 0, 0, 1, 0, 0, 0, 1, 1, 0, 0, 1,
       0, 0, 0], dtype=int64)

4.3.3 二分类模型评估指标-准确率

[外链图片转存中…(img-gQr0jn8Z-1696233196613)]

准确率：
- 准确率，Accuracy，表示模型预测正确地比例
- M表示预测对的数量，N表示需要预测的数据
- Accuracy的值越大，表明预测的效果越好

示例（实操接4.3.2数据）：

from sklearn.metrics import accuracy_score # accuracy_score 准确率分数，用来计算准确率的
accuracy_score(valid["是否存活"], pred)  # 先传入真实数据再传入预测数据

## 0.776536312849162

文章出处登录后可见！

已经登录？立即刷新

数据分析：人工智能篇

文章目录

第三章 数据可视化库matplotlib

3.1 matplotlib基本绘图操作

3.2 plot的线条和颜色

3.3 条形图分析

3.4 箱型图分析

3.5 直方图分析

3.6 散点图分析

3.7 图表的美化

第四章 数据预测库Sklearn

4.1 sklearn预测未来

4.2 回归数据的预测

4.2.1 回归数据的切分

4.2.2 线性回归数据模型

4.2.3 回归模型评估方法-MSE

4.3 二分类数据的预测

4.3.1 二分类数据的切分

4.3.2 逻辑回归数据模型

4.3.3 二分类模型评估指标-准确率

4.3.2 逻辑回归数据模型

4.3.3 二分类模型评估指标-准确率

相关推荐

第三章数据可视化库matplotlib

第四章数据预测库Sklearn