基于Python的前程无忧、51job、智联招聘等招聘网站数据获取及数据分析可视化大全【代码+演示】

需要本项目的可以私信博主，获取，或者文末卡片获取

import pandas as pd
import glob
import warnings
warnings.filterwarnings("ignore")


# 指定目录
directory = './data/'

# 使用glob来获取所有.xlsx文件
excel_files = glob.glob(directory + '*.xlsx')

# 读取所有Excel文件
data_frames = [pd.read_excel(file) for file in excel_files]

# 合并数据
combined_data = pd.concat(data_frames, ignore_index=True)
combined_data.to_excel(r'合并数据.xlsx',index=False)
data=combined_data

选取标签进行分析

# 删除不必要的特征


# 重命名剩余的特征为中文
columns_rename = {
    'jobTitle': '职位标题',
    'jobSalary': '薪资',
    'jobArea': '地区',
    'jobYear': '工作年限要求',
    'jobDegree': '学历要求',
    'jobTime': '发布时间',
    '公司': '公司名称',
    '类型': '公司类型',
    '规模': '公司规模',
    '行业': '行业',
    '福利描述': '福利描述',
    'isHrLabel': 'HR标签'
}
代码省略

# 重命名剩余的特征为中文
columns_rename = {
    'keyword': '搜索关键词',
    'pageNum': '网页等级排名',
    'jobRank': '职位等级排名',
}

data = data.rename(columns=columns_rename)

# 查看修改后的数据
data.head()

# 检查每一列的空值数量
null_counts = data.isnull().sum()
null_counts

职位标题        0
薪资         17
地区          0
工作年限要求      0
学历要求      269
发布时间        0
搜索关键词       0
网页等级排名      0
职位等级排名      0
公司名称        0
公司类型       21
公司规模      552
行业        586
福利描述      248
HR标签        0
dtype: int64

# 删除包含空值的行
data_cleaned = data.dropna()

# 显示清理后的数据的前几行以及新的数据维度
cleaned_head = data_cleaned.head()
new_shape = data_cleaned.shape

cleaned_head, new_shape

(                    职位标题           薪资       地区 工作年限要求 学历要求  \
 0  检具中级工程师（C） (MJ000656)  8千-1.2万·14薪       宣城     2年   大专   
 2   C（双休）客服专员/入职五险一金/年终奖         4-6千   重庆·渝北区   无需经验   大专   
 3                   C端运营        8千-1万   上海·嘉定区   3-4年   本科   
 5         c/c++开发工程师-CCM     1.1-2.2万       南昌   5-7年   本科   
 6         软件开发工程师（C/C++）   1-1.5万·13薪  上海·浦东新区     2年   本科   
 
                   发布时间 搜索关键词  网页等级排名  职位等级排名            公司名称 公司类型  \
 0  2023-12-08 04:00:38   c         1       0  上海保隆汽车科技股份有限公司  已上市   
 2  2023-12-08 04:00:38   c         1       2    重庆信盟科技发展有限公司   民营   
 3  2023-12-08 04:00:38   c         1       3  上海家臣慧采电商商城有限公司   民营   
 5  2023-12-08 11:19:56   c         1       5     欧菲光集团股份有限公司  已上市   
 6  2023-12-08 13:51:58   c         1       6    上海凯道电子科技有限公司   民营   
 
           公司规模                 行业  \
 0  5000-10000人              汽车零配件   
 2  5000-10000人              计算机软件   
 3      50-150人           互联网/电子商务   
 5     10000人以上      电子技术/半导体/集成电路   
 6      50-150人  计算机服务(系统、数据服务、维修)   
 
                                                 福利描述 HR标签  
 0  五险一金, 员工旅游, 交通补贴, 专业培训, 年终奖金, 股票期权, 定期体检, 工作餐,...    是  
 2  餐饮补贴, 专业培训, 试用期全薪, 年终奖金, 绩效奖金, 五险一金, 定期体检, 不加班...    是  
 3  办公软件, 数据分析, 运营, 活动策划, 活动执行, 推广计划, 电商运营, 产品上下架,...    是  
 5                        c++, 软件开发, 五险一金, 免费班车, 专业培训    否  
 6  计算机, linux, svn, c++, git, 设计模式, 算法, 风控, 交易, 期...    是  , (5622, 15))

# 查看薪资列中不同格式的薪资表示方式
salary_formats = data_cleaned['薪资'].unique()

# 由于可能存在大量不同的格式，我们展示前30种格式作为示例
salary_formats[:30]

array(['8千-1.2万·14薪', '4-6千', '8千-1万', '1.1-2.2万', '1-1.5万·13薪',
       '1.4-1.8万', '1.7-2万', '2.2-3.3万', '2.5-4万·14薪', '1.6-2万',
       '8千-1.3万', '1.5-2万·13薪', '1.3-1.5万', '1.1-2万·13薪', '1.2-2万',
       '1-1.8万', '15-30万/年', '1.2-1.5万', '30-40万/年', '7千-1万', '2-3.5万',
       '5-6千·14薪', '1.5-3万', '2-4万·13薪', '1.4-2.8万', '1.4-1.7万',
       '1.8-2.5万', '9千-1.3万·13薪', '20-30万/年', '1.5-2.5万·14薪'],
      dtype=object)

data_cleaned.head(2)

def process_salary_components_v2(salary_split):
   代码省略

# 展示结果
data_cleaned[['薪资', '薪资下限', '薪资上限', '薪资发放次数']].head()

10000/12

833.3333333333334

# 修改计算月薪的函数，以更好地处理特殊格式的薪资数据
def calculate_monthly_salary_v2(lower_limit, upper_limit, year_end):
    代码省略

# 展示结果
data_cleaned[['薪资', '薪资下限', '薪资上限', '薪资发放次数', '计算月薪']].head()

def calculate_monthly_salary_v2(lower_limit, upper_limit, year_end):
   
# 展示结果
data_cleaned[['薪资', '薪资下限', '薪资上限', '薪资发放次数', '计算月薪']].head()

# 筛选出包含'年'的薪资数据
rows_with_year = data_cleaned[data_cleaned['薪资'].str.contains('年')]

# 显示这些行
rows_with_year.head(5)

def process_region(x):
  
data_cleaned['地区'] = data_cleaned['地区'].apply(process_region)
data_cleaned

5622 rows × 20 columns

data_cleaned.to_excel(r'合并数据1.xlsx',index=False)

data=pd.read_excel(r"合并数据1.xlsx")
data.head(2)

职位标题：招聘职位的名称。
薪资：职位提供的薪资范围，可能包含基本工资和其他形式的收入（如奖金、股票期权等）。
地区：职位所在的地理位置或城市。
工作年限要求：申请该职位所需的工作经验年限。
学历要求：申请该职位所需的最低学历水平。
发布时间：职位信息发布的日期和时间。
搜索关键词：用于搜索或找到该职位的关键词。
网页等级排名：职位信息在搜索结果中的排名或优先级。
职位等级排名：在职位搜索结果中的排序或优先级。
公司名称：发布职位的公司或组织的名称。
公司类型：公司的性质，如民营、已上市、合资等。
公司规模：公司的员工数量或规模。
行业：公司所属的行业或领域。
福利描述：职位提供的福利待遇，如五险一金、年终奖、员工旅游等。
HR标签：表示是否由人力资源部门直接发布的职位。
薪资_分割：薪资范围的详细分割，有助于进一步分析薪资结构。
薪资下限：薪资范围的最低值。
薪资上限：薪资范围的最高值。
薪资发放次数：一年内薪资发放的次数，通常是12次（每月一次），但有些职位可能包含额外的薪资发放，如年终奖等。
计算月薪：基于薪资范围和发放次数计算出的平均月薪。

可视化（薪资）

import matplotlib.pyplot as plt
import seaborn as sns
from wordcloud import WordCloud

# 设置图表的全局参数
plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置字体为黑体以显示中文
plt.rcParams['axes.unicode_minus'] = False    # 解决负号'-'显示为方块的问题
plt.rcParams['figure.dpi'] = 300              # 设置图表的清晰度为300 DPI

new_data=data

# 1. 计算月薪与工作年限要求的关系（柱状图）

# 提取不同工作年限要求的平均月薪
avg_salary_by_experience = new_data.groupby('工作年限要求')['计算月薪'].mean().sort_values()

计算月薪与工作年限要求的关系：通过柱状图展示，我们可以看到随着工作年限的增加，平均月薪也有所上升，尤其是对于要求更高年限经验的职位。

计算月薪与学历要求的关系：通过饼图展示，不同学历要求的职位所占的平均月薪比例不同。更高的学历通常与更高的薪资水平相关。

计算月薪与公司规模的关系：通过柱状图展示，显示了大型公司通常提供更高的薪资水平，而小型企业的薪资水平相对较低。

计算月薪与行业的关系：通过折线图展示，不同行业的薪资水平差异显著，一些高科技和专业行业（如互联网/电子商务、汽车零配件等）提供较高的平均月薪。

# 计算月薪与地区的关系（柱状图）

在提供最高平均月薪的地区中，排名前五的分别是“保定”、“北京”、“广西”、“深圳”和“上海”。这些地区的平均月薪相对较高，显示了这些城市的职位可能提供更具竞争力的薪酬。
相比之下，在提供最低平均月薪的地区中，排名前五的是“漳州”、“枣庄”、“天门”、“泸州”和“揭阳”。这些地区的平均月薪相对较低。
这表明地区差异是影响薪资水平的一个重要因素，一线城市和经济发达地区往往能提供更高的薪酬。

薪资发放次数

薪资发放次数的分布：柱状图展示了不同薪资发放次数的职位数量分布。我们可以看到，大多数职位的薪资发放次数集中在12次，这通常意味着每月一次的薪资发放。此外，还有一些职位的薪资发放次数高达13次或14次，这可能包括年终奖金或其他额外的薪资发放。

薪资发放次数与计算月薪的关系：另一个柱状图展示了不同薪资发放次数与平均计算月薪的关系。从图中可以看出，薪资发放次数更多的职位往往提供更高的平均计算月薪。这可能是因为包含额外福利或奖金的职位通常会有更多的薪资发放次数。

综上所述，薪资发放次数不仅反映了薪资的发放频率，而且与薪资水平密切相关。更频繁的薪资发放（如包含年终奖的情况）通常意味着更高的总体薪资水平。

搜索关键词

HR标签分布：堆叠柱状图展示了不同搜索关键词下的HR标签分布。不同的关键词下，HR标签为“是”和“否”的职位数量分布有所不同。这可能反映了不同关键词下职位的性质或招聘方式的差异。

平均计算薪资：柱状图显示了不同搜索关键词下的平均计算薪资。不同关键词对应的职位在薪资水平上存在差异，这可能与职位的类型、要求或所在行业有关。

公司类型分布：另一个堆叠柱状图展示了不同搜索关键词下的公司类型分布。不同关键词下，各种公司类型（如民营、已上市、合资等）的分布有所不同，反映了不同行业或职位类别的公司类型构成。

公司规模分布：最后一个堆叠柱状图展示了不同搜索关键词下的公司规模分布。这显示了不同关键词下，从小型到大型不同规模公司的职位数量分布。

综合来看，这些分析结果表明，不同搜索关键词下的职位在HR标签、薪资水平、公司类型和公司规模方面存在显著差异。这些差异可能与特定行业、职位类别或公司特性相关。

发布时间

按天分布的职位发布数量：分析不同日期的职位发布数量，查看是否有特定日期发布职位较多。
按小时分布的职位发布数量：分析一天中不同小时发布的职位数量，了解职位发布的高峰时段。
发布时间与薪资的关系：探索职位发布时间与提供的薪资之间是否存在相关性。
发布时间与其他特征的关系：例如，分析发布时间与公司类型、公司规模或工作年限要求之间的关系。



按天分布的职位发布数量：折线图显示了不同日期的职位发布数量。我们可以观察到发布职位数量在某些日期有显著的波动。这可能与工作日和周末的差异有关，或者由于某些特殊事件或季节性因素导致的职位发布活动增加。

按小时分布的职位发布数量：柱状图展示了一天中不同小时发布的职位数量。从图中可以看出，职位发布在某些特定的小时内较为集中，这可能反映了HR的工作习惯或是职位发布的最佳时段。

这些分析为理解职位发布的时间模式提供了直观的视角，有助于求职者或招聘专家理解何时是职位市场最活跃的时段。

网页等级和职位等级

网页等级排名与职位标题：分析不同职位标题下网页等级排名的分布。
网页等级排名与公司类型、规模、行业：探索网页等级排名与公司类型、规模和行业之间的关系。
职位等级排名与职位标题：分析不同职位标题下职位等级排名的分布。
职位等级排名与公司类型、规模、行业：探索职位等级排名与公司类型、规模和行业之间


行业
娱乐/休闲/体育            3.000000
办公用品及设备             6.000000
农/林/牧/渔             6.200000
石油/化工/矿产/地质         7.560976
家居/室内设计/装潢          7.800000
检测，认证               8.411765
多元化业务集团公司           8.452830
印刷/包装/造纸            8.500000
文字媒体/出版             8.538462
专业服务(咨询、人力资源、财会)    8.703125
Name: 职位等级排名, dtype: float64







网页等级排名与职位标题的关系：不同职位标题的网页等级排名存在差异。某些职位标题如“数据分析工程师”、“Python开发”等在搜索结果中的排名较高，而其他一些职位如“生物传感器算法工程师”、“数据库工程师”在搜索结果中的排名较低。

网页等级排名与公司类型、规模、行业的关系：公司类型、规模和行业也影响着网页等级排名。例如，已上市公司和大型企业的职位在搜索结果中的排名往往更高。

职位等级排名与职位标题的关系：与网页等级排名相似，不同职位标题在职位搜索结果中的等级排名也有所不同。

职位等级排名与公司类型、规模、行业的关系：这些因素同样影响职位等级排名，其中已上市公司和大型企业的职位在职位搜索结果中的等级排名通常较高。

总的来说，这些分析揭示了网页等级排名和职位等级排名与职位的具体特征之间的关联。特定类型的职位、公司类型、规模和行业可能会影响它们在搜索结果中的可见度和优先级。

词云

计算不同职位标题的平均薪资

平均薪资最高的前10个职位标题：这些职位通常包括了一些高技能、高要求的角色，如不同领域的专家、高级工程师、技术总监等。这反映了这些职位在市场上的高价值和对专业技能的重视。

平均薪资最低的后10个职位标题：这些职位可能是入门级别或者技术要求相对较低的职位，如一些基础的助理、初级工程师等。

计算不同地区的平均薪资

平均薪资最高的前10个地区：这些地区通常包括了一些经济发达、工业集中或者技术先进的城市，如北京、上海、深圳等。这些地区的高薪资水平反映了其经济繁荣和对高技能劳动力的需求。

平均薪资最低的后10个地区：这些地区可能经济发展相对滞后，或者生活成本较低，因此提供的薪资水平较低。

计算需求量最大的十个岗位

(职位标题
 ISP高级算法工程师                  75333.333333
 LakeHouse 公有云技术专家 - 火山引擎    70000.000000
 OLAP 引擎研发专家- Presto         70000.000000
 高级语音算法工程师                   70000.000000
 产品数据架构专家                    66666.666667
 数据湖 高级工程师/技术专家              65000.000000
 大模型算法工程师                    64166.666667
 数据管理高级工程师                   62500.000000
 视觉感知算法工程师                   62500.000000
 高级算法工程师-Global商业化-数据智能方向    62500.000000
 Name: 计算月薪, dtype: float64, 职位标题
 IE（ GSD分析工程师）                 0.0
 Supply Chain Specialist       0.0
 数据标注实习生                       0.0
 IT数据分析实习生                   150.0
 Python程序员（兼职）               200.0
 GAN生成人工智能研究员-金融方向（在线兼职）     300.0
 诚聘matlab和python技术工程师       1500.0
 AI Engineer（AI工程师）         2500.0
 PHP/JAVA/Python助理工程师兼职     3000.0
 软件测试实习生（24届）               3500.0
 Name: 计算月薪, dtype: float64)

平均薪资最高的前10个职位：

ISP高级算法工程师: 约 75,333 元/月
LakeHouse 公有云技术专家 - 火山引擎: 70,000 元/月
OLAP 引擎研发专家- Presto: 70,000 元/月
高级语音算法工程师: 70,000 元/月
产品数据架构专家: 约 66,667 元/月
数据湖 高级工程师/技术专家: 65,000 元/月
大模型算法工程师: 约 64,167 元/月
数据管理高级工程师: 62,500 元/月
视觉感知算法工程师: 62,500 元/月
高级算法工程师-Global商业化-数据智能方向: 62,500 元/月

平均薪资最低的后10个职位：

IE（GSD分析工程师）: 3000 元/月
Supply Chain Specialist: 3000 元/月
数据标注实习生: 3000 元/月
IT数据分析实习生: 150 元/月
Python程序员（兼职）: 200 元/月
GAN生成人工智能研究员-金融方向（在线兼职）: 300 元/月
诚聘matlab和python技术工程师: 1,500 元/月
AI Engineer（AI工程师）: 2,500 元/月
PHP/JAVA/Python助理工程师兼职: 3,000 元/月
软件测试实习生（24届）: 3,500 元/月

计算前十职位的最高薪资和最低薪资

可视化展示（全部）