本文主要介绍在使用pandas进行数据分析过程中的数据预处理时，如果希望仅保留某些列的数据需要如何操作。同时介绍一些特殊情况，比如列是用变量存储；或者列是一个全集，处理的数据集中不一定包括列出的全部列名。
文章目录
- 场景说明
- 解决方案
- 基本使用
- 加入变量
- 考虑数据集没有包含全部目标字段的情况
场景说明
在数据处理的时候，可能会遇到数据集包含的数据字段并不是全部会用到，甚至有些用不到的字段内容较多，在存储上会占用较多空间，在读取和使用上可能会影响性能，所以需要考虑丢弃用不到的字段，仅保留需要使用的字段。
同时，我们可能遇到一些稍微复杂一点的场景，比如：
- 你想写一套通用程序来处理不同数据集。这些数据集对应相同类型但是不同场景，所以要使用的字段可能是作为变量传入的
- 你使用的数据集因为业务发生变化或者扩展到多个业务场景，不同场景使用同一个数据集，但使用到的字段集合不同
- 你使用的数据集来自爬虫，爬取的数据源网站会不断改版，能获取的到的数据字段可能发生变化
这就要求能够使用变量存储要使用的字段，同时数据集中的字段就算没有包含全部指定字段，也不能抛出KeyError之类的处理错误。
解决方案
基本使用
假设我们的数据集有四列，分别是col_1, col_2, col_3, col_4
python数据分析的预处理过程中常用的是pandas库，pandas库中对这种保留指定列/丢弃指定列有对应的写法和函数：
- 只保留两列
col_1和col_2
df = df[['col_1', 'col_2']] - 丢弃
col_3这一列
df = df.drop(['col_3', 'col_4'], axis=1)
加入变量
用变量把字段集合存储起来就可以改成：
fileds_to_use = ['col_1', 'col_2']
# 只保留两列 `col_1` 和 `col_2`
df = df[ fileds_to_use ]
# 丢弃`col_3`这一列
fields_to_drop = set(df.columns) - set(fileds_to_use)
df = df.drop(fields_to_drop, axis=1)
考虑数据集没有包含全部目标字段的情况
如果我们的数据集字段只有col_1, col_3, col_4三列，我们要使用的还是col_1, col_2两列，那么：
- 尝试
drop用不到的col_3和col_4不会出错 - 但是尝试用
df[ fileds_to_use ]会因为数据集里没有col_2而抛出KeyError: "['col_2'] not in index"的错误
解决这个问题本质上就是加一层检查，只有字段在数据集包含的列名中，才进行保留，可以自己写，也可以调用pandas的函数，如下：
# 自己写一个过滤
fileds_to_use = ['col_1', 'col_2']
fileds_set = set(fileds_to_use)
column_to_use = [column for column in df.columns if column in fileds_set]
df = df[ column_to_use ]
# 调用 pandas 的函数
column_to_use = df.columns[ df.columns.isin(fileds_to_use) ]
df = df[ column_to_use ]
# 因为 pandas 还有取反操作，所以额外说一下drop可以有下面这种写法
column_to_drop = df.columns[ ~df.columns.isin(fileds_to_use) ]
df = df.drop(column_to_drop, axis=1)
以上就是根据变量值保留数据集某些列的做法，挑选一种自己喜欢的写法即可。
好书推荐：
- 流畅的python
- Python编程 从入门到实践 第2版
- Python数据结构与算法分析 第2版
好课推荐：
- 零基础学python
- python核心技术与实战
- python自动化办公实战
写文不易，如果对你有帮助的话，来一波点赞、收藏、关注吧~👇
文章出处登录后可见！
已经登录？立即刷新
