python读取.data文件总结

python读取.data文件总结

参考资料

How to read .data files in Python?

.data文件格式

.data文件是用来存储数据的一种文件格式。之前通常数据是用逗号隔开或tab健隔开的格式，现在也可能是文本文件格式或二进制文件格式。

识别.data文件里面的数据

1、先测试一下文件是文本文件还是二进制文件

用网上可以下载到的iris.data文件来举例(iris.data文件下载地址：https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data)，代码如下：

# 通过python自带的文件读取文本文件
file=open('iris.data','r')
data=file.read()
print(data)
file.close()

运行之后，可以看到结果（此处放部分数据结果）：

根据打印出来的数据结果，可以分析出来，iris.data存的是文本数据，并且是用逗号分隔的，也可以认为是csv文件格式。

如果打印出来的数据结果不是文本类型的话，可以测试一下是不是二进制文件，代码如下：

# 通过python自带的文件读取二进制文件
file=open('iris.data','rb')
data=file.read()
print(data)
file.close()

2、用Pandas读取.data文件

方法如下：
用read_csv()方法读取文件，这个方法会自动创建一个dataframe，将数据转换进去，代码如下：

# 使用Pandas读取数据
import pandas as pd
data=pd.read_csv('iris.data',header=None,sep=',')
print(data)

注意：在第一步里面查看文件内容的时候，发现iris.data文件里面没有表头，iris.data的表头是在iris.names文件里面进行说明的(附上iris.names文件下载地址：https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.names)，所以在read_csv函数调用的时候，需要加上header=None，否则data里面的第一行就会自动变成表头，这样的话150行数据就变成149行。
运行之后，显示结果如下：

3、其他数据存储类型

除了上述提到的文件格式外，还有json格式和pickle。
在读取的时候，需要import json和import pickle后，调用json.dumps()方法和pickle.dump()方法进行读取。