【Python】Numpy用fromfile和tofile读写文件

文章目录

• • tofile
  • fromfile

fromfile和tofile既可以读写二进制文件，也可以读写文本文件，是非常灵活的文件读取函数。

tofile

考虑到大家手头没有合适的文件以供读写，所以先讲解tofile，其定义为

ndarray.tofile(fid, sep='', format='%s')

其中sep表示分隔符，当sep为空('')时，将存储为二进制文件，否则存储为文本。当存储为文本时，可通过format来设置文本的存储格式。

import numpy as np
x = np.random.randint(10, size=[5,10])
print(x)
'''
[[8 5 5 4 1 5 9 0 8 8]
 [1 4 9 2 2 8 6 3 0 8]
 [0 6 7 8 9 0 6 6 2 1]
 [2 8 6 0 5 0 4 8 6 8]
 [3 0 1 3 5 9 7 1 6 5]]
'''
x.tofile("test.bin")

由于sep默认为''，所以test.bin是二进制文件，为了确认这一点，可以打开看一下

>>> x.tofile("test.bin")
>>> with open('test.bin', 'rb') as f:
...   f.read()
...
b'\x08\x00\x00\x00\x05\x00\x00\x00\x05\x00\x00\x00\x04\x00\x00\x00\x01\x00\x00\x00\x05\x00\x00\x00\t\x00\x00\x00\x00\x00\x00\x00\x08\x00\x00\x00\x08\x00\x00\x00\x01\x00\x00\x00\x04\x00\x00\x00\t\x00\x00\x00\x02\x00\x00\x00\x02\x00\x00\x00\x08\x00\x00\x00\x06\x00\x00\x00\x03\x00\x00\x00\x00\x00\x00\x00\x08\x00\x00\x00\x00\x00\x00\x00\x06\x00\x00\x00\x07\x00\x00\x00\x08\x00\x00\x00\t\x00\x00\x00\x00\x00\x00\x00\x06\x00\x00\x00\x06\x00\x00\x00\x02\x00\x00\x00\x01\x00\x00\x00\x02\x00\x00\x00\x08\x00\x00\x00\x06\x00\x00\x00\x00\x00\x00\x00\x05\x00\x00\x00\x00\x00\x00\x00\x04\x00\x00\x00\x08\x00\x00\x00\x06\x00\x00\x00\x08\x00\x00\x00\x03\x00\x00\x00\x00\x00\x00\x00\x01\x00\x00\x00\x03\x00\x00\x00\x05\x00\x00\x00\t\x00\x00\x00\x07\x00\x00\x00\x01\x00\x00\x00\x06\x00\x00\x00\x05\x00\x00\x00'

可以看出其存储的内容以4个字节为一组，并且高位高地址，0x08 0x00 0x00 0x00正是8，0x05 0x00 0x00 0x00正是5，依次类推。

如果对sep赋了值，那么存储内容也会相应地发生变化

x.tofile('test.txt', sep='|')

这个test.txt可以直接打开，内容是

8|5|5|4|1|5|9|0|8|8|1|4|9|2|2|8|6|3|0|8|0|6|7|8|9|0|6|6|2|1|2|8|6|0|5|0|4|8|6|8|3|0|1|3|5|9|7|1|6|5

format可以指明输出文档的数字格式，例如

x.tofile('test.txt', sep=',', format="%f")

所得到的test.txt中，数字就会有小数点。

fromfile

fromfile相当于是tofile的对偶函数，其定义为

fromfile(file, dtype=float, count=-1, sep='', offset=0, *, like=None)

其中file, sep自不必说，dtype表示读取之后赋予的数据类型，count表示读取的项目；offset表示偏移量；like为一个数组，这个数组决定读取数据之后输出数组的形状。

如果不声明dtype，则会默认为是float类型，从而导致灾难性后果

>>> y = np.fromfile('test.bin')
>>> y
array([1.06099790e-313, 8.48798317e-314, 1.06099790e-313, 4.44659081e-323,
       1.69759663e-313, 8.48798316e-314, 4.24399159e-314, 1.69759663e-313,
       6.36598738e-314, 1.69759663e-313, 1.27319747e-313, 1.69759663e-313,
       4.44659081e-323, 1.27319747e-313, 2.12199579e-314, 1.69759663e-313,
       2.96439388e-323, 2.47032823e-323, 1.69759663e-313, 1.69759663e-313,
       1.48219694e-323, 6.36598737e-314, 1.90979621e-313, 2.12199579e-314,
       1.06099790e-313])

由于此前用tofile保存的是整型，所以读取的时候也得是整型

>>> y = np.fromfile('test.bin', dtype=int)
>>> print(y)
[8 5 5 4 1 5 9 0 8 8 1 4 9 2 2 8 6 3 0 8 0 6 7 8 9 0 6 6 2 1 2 8 6 0 5 0 4
 8 6 8 3 0 1 3 5 9 7 1 6 5]

这回味儿就对了。

而且二进制和文本一定要注意区分，即sep不能弄错，否则也会无法读取到想要的数据

>>> y = np.fromfile('test.bin', dtype=int, sep=',')
<stdin>:1: DeprecationWarning: string or file could not be read to its end due to unmatched data; this will raise a ValueError in the future.
>>> y
array([], dtype=int32)
>>> y = np.fromfile('test.txt', sep=',')
>>> y
array([8., 5., 5., 4., 1., 5., 9., 0., 8., 8., 1., 4., 9., 2., 2., 8., 6.,
       3., 0., 8., 0., 6., 7., 8., 9., 0., 6., 6., 2., 1., 2., 8., 6., 0.,
       5., 0., 4., 8., 6., 8., 3., 0., 1., 3., 5., 9., 7., 1., 6., 5.])