目录

1. 读取txt文档

1.1 打开.txt文件逐行读取文件内容

#加上with可以自动关闭文件。
#有时报错可写成
#with open('test.txt','r'，encoding='utf-8') as f:
with open('test.txt','r') as f:
    #open为打开文件，r为读取
    f = open('test.txt','r')
    #逐行读取文件内容
    lines = f.readlines()
    #print(lines)

2.1 分割句子保存列表

sents = []
#遍历lines
for line in lines:
    #消除空格和空行
    line = line.strip()
    tokens = line.split(',')
    for token in tokens:
        if len(token) > 0:
            sents.append(token)
#print(sents)

2.2 filter使用：使用filter可将列表中的元素进行函数处理（append和expend区别）

例如将一个1-6的列表找出里面的偶数

#对列表中的数据进行筛选
nn = [1,2,3,4,5,6]
#filter(),第一个参数是对列表数据所做的函数，第二个是列表
#通过list将返回值转为list类型
l = list(filter(lambda x:x % 2 == 0,nn))
#print(l)

因此可以将上一步的token循环改写成：

#那么上面的token循环也可以写成：
sents = []
#遍历lines
for line in lines:
    #消除空格和空行
    line = line.strip()
    tokens = line.split(',')
    #现在是将每一行用，分割放到一个tokens里，每一个for循环都会有一个tokens转换为列表
    #我们不能在此处直接sents.append(tokens)，因为这样会将一个列表放到sents列表中
    #而我们想要列表中的元素放入sents中，因此要用extend方法,自动将列表中的元素加入到sents中
    tmp = list(filter(lambda x:len(x)>0,tokens))
    sents.extend(tmp)
print(sents)

3.1 获取列表中每个元素的长度：

#获取列表中每个元素的长度
lens = []
for sent in sents:
    lens.append(len(sent))
print(lens)
#也可以写成列表生成式的方式
#[]中先写加入到列表中的元素 再写循环
lens = [len(sent) for sent in sents]
print(lens)

拓展：列表生成式：

#列表生成式也可以用于字典（元组）
#(1,2) (1,3) (1,4) (1,5)
#(2,2) (2,3) (2,4) (2,5)
#(3,2) (3,3) (3,4) (3,5)
ll = [(x,y) for x in range(1,4) for y in range(2,6)]
print(ll)

4.1 筛选元素（for循环）：

要是判断文本中哪行存在某些字符：直接使用for循环

#判断哪个行里面有GAN这个字符
for sent in sents:
    if 'GAN' in sent:
        print(sent)

4.2 使用正则表达式（各类筛选条件）：

#也可以用正则表达式
#可以是‘GAN’，也可以找部门‘G.'就是带有G的字符，.就代表任意字符
#也可以是'[我你]'或者'[0-9]'或者'2[0-9]'或者'2[0-9]{3}'表示年份或者'[0-9]+'表示数据
import re
regex = 'GAN'
for sent in sents:
    if re.search(regex,sent) is not None:
        print(re.findall(regex,sent))

正则表达式更多方法见官网：

re — 正则表达式操作 — Python 3.11.0 文档

2. 写入文件操作（逐行写入）：

#写入文件
with open('output.txt','w') as f:
    #每个元素后面加上换行符
    sents = [sent + '\n' for sent in sents]
    #写入
    f.writelines(sents)