Python读取配置文件

一、 yaml

1、 准备

支持的数据类型：

字典、列表、字符串、布尔值、整数、浮点数、Null、时间等

基本语法规则：

1. 大小写敏感
2. 使用缩进表示层级关系
3. 相同层级的元素左侧对齐
4. 键值对用冒号 “:” 结构表示，冒号与值之间需用空格分隔
5. 数组前加有 “-” 符号，符号与值之间需用空格分隔
6. None值可用null 和 ~ 表示
7. 多组数据之间使用3横杠—分割
8. #表示注释，但不能在一段代码的行末尾加 #注释，否则会报错

python没有自带的处理yaml文件的库，需要下载第三方库PyYAML 或 ruamel.yaml ，这里我们安装PyYAML ，同时写入测试数据

pip install pyyaml
cat << EOF > test.yaml
os: Android
osVersion: 10
account:
  username: xiaoqq
  password: 123456
deviceName: null
appPackage: ~
bool1: True
EOF

2、 操作数据

2.1 读取数据

import yaml

with open('test.yaml', 'r', encoding='utf-8') as f:
    result = yaml.load(f.read(), Loader=yaml.FullLoader)
print(result)  # 其返回一个字典数据

2.2 写入数据

# -*- coding:utf-8 -*-
import yaml

data = {
    "name": "李华",
    "friends": [
        "first",
        "second"
    ],
    "age": 17
}
with open('./new.yml', 'w', encoding='utf-8') as f:
   yaml.dump(data=data, stream=f, allow_unicode=True)

二、 ini

1、准备

配置文件作为一种可读性很好的格式，非常适用于存储程序中的配置数据。 在每个配置文件中，配置数据会被分组。 每个分组在其中指定对应的各个变量值。

这里我们使用configparser库来读取conf文件

环境准备：

pip install configparser  # 安装第三方库
cat << EOF > test.ini  # 创建配置文件
[config]
platformName=Android
appPackage=com.romwe
appActivity=com.romwe.SplashActivity

[cmd]
viewPhone=adb devices
startServer=adb start-server
stopServer=adb kill-server

[log]
log_error=true
EOF

2、 操作数据

2.1 读取数据

# -*- coding:utf-8 -*-
from configparser import ConfigParser

cp = ConfigParser()
cp.read("test.conf")
print(cp.items("cmd"))  # 获取cmd节点下的所有键值对
print(cp.sections())  # 获取所有的节点
print(cp.get("config", "platformName"))  # 获取platformName的值

2.2. 写数据

# -*- coding:utf-8 -*-
from configparser import ConfigParser

cp = ConfigParser()
cp.read("test.conf")
cp.set("config", "platformName", "apple")  # 修改数据
cp.add_section("test")  # 添加节点，还可以添加选项
cp.remove_section("cmd")  # 移除节点
cp.write(open("test.conf", "w", encoding="utf-8"))

三、 xml

1、 准备

XML 易于扩展，主要用来传送和存储数据，聚焦的是数据的内容。

Python 有三种 XML 解析方式：SAX（simple API for XML）、DOM（Document Object Model）、ElementTree。

• DOM 方式：DOM 中文译为文档对象模型，是 W3C 组织推荐的标准编程接口，它将 XML 数据在内存中解析成一个树，通过对树的操作来操作 XML。
• SAX 方式：SAX 是一个用于处理 XML 事件驱动的模型，它逐行扫描文档，一边扫描一边解析，对于大型文档的解析拥有巨大优势，尽管不是 W3C 标准，但它却得到了广泛认可。
• ElementTree 方式：ElementTree 相对于 DOM 来说拥有更好的性能，与 SAX 性能差不多，API 使用也很方便。

这里就使用 ElementTree 的方式对XML进行解析：

首先创建一个XML文件test.xml：

<?xml version="1.0" encoding="utf-8" ?>
<list>
    <student id="stu1" name="stu">
        <id>1001</id>
        <name>张三</name>
        <age>22</age>
    </student>
    <student id="stu2" name="stu">
        <id>1002</id>
        <name>李四</name>
        <age>23</age>
    </student>

</list>

xml是python内置的库

2、 操作数据

2.1 读取数据

由于我对xml数据的操作不太熟悉，这里只展示对xml数据的写入

#!/usr/bin/python3
# -*- coding: UTF-8 -*-
import xml.etree.ElementTree as ET

tree = ET.parse("test.xml")
# 根节点
root = tree.getroot()
# 标签名
print('root_tag:', root.tag)
for stu in root:
    # 属性值
    print("stu_name:", stu.attrib["name"])
    # 标签中内容
    print("id:", stu[0].text)
    print("name:", stu[1].text)
    print("age:", stu[2].text)

2.2 写入数据

# -*- coding:utf-8 -*-

import xml.etree.ElementTree as ET


# 增加换行符
def __indent(elem, level=0):
    i = "\n" + level * "\t"
    if len(elem):
        if not elem.text or not elem.text.strip():
            elem.text = i + "\t"
        if not elem.tail or not elem.tail.strip():
            elem.tail = i
        for elem in elem:
            __indent(elem, level + 1)
        if not elem.tail or not elem.tail.strip():
            elem.tail = i
    else:
        if level and (not elem.tail or not elem.tail.strip()):
            elem.tail = i


root = ET.Element('Root')  # 创建节点
tree = ET.ElementTree(root)  # 创建文档

for i in range(5):
    element = ET.Element('Name')
    element.set('age', str(i))
    element.text = 'default'
    root.append(element)

__indent(root)  # 增加换行符
tree.write('default.xml', encoding='utf-8', xml_declaration=True)

# # 文档内容
# <?xml version='1.0' encoding='utf-8'?>
# <Root>
#     <Name age="0">default</Name>
#     <Name age="1">default</Name>
#     <Name age="2">default</Name>
#     <Name age="3">default</Name>
#     <Name age="4">default</Name>
# </Root>

四、 env

1、 准备

.env文件，是存放环境变量的文件

文件说明：

• .env：全局默认配置文件，无论什么环境都会加载合并。
• .env.development：开发环境的配置文件
• .env.production：生产环境的配置文件

首先，我们先来暂时创建一个test.env

ADMIN_HOST = https://uat-rm-gwaaa.cn
ADMIN_LOGIN_ROUTE = /api/rm/auth/admin/login
ADMIN_LOGIN_DATA = {"phone":"13922221111","paord":"6d614954ed51"}

项目中的环境变量写到.env文件里，以k，v的方式读取作为环境变量

环境配置：

pip install python-dotenv  # 安装dotenv

2、 读取文件

最简单和最常见的用法是在应用程序启动时调用load_dotenv，从当前目录或其父目录中的.env文件或指定的路径加载环境变量，然后调用os.getenv提供的与环境相关的方法

from dotenv import load_dotenv, find_dotenv
from pathlib import Path
from glob import glob
from os import getenv


for i in glob(str(Path(__file__).parent / "*.env")):  # 获取到所有的环境变量的值
    # load_dotenv(find_dotenv(i), verbose=True)  # 加载环境变量
    load_dotenv(dotenv_path=i, verbose=True)  # 这两个方法用法一样，具体用法可以到百度自行搜索

print(getenv("admin_host"))

环境变量，顾名思义，其为不变的量，相当于一个常量，所以这里就不提供修改环境变量的值，再加载到文件中的方法了。

五、 json

1、 准备

用json文件作为配置文件来保存一些可能要人工修改的参数，主要技巧在于将字典内容转为变量。这里，我们使用JSON模块来读取json文件。其为python的内置库。

首先，我们先创建一个test.json

{
    "target_dir": "E:/data",
    "interval_mins": 5,
    "time_record": "201904011230"
}

2、 操作数据

然后，创建脚本来操作这个配置文件：

#!/usr/bin/python3
# -*- coding: UTF-8 -*-
__author__ = "A.L.Kun"
__file__ = "demo01.py"
__time__ = "2022/10/7 7:55"
import json


path = "test.json"
with open(path, "r", encoding="utf-8") as f:
    data = json.load(f)   # 加载我们的数据
    print(data)
    
    
with open(path, "w", encoding="utf-8") as f:
    data["temp"] = [1, 2, 3]  # 修改我们的配置，重新保存到文件中
    json.dump(data, f, indent=3, ensure_ascii=False)

更多json详细的操作，可以看这篇博客：https://blog.csdn.net/qq_62789540/article/details/122482706

六、 toml

1、 准备

TOML 的目标是成为一个极简的配置文件格式。TOML 被设计成可以无歧义地被映射为哈希表，从而被多种语言解析。

我们使用toml库来解析toml文件

首先，我们进行环境准备：

pip install toml 
cat << EOF > test.toml
title = "TOML in file a"

[owner]
name = "Tom Preston-Werner"
organization = "GitHub"
bio = "GitHub Cofounder & CEO\nLikes tater tots and beer."
dob = 1979-05-27T07:32:00Z
EOF

2、 操作数据

2.1 读取数据

# -*- coding:utf-8 -*-
import toml
path = "test.toml"

a = toml.load(path)
print(a)

2.2 写入数据

# -*- coding:utf-8 -*-
import toml
path = "test.toml"

data = {
    "name": "李华",
    "friends": [
        "first",
        "second"
    ],
    "age": 17
}

toml.dump(data, open(path, "w", encoding="utf-8"))

七、 HOCON

1、 准备

HOCON（Human-Optimized Config Object Notation）是一个易于使用的配置文件格式。它被用于 Sponge 以及利用 Sponge API 的独立插件以储存重要的数据，比如配置或者玩家数据。HOCON 文件通常以 .conf 作为后缀名。

组成部分

• 一个 key 是一个键值对字符串中的前一个值
• 一个 value 可以是字符串、数字、对象、数组或者布尔值并紧随 key 的后面
• 一个 key-value separator 把键和值分离，可以是 : 或者 =
• 一个 comment 以 # 或者 // 开头，通常用于提供反馈或说明

我们这里直接使用Nginx的配置文件作为演示，test.conf：

deployment {
      proxy {
        // Name has to be replaced with the name of the project
        cluster.NAME {
          property1 = [a_list]
          property2.host = "hostname"
        }
      }
}

环境准备，这里使用pyhocon 库来读取文件：

pip install pyhocon 

2、 数据操作

2.1 读取数据

# -*- coding:utf-8 -*-
from pyhocon import ConfigFactory, HOCONConverter
import json
with open("test.conf", "r", encoding="utf-8") as f:
    data = f.read()
    
config_data = ConfigFactory.parse_string(data)
config_data = json.loads(HOCONConverter.to_json(config_data))
print(config_data)

2.2 写入数据

# -*- coding:utf-8 -*-
from pyhocon.tool import HOCONConverter
from pyhocon.config_tree import ConfigTree

s = {
    "name": "Luihua",
    "age": 23,
    "dic": {
        "1": "asd",
        "2": "a"
    }
}
data = ConfigTree(s)  # 注意要先转换为ConfigTree对象才能成功

with open("test.conf", "w", encoding="utf-8") as f:
    f.write(HOCONConverter.to_hocon(data))

基本的配置文件的读取方式都在这里了，大家可以根据自己的需求学习！