如何训练全自动的安卓ai脚本(yolov5 为例) 实现游戏应用自动屏幕识别点击

必要资源

• yolo训练方法，调参要点:https://docs.ultralytics.com/
• ncnn yolov5 示例:https://github.com/nihui/ncnn-android-yolov5
• 在线模型转换：https://convertmodel.com/

硬件配备

32G + 内存, 2060+ 英伟达显卡

操作步骤

1.准备好数据集，使用labelme进行标注，并转换为coco数据集

2.把yolov5 源码下载到本地电脑磁盘

3.查看训练yaml配置，自己模仿写一个

4.查看数据集配置，自己模仿写一个

5.开始训练

6.转换导出pt模型到onnx

7.onnx转换为ncnn

8.进行ncnn optimize优化

9.编辑ncnn(optimize)模型中的param文件，如下图

使用Yyds.Auto加载模型

# 第一步 加载模型
model_yolo_reload("example.bin", "example.param")
# 第二步 以当前屏幕为目标，进行前向推导计算
screen_yolo_locate()
# 最后 根据上一个函数的判断结果，如发现目标，则进行点击