1. 参考链接
- 🍀这个链接真的超详细!👉利用谷歌colab跑github代码AttnGAN详细步骤 深度学习实验(colab+pytorch+jupyter+github+AttnGAN)
- 🍀使用自己数据集在google colab上进行yolov5模型训练
- Google colab 安装旧版本pytorch1.6
- colab 上挂载云盘,切换到指定目录
- Colab使用教程(我觉得这篇文章写得很小清新)
❀❀❀❀❀
关于mmdetection在Colab上的配置,可参考以下🔗:
- 🍀官方教程已经写得很清楚啦mmdetection-Object Detection
- 链接1
- 链接2
2. 有用的命令
- 挂载云盘 + cd进入到项目目录
# 挂载到云盘
from google.colab import drive
drive.mount("/content/drive")
# 进入项目(注意必须是单引号),并切换进mmdetection-2.24.1目录,开始运行代码
import os
os.chdir('/content/drive/MyDrive/mmdetection_work/')
%cd /content/drive/MyDrive/mmdetection_work/mmdetection-2.24.1
- 返回上一级:
!cd …
(但是好像有时候用%
才有用呀,要切换到某目录下,就写成%cd 路径
) - 删除某个文件或者文件夹:
!rm -rf <文件or文件夹>
- 查看当前目录:
!pwd
- 查看当前目录里的所有文件和文件夹:
!ls
- 解压zip格式的压缩文件(text.zip为目标文件):
!unzip text.zip
- 解压tar格式的压缩文件(CUB_200_2011.tgz为目标文件):
!tar -xf CUB_200_2011.tgz
- 显示GPU信息:
!nvidia-smi
- 显示当前Cuda信息:
!nvcc -V
- 显示当前Torch版本:
import torch
print(torch.__version__)
3. 过程-参考第一个链接!
3.1 打开colab,连接云端虚拟机
(1) 进入谷歌云端硬盘 google drive 后,新建一个文件夹取名为mmdetection_work
(专用于colab进行mmdetection训练)
(2) 进入到mmdetection_work
文件夹(此时为空),右键,在更多中找到colaboratory(如图)
![使用Colab训练步骤(有点mmdetection内容)](https://aitechtogether.com/wp-content/uploads/2022/06/2e742d2a-443f-4d67-a238-1283e0b8835b.webp)
(3) 跳转来到Colab界面,如下图所示,相当于Jupyter,以文档的形式展现,可以运行和共享代码(点击上面的文件名Untitled0.ipynb可直接改名,我重命名为“)
注意左边那个橘色的文件夹部分,当成功连接到可执行文件时,就会显示自己挂载的云盘以及相应文件夹。
![使用Colab训练步骤(有点mmdetection内容)](https://aitechtogether.com/wp-content/uploads/2022/06/4c88f9bb-d2cb-4129-bcf6-85943745b9eb.webp)
等待后,显示这样就是连接成功
![使用Colab训练步骤(有点mmdetection内容)](https://aitechtogether.com/wp-content/uploads/2022/06/8009f888-9f22-4953-8820-e03532cb9a48.webp)
(4) 点击连接,连接谷歌colab为你提供的虚拟机
![使用Colab训练步骤(有点mmdetection内容)](https://aitechtogether.com/wp-content/uploads/2022/06/62cc284d-fb13-45cf-9253-87b82adbea92.webp)
(5) 更改虚拟机设置,使用GPU,准备开始白嫖
点击左上角修改-笔记本设置-硬件加速改为GPU
![使用Colab训练步骤(有点mmdetection内容)](https://aitechtogether.com/wp-content/uploads/2022/06/cbfba6a3-4e05-4007-a849-0369f2c6dffc.webp)
![使用Colab训练步骤(有点mmdetection内容)](https://aitechtogether.com/wp-content/uploads/2022/06/8423434d-900c-4b05-921e-bc750fa4ecd2.webp)
运行命令!nvidia-smi
可查看分配的GPU信息
3.2 配置实验资源(code+dataset)
(1) 运行以下代码装载谷歌云端硬盘到虚拟机
from google.colab import drive
drive.mount('/content/drive')
(2) cd进入到mmdetection文件夹下,然后克隆github项目到虚拟机sample_data文件夹(一般情况下放在此文件夹,别处也可以)
首先找到github代码的HHTPS地址,如YOLOv5的:
![使用Colab训练步骤(有点mmdetection内容)](https://aitechtogether.com/wp-content/uploads/2022/06/3e5e39d8-a4ad-4b3c-abcb-6eb170318bfc.webp)
然后在colab中输入克隆命令:
# install dependencies: (use cu111 because colab has CUDA 11.1)
!pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html
# install mmcv-full thus we could use CUDA operators
!pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.9.0/index.html
# Install mmdetection
!rm -rf mmdetection
!git clone https://github.com/open-mmlab/mmdetection.git
%cd mmdetection
!pip install -e .
(剩下的操作还是看原链接吧,因为我还不大看得懂┭┮﹏┭┮:👉利用谷歌colab跑github代码AttnGAN详细步骤 深度学习实验(colab+pytorch+jupyter+github+AttnGAN)还有官方文档mmdetection-Object Detection)
4. 使用colab的注意事项
- colab的GPU使用是完全免费的,随便用,乱用,使劲用,加油一起薅谷歌的羊毛。
- 执行命令行前面加
!
- 自带深度学习基础库及库的安装:
- Colab 自带了Pytorch, Tensorflow、Matplotlib、Numpy、Pandas 等深度学习基础库。
- 如果还需要其他依赖,如 Keras,可以新建代码块,利用
pip
安装
- 连续使用超过12小时会被限制,使用时中途保存模型文件
- 如果虚拟机长时间未检测到你有什么指令和动作,会自动切断连接,一切就得重新来(可查看本文的《4.断连问题解决方法》)
- 不要心动去充钱升级权限,国内也有很多优秀的云服务(例如AutoDL)
5. 断连问题解决方法
使用 F12
或者是 Ctrl + Shift + I
键就可以打开,然后选择 Console,键入以下代码 + Enter即可。
function ClickConnect(){
console.log("Working");
document.querySelector("colab-toolbar-button#connect").click()
}
setInterval(ClickConnect,60000)
文章出处登录后可见!