内容

1.1在谷歌云盘上创建文件夹

1.2 创建一个新的Colab Notebook

1.3 设置免费的GPU

1.4  执行命令

1.5 挂载Google Drive

1.6 如何上传文件

1.7 运行自己的代码

1.8 如何防止Colaboratory断掉

1.9 数据解压

防范措施

1.1在谷歌云盘上创建文件夹

当登录账号进入谷歌云盘时，系统会给予15G免费空间大小。由于Colab需要依靠谷歌云盘，故需要在云盘上新建一个文件夹。比如，我建立一个名为mask_Rcnn的文件夹：

1.2 创建一个新的Colab Notebook

–先把谷歌云盘关联上colab
点击 New -> More -> 关联找到更多应用， 找到Google Colaboratory，关联上。

–在文件夹内的空白处右键 -> 更多 -> Colaboratory

–或者点击 新建 -> More ->Google Colaboratory

创建完成后会出现如下界面，点击文件名重命名文件：

1.3 设置免费的GPU

它是很容易更换默认的硬件（None,GPU,TPU），通过 修改->笔记本设置或者代码执行程序->更改运行时类型来选择GPU，作为硬件加速.

• 查看自己是否处于GPU环境
  
• 只需运行以下代码
  
• import tensorflow as tf tf.test.gpu_device_name()
  
• 如果显示下面的代码就证明是在GPU环境下,但如果什么都没有显示出来的话，说明不是在GPU环境，那么返回到打开GPU重新设置即可
  

1.4执行命令

colab这个相当于jupyter notebook，可以直接运行python 代码，如

import os
import numpy as np
x='ok'
print(x)

这个notebook又可以执行linux下的一些命令，因为这其实是一台linux的虚拟机，只不过执行linux命令的时候前面要加!，比如：!ls , !pwd等等

1.5 挂载Google Drive

其实就是让这个notebook可以访问到你的谷歌云盘，运行以下代码，会出现一个授权链接。

from google.colab import drive
import os
drive.mount("/content/drive", force_remount=True)

将当前目录切换到谷歌云盘，然后查看你的云盘中的文件；

之后每次重新登录都要1.5这两个步骤.接下来就可以像使用linux系统一样去使用了。

1.6 如何上传文件

第一种：直接上传

第二种：代码上传

转到文件所在的目录

import os
path="/content/drive/My Drive/Colab Notebooks/Your directory name"
os.chdir(path)
os.listdir(path)
!python train.py  //注意colab中执行命令前要加！

第三种：github上传

通过colab使用github或本地Notebook,点击 文件->上传笔记本，然后在弹出的窗口中选择合适的选项：

1.7导入库

最新colab 默认是可以导入tensorflow 和pytorch,默认的安装包可以通过如下命令查看：

!pip list

便会输出所有pip的包。如果没有可以通过命令安装

!pip install 
!apt-get install

接着是Pytorch, Pytorch的安装和我们在Linux上安装一样,点击官网选择要环境。然后只需要将官网提供的代码copy到我们的代码块中，并且在代码前加上一个“!”点击运行即可，如下

!pip3 install https://download.pytorch.org/whl/cu80/torch-1.0.0-cp36-cp36m-linux_x86_64.whl
!pip3 install torchvision

然后我们可以输入官网提供的代码进行安装测试。如果有如下输出，就证明我们的安装成功了

import torch
x = torch.empty(5, 3)
print(x)

tensor([[1.1790e-25, 0.0000e+00, 4.4842e-44],
        [0.0000e+00,        nan, 1.6255e-43],
        [3.3587e-06, 5.2898e+22, 6.5625e-10],
        [2.0804e+23, 8.2726e+20, 6.6715e-10],
        [1.6993e-04, 2.7150e-06, 6.0611e-39]])

如果要安装其他的包，框架，或者某一版本的方法和我们在Linux环境下安装几乎没有差别 只需要注意在运行前加上“!”，换计划说你可以把Google Colab看成是一个Linux系统的页面。

注意：

cuda/cudnn的安装，直接贴链接Google Colab NVIDIA安装，不过现在不需要安装了。

1.8运行自己的代码

先挂载，然后进入文件所在目录

import os
os.chdir('/content/drive/MyDrive/mask_Rcnn') 

然后，您可以运行自己的主要功能

!python train.py

可以显示RAM和Disk才是正常的Colaboratory状态，如果出现busy表示GPU忙不可用。

如何改变busy的状态呢，重新连接Colaboratory即可。点完之后，状态就变成了restarting重启。

不过需要注意的是，重启后所有状态都被清除了，需要重新运行代码才能做到。

1.8 如何防止Colaboratory断掉

• 安装Auto reconnect colab，只要浏览器打开页面有网，就可以一直给你连接上，
  
• 我这里设置的是2分钟连接一次，具体时间间隔，就看你自己的心情了
  

1.9 数据解压

用 Google Colab 解压zip大文件时，（授权后）先不要更改工作目录，直接在默认目录”/content”下解压！

!unzip xxx.zip

在Colab notebook中发现解压文件速度奇慢无比。在之后的几次尝试中发现，打开 Colab notebook 并授权后，先不要更改工作目录，直接将数据集压缩文件下载到当前目录”/content”下，并使用 “!unzip”命令解压，速度和在pc上解压差不多。再将解压后的文件移动到指定文件夹下即可，然后就可以更改工作目录了。

总结一下：先把数据集压缩打包，然后把压缩包传到谷歌云，再压缩，速度可以快很多。

1.10  使用技巧

查看函数帮助文档和源代码

与IDE相似，您可以通过按Ctrl，然后单击一个类名来转到类定义。例如，在这里我们通过按Ctrl并单击Dense类名来查看Keras中Dense层的类定义。

防范措施

1. Colab是带有GPU的linux虚拟机，执行linux命令时前面需要加“ ！”，执行python代码时可以直接编写执行。
   
2. 每次重新登录需要挂载Google Drive，会在虚拟机里生成一个drive（即/content/drive/）文件夹，然后要执行命令将当前路径切换到/content/drive/My Drive/，才可以看到谷歌云盘上的文件。
   
3. Colab最多连续使用12小时，超过时间系统会强制掐断正在运行的程序并收回占用的虚拟机。并且经常使用GPU的colab用户之后分配到使用GPU的优先级会变低，所以不用的使用请将runtime type设置为None。
   
4. 上传数据集的时候，一定要上传到谷歌网盘中，并且一定要上传的是压缩包，在Colaboratory中解压才行。
   
5. 每次跑一步都需要等待很长时间，而且一直在转圈
   
6. 挂载只有12个小时，也就是说12小时之后你就需要重现挂载一次，所以就需要我们在进行模型训练的时候记得要加上 checkpoint ，不然你如果训练的模型超过12小时，Google断开挂载你就白白浪费12小时啦。
   
7. 如果您离开页面太久，它会自动断开连接。如果电脑断网，或者关机重启，只要时间不是特别长，一般都可以，但如果时间过长，就只能重新练了。
   
8. 一类运行时间长的任务会被打断