NCCL源码安装


很多情况下,使用深度学习多GPU训练需要使用nccl,这里介绍最简单的待安装机器无法联网的安装方法,且安装包与系统版本无关,只与cuda版本有关。更多内容参见nccl 官网

1、下载

根据需要选择具体的架构,我们这里先x86,接着选与系统无关的那个:

下载好的文件是nccl_2.8.4-1+cuda11.2_x86_64.txz 这样一个以txz结尾的文件

2、解压

tar xvf nccl_2.8.4-1+cuda11.2_x86_64.txz

解压后,里边两个文件夹 include 和 lib

3、填加环境变量

vim ~/.bashrc

在最后加上:


export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/where_your_path/nccl_2.8.4-1+cuda11.2_x86_64/include/:/where_your_path/nccl_2.8.4-1+cuda11.2_x86_64/lib

即可。
如果要安装给所有人用,可以将nccl_2.8.4-1+cuda11.2_x86_64文件夹拷到/usr/local下。
安装好以后,conda 环境,virtualenv等环境下都是可以用的。要注意的是,conda环境中有自己的cuda和cudnn,选择nccl对应版本时要按照conda环境中的cuda版本来进行处理
对于paddle可以输入:

import paddle
paddle.utils.run_check()

会返回所有可用gpu数量。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
上一篇 2022年5月26日 下午12:58
下一篇 2022年5月26日 下午1:03

相关推荐

本站注重文章个人版权,不会主动收集付费或者带有商业版权的文章,如果出现侵权情况只可能是作者后期更改了版权声明,如果出现这种情况请主动联系我们,我们看到会在第一时间删除!本站专注于人工智能高质量优质文章收集,方便各位学者快速找到学习资源,本站收集的文章都会附上文章出处,如果不愿意分享到本平台,我们会第一时间删除!