Pytorch训练过程中出现RuntimeError: falseINTERNAL ASSERT FAILED… Couldn‘t open shared file mapping…

一句话：换成pytorch1.8。

一、问题描述

今天跑一个开源的模型跑到第9个epoch时报错，如下：

RuntimeError: falseINTERNAL ASSERT FAILED at "..\\aten\\src\\ATen\\MapAllocator.cpp":135, 
please report a bug to PyTorch.
Couldn't open shared file mapping: <000002043F0A2562>, error code: <1455>

二、寻找解决方案

遂搜索，同类问题比较少，有一个博客讲到是显卡性能问题。于是我尝试大幅降低batch_size和works，又跑了一遍，这次第3个epoch就报了同样的错误（我跑一个epoch要一小时）。
这时我就奇怪了，降低了对配置的要求（顺便提一下我用的3050Ti），报错来的更快了，这怎么解释？

后来我又到PyTorch的github主页上看有没有人提交过相似的issue，确实有一个：https://github.com/pytorch/pytorch/issues/67864，讨论的时间比较久。
原来这个问题一般在pytorch1.10版本中出现（同时在更高的版本中不保证不出现），如果将版本回滚到1.8，就不会出现。由于这个问题的出现太随机了，没有规律可循，这帮人一直没有能够得到一个稳定的复现，所以不好修。

因此现阶段的一个可行方案就是将pytorch的版本回到1.8。

三、解决问题

这里我记录了我的解决过程，其实就是安装个pytorch1.8。
（1）通过conda创建一个新的环境，我使用了python3.6

conda activate base        #一定要先回到base环境下
conda create --name [你的环境名] python=3.6
conda activate  [你的环境名]

（2）【非必要】由于在包略多的环境中conda的索引时间太长了，体验极差，solving environment要转个一小时，我推荐使用mamba替换conda

conda install mamba

安装成功后可以用mamba替换conda，比如更新conda时：

mamba update conda     

（3）【可能遇到】我install中出现PackagesNotFoundError问题，参考了https://blog.csdn.net/weixin_45552562/article/details/109668589 后解决

（4）安装pytorch
首先在pytorch官网中寻找pytorch1.8的安装命令。在我这个时间点1.8的连接还挂在首页作为一个长期维护版本，之后可能需要在历史版本中找到1.8。

注意要安装GPU版本以及注意cuda版本的匹配。这里有一个小问题，就是通过nvidia-smi和nvcc -v查到的cuda版本可能不一样，当时安装的时候我还没注意过这个问题，具体见：https://blog.csdn.net/sophicchen/article/details/120782209。当时我在nvidia-smi中查到的cuda版本为11.6，而pytorch1.8没有匹配cuda11.6，只有10.2和11.1，于是我只能装11.1的版本试试（后来证明可用）。我使用如下命令装pytorch：

mamba install pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch-lts -c conda-forge

这里我失败了3次，因为我用的宿舍网，网络环境好的话应该一次就可以成功。
（4）验证安装是否成功

conda env list

看到pytorch位列其中，接下来看看pytorch是否能够调用gpu
打开pycharm，随便开一个项目，将项目环境切换到你刚创建的新环境。

有可能pycharm识别不到你刚创建的环境，这时在解释器设置中手动添加相应的python.exe即可。
切换环境后，在pycharm下方的控制台中输入

import torch     #如果这里有报错，下方有解决方案
import torchvision
torch.cuda.is_available()

得到Ture即为成功，也可以用

torch.cuda.get_device_name(0)

查看显卡类型。
（5）【可能遇到】import torch报错

上面提到有可能在import torch时报错，报错信息如下

ValueError: module functions cannot set METH_CLASS or METH_STATIC

这是python3.6版本中的一个bug，具体见https://github.com/pytorch/pytorch/issues/2731
只要在终端（注意要在你刚创建的环境下）中

pip install numpy -I

即可解决问题

四、后续

如果问题没有解决，到时候再更新