问题描述：如题目
分析：在使用DDP训练时，pytorch采用的_MultiProcessingDataLoaderIter作为Dataloader的迭代对象。在构造迭代器和关闭迭代器时，可能会因为num_workers参数设置的过大而导致每个epoch的在构造Dataloader的花销上比训练本身还大。
在Debug的时候，发现在每个epoch结束时，Dataloader会调用_MultiProcessingDataLoaderIter._shutdown_workers以关闭Dataloader，花销时间特别的长，于是考虑到问题可能出在了Dataloader的num_workers参数上。
最初设置num_workers=16，第一次尝试设置num_workers=0，发现epoch前后的卡顿确实没了，但是读取Data的速度太慢了，后来设置num_workers=6基本上解决了上述问题。
可能也有其他情况导致的，可以参考这篇文章
https://blog.csdn.net/yyywxk/article/details/106323049
文章出处登录后可见！
已经登录？立即刷新
