pytorch：参数pin_memory=True和non_blocking=True的作用

目录

• • 一、pin_memory
  • 二、non_blocking

一、pin_memory

pin_memory是dataloader()的参数，默认值为False，其作用是是否把把数据存放在锁页内存中。主机的内存根据物理内存（内存条）与虚拟内存（硬盘）进行数据交换分为锁页内存和不锁页内存：

锁页内存：数据存放在物理内存上（内存条）上；
不锁页内存：当物理内存（内存条）满载时，把部分数据转换到虚拟内存上（硬盘）上。
锁页内存（pin_memory)能够保持与GPU进行高速传输，在训练时加快数据的读取，从而加快训练速度。因此，如果主机/服务器的内存足够大，建议把pin_memory设为True，如：

trainloader = torch.utils.data.DataLoader(dataset=traindata, batch_size=BATCH_SIZE, shuffle=True, num_workers=1, pin_memory=True)

二、non_blocking

non_blocking时cuda()的参数，默认值为False，其作用和pin_memory一样，pin_memory是针对物理内存（内存条），而non_blocking是针对GPU上的内存（显存），表士把数据锁页在显存上，在后台进程过程中不释放。一般地，如果pin_momery为True，把non_blocking也设为True，有助于加速数据传输，加快训练过程，如：

model = Model().cuda(non_blocking=True)