前言
transformers是知名的预训练语言模型库,其提供了详细的安装配置教程:https://huggingface.co/transformers/installation.html#installing-from-source。本文主要使用conda完成其环境配置。
本文在Ubuntu18.04,8张2080ti,CUDA10.2下进行测试。
配置过程
创建虚拟环境:
conda create -n py36_transformers_4 python=3.6
激活虚拟环境:
conda activate py36_transformers_4
安装最新版transformers:
conda install -c huggingface transformers
安装pytorch:
conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch-lts
也可以参考pytorch官网,安装历史版本:https://pytorch.org/get-started/previous-versions/
测试安装
测试代码
在命令行输入以下命令进入python命令行界面:
python
根据https://github.com/scutcyr/transformers#quick-tour,使用以下代码测试安装是否成功:
>>> from transformers import pipeline
# Allocate a pipeline for sentiment-analysis
>>> classifier = pipeline('sentiment-analysis')
>>> classifier('We are very happy to include pipeline into the transformers repository.')
[{'label': 'POSITIVE', 'score': 0.9978193640708923}]
测试报错
运行from transformers import pipeline
便提示错误:ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29’ not found。
glibc是gnu发布的libc库,即c运行库。glibc是linux系统中最底层的api,几乎其它任何运行库都会依赖于glibc。glibc除了封装linux操作系统所提供的系统服务外,它本身也提供了许多其它一些必要功能服务的实现。同时,错误地升级glibc将会毁掉一个系统(以至于无法登录)。
查阅发现某解决方案/usr/lib64/libm.so.6: version `GLIBC_2.29 not found–安装GLIBC_2.29 package、glibc升级到2.29 linux系统/lib64/libc.so.6版本升级,由于原博客不能直接复制粘贴指令,这里重复贴出其步骤:
1、下载相应包:
cd /usr/local
wget http://ftp.gnu.org/gnu/glibc/glibc-2.29.tar.gz
2、解压到当前文件夹:
tar -zxvf glibc-2.29.tar.gz
3、打印备份环境变量
echo $LD_LIBRARY_PATH
4、安装
cd /usr/local
./glibc-2.29/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make
make install
5、检查是否安装成功
strings /lib64/libc.so.6 |grep GLIBC_2.29
6、GCC版本依赖
安装多个高版本gcc,如下:
sudo apt install gcc-8 g++-8 gcc-9 g++-9 gcc-10 g++-10
设置优先级:
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-10 100 --slave /usr/bin/g++ g++ /usr/bin/g++-10 --slave /usr/bin/gcov gcov /usr/bin/gcov-10
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 90 --slave /usr/bin/g++ g++ /usr/bin/g++-9 --slave /usr/bin/gcov gcov /usr/bin/gcov-9
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-8 80 --slave /usr/bin/g++ g++ /usr/bin/g++-8 --slave /usr/bin/gcov gcov /usr/bin/gcov-8
如果要更改默认版本,请使用以下update-alternatives命令:
sudo update-alternatives --config gcc
系统将为您提供Ubuntu系统上所有已安装的GCC版本的列表。输入您要用作默认版本的版本号,然后按Enter。该命令将创建指向GCC和G ++特定版本的符号链接。
版权声明:本文为博主YirongChen原创文章,版权归属原作者,如果侵权,请联系我们删除!
原文链接:https://blog.csdn.net/m0_37201243/article/details/120672227