【Python编程】transformers系列-1. Ubuntu上安装配置使用transformers4版本

Ubuntu上安装配置使用transformers4版本并处理报错

前言

transformers是知名的预训练语言模型库,其提供了详细的安装配置教程:https://huggingface.co/transformers/installation.html#installing-from-source。本文主要使用conda完成其环境配置。
本文在Ubuntu18.04,8张2080ti,CUDA10.2下进行测试。

配置过程

创建虚拟环境:

conda create -n py36_transformers_4 python=3.6

激活虚拟环境:

conda activate py36_transformers_4

安装最新版transformers:

conda install -c huggingface transformers

安装pytorch:

conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch-lts

也可以参考pytorch官网,安装历史版本:https://pytorch.org/get-started/previous-versions/

测试安装

测试代码

在命令行输入以下命令进入python命令行界面:

python

根据https://github.com/scutcyr/transformers#quick-tour,使用以下代码测试安装是否成功:

>>> from transformers import pipeline
# Allocate a pipeline for sentiment-analysis
>>> classifier = pipeline('sentiment-analysis')
>>> classifier('We are very happy to include pipeline into the transformers repository.')
[{'label': 'POSITIVE', 'score': 0.9978193640708923}]

测试报错

运行from transformers import pipeline便提示错误:ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29’ not found。
【Python编程】transformers系列-1. Ubuntu上安装配置使用transformers4版本

glibc是gnu发布的libc库,即c运行库。glibc是linux系统中最底层的api,几乎其它任何运行库都会依赖于glibc。glibc除了封装linux操作系统所提供的系统服务外,它本身也提供了许多其它一些必要功能服务的实现。同时,错误地升级glibc将会毁掉一个系统(以至于无法登录)。

查阅发现某解决方案/usr/lib64/libm.so.6: version `GLIBC_2.29 not found–安装GLIBC_2.29 packageglibc升级到2.29 linux系统/lib64/libc.so.6版本升级,由于原博客不能直接复制粘贴指令,这里重复贴出其步骤:
1、下载相应包:

cd /usr/local
wget http://ftp.gnu.org/gnu/glibc/glibc-2.29.tar.gz

2、解压到当前文件夹:

tar -zxvf glibc-2.29.tar.gz

3、打印备份环境变量

echo $LD_LIBRARY_PATH

4、安装

cd /usr/local
./glibc-2.29/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make  
make install

5、检查是否安装成功

strings /lib64/libc.so.6 |grep GLIBC_2.29

6、GCC版本依赖
安装多个高版本gcc,如下:

sudo apt install gcc-8 g++-8 gcc-9 g++-9 gcc-10 g++-10

设置优先级:

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-10 100 --slave /usr/bin/g++ g++ /usr/bin/g++-10 --slave /usr/bin/gcov gcov /usr/bin/gcov-10
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 90 --slave /usr/bin/g++ g++ /usr/bin/g++-9 --slave /usr/bin/gcov gcov /usr/bin/gcov-9
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-8 80 --slave /usr/bin/g++ g++ /usr/bin/g++-8 --slave /usr/bin/gcov gcov /usr/bin/gcov-8

如果要更改默认版本,请使用以下update-alternatives命令:

sudo update-alternatives --config gcc

系统将为您提供Ubuntu系统上所有已安装的GCC版本的列表。输入您要用作默认版本的版本号,然后按Enter。该命令将创建指向GCC和G ++特定版本的符号链接。

版权声明:本文为博主YirongChen原创文章,版权归属原作者,如果侵权,请联系我们删除!

原文链接:https://blog.csdn.net/m0_37201243/article/details/120672227

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
社会演员多的头像社会演员多普通用户
上一篇 2022年1月19日 下午4:14
下一篇 2022年1月19日 下午4:23

相关推荐