环境配置
环境配置
2024-11-12 11:18
深度学习框架
超连云平台使用的镜像都是建立在ubantu22.04版本上的,并且所有的深度学习框架都是基于Miniconda环境下搭建的,以下是FunHPC平台提供的深度学习框架及其版本信息。
框架 | 框架版本 | python版本 | CUDA版本 |
Pytorch | 2.3.0 | 3.10 | 12.1 |
Pytorch | 2.3.0 | 3.10 | 11.8 |
Pytorch | 2.2.1 | 3.10 | 12.1 |
Pytorch | 2.2.0 | 3.10 | 12.1 |
Pytorch | 2.2.0 | 3.10 | 11.8 |
Pytorch | 2.1.2 | 3.10 | 12.1 |
Pytorch | 2.1.1 | 3.10 | 12.1 |
Pytorch | 2.1.0 | 3.10 | 12.1 |
Pytorch | 2.0.1 | 3.10 | 11.8 |
Pytorch | 1.13.0 | 3.10 | 11.7 |
Pytorch | 1.12.0 | 3.8 | 11.6 |
Pytorch | 1.11.0 | 3.8 | 11.3 |
Pytorch | 1.11.0 | 3.8 | 11.3 |
Pytorch | 1.9.0 | 3.8 | 11.1 |
Pytorch | 1.8.0 | 3.8 | 11.1 |
Pytorch | 1.7.0 | 3.8 | 11.0 |
Tensorflow | 2.16.1 | 3.10 | 12.2 |
Tensorflow | 2.14.1 | 3.10 | 11.8 |
Tensorflow | 2.10.0 | 3.10 | 11.2 |
Tensorflow | 2.9.0 | 3.10 | 11.2 |
Tensorflow | 2.8.0 | 3.8 | 11.2 |
其中Tensorflow镜像中装有对应cuda版本的cudnn。
这里,要特别说明一下,为避免冲突问题,用户在选择镜像的时候,尽量选择框架比较新的镜像。在我们所有镜像框架里,FunHPC已经内置好了一些必要的库,以帮助用户获得更好的使用体验。
这里库有:matplotlib numpy xgboost lightgbm opencv-python pillow scikit-learn pandas openpyxl h5py scipy tqdm seaborn grip jieba wordcloud gensim requests selenium beautifulsoup4 lxml
安装其它python版本
FunHPC平台提供的镜像都是基于python3.8及以上版本的,如何您需要在特定版本python下运行,您需要使用Miniconda创建虚拟环境。这里以安装python3.7为例,创建虚拟环境。
# 构建一个虚拟环境名为user_env,python版本为3.7
conda create -n user_env python=3.7
# 激活虚拟环境
conda activate user_env
# 查看虚拟环境列表
conda env list
# 退出当前环境到base环境
conda deactivate
# 清除user_env环境
conda remove -n user_env --all
安装其它框架版本
FunHPC平台提供的Pytorch镜像都是基于cuda11.1版本及其以上,且Pytorch版本在1.8.1以上,如需安装其他版本的Pytorch,请参考以下步骤。
#这里以安装Pytorch1.10.0为例,安装详细参考torch官网(建议使用pip安装)
conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c pytorch -c conda-forge
# 或者用pip安装
pip install torch==1.10.1+cu111 torchvision==0.11.2+cu111 torchaudio==0.10.1 -f https://download.pytorch.org/whl/cu111/torch_stable.html
同时FunHPC平台提供tensorflow2.13.0等版本,如需安装其他版本的tensorflow,请参考以下步骤。
# TensorFlow: 参考https://www.tensorflow.org/install/pip官网。例如:
https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-2.15.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
用户也可以在自己创建后的镜像里面,重新新建环境,搭建深度学习框架,至于cuda,FunHPC平台已经提供,用户只需要安装对应版本的深度学习框架即可。
安装依赖
# 使用pip安装
pip install numpy
# 使用conda
conda install numpy
#建议能用pip安装的库,就用pip安装。
# 也可以指定版本,这里在指定版本的时候,一定注意和深度学习框架冲突问题
pip install package==version
pip 源
在没有配置第三方库的时候,使用pip或者conda安装包的时候,由于服务器在国外,下载速度会很慢,因此,大多数情况下会选择国内的镜像源网址来提升安装第三方库的速度。
临时换源:
#下载命令:pip install package -i https://mirrors.aliyun.com/pypi/simple/
永久换源:
<div class="CodeMirror-activeline" style="box-sizing: border-box; color: #333333; font-family: 'Lucida Console', Consolas, Courier, monospace; font-size: 14.4px; backgr