北京超算云计算平台深度学习环境配置
admin
2023-10-12 07:04:02
0

平台计算核时申请

  1. 参加openmmlab课程的同学可以通过给出的申请二维码扫描,完善信息问卷后等待几个工作日邮箱会发送回复
  2. 还可以自己搜索“北京超级云计算中心”微信公众号,关注后回复“2”即可获取申请试算通道

##注意在申请核时要清楚自己申请CPU资源还是GPU资源,需要使用GPU的服务器有CPU

客户端安装

收到邮件回复后,邮件中会注明是哪个区的服务器



然后按照邮件要求,点击北京超算链接,下载客户端并登陆,如果不知道密码是啥也是可以在邮件中看到有重置密码的链接





这里我试了一下不用客户端直接SSH等操作,还是比较稳定的。但是考虑到大家频繁使用,接下来操作都在客户端上演示

环境配置

1.SSH到服务器

打开客户端后,点击SSH进行远程连接,点击连接后进行命令行界面,这里,对Linux陌生的人大家可以搜索Linux基本命令先熟悉一下命令





NC-N30区的文件存储系统规则如下:



所以大家注意尽量不要在home目录下下载东西和软件

2.module软件安装

北京超算是用module来管理应用软件的,module的常用命令有



首先在命令行输入,查看可用软件

module avail



首先安装anaconda,这里我选择的是2021.05,conda init之后conda配置就写进了bashrc中,大家不用担心自己关闭之后环境没了(这里有朋友反映只有一个anaconda版本,那大家就module load自己有的那个版本就好了,就是这个命令改为:module load 你自己有的版本)

module load anaconda/2021.05
conda init
source .bashrc

接下来配置cuda和cudnn,这里需要把这个load配置写在bashrc里



vim .bashrc

然后大家点击“i”就进入编辑模式,点击“esc”进入浏览,进入编辑模式后,将这两句代码写在后面。这里我使用的是cuda11.1,当然还有其他的版本也是没问题的、

module load cuda/11.1
module load cudnn/8.2.1_cuda11.x
module load gcc/7.3 #为了后面的代码编译安装

输入完后,进入浏览模式,然后点击(注意这个不可以粘贴复制,必须自己输,而且要在浏览模式),然后按回车就好

:wq

3.pytorch配置

这里因为我是要使用openmmlab的几个代码库,我分别建立mmdet,mmcls,mmseg虚拟环境。只想看pytorch安装的只需看前面2步

mmdet

1.创建一个mmdet的虚拟环境,其中需要输入y确认下载一些包。activate 激活这个虚拟环境

conda create -n mmdet python=3.8
conda activate mmdet

2.接下来下载安装pytorch(注意:前面cuda跟我不一样的同学要去这个网站找符合自己cuda版本的pytorch,这两个要对应pytorch之前版本)

pip install torch==1.10.1+cu111 torchvision==0.11.2+cu111 -f https://download.pytorch.org/whl/cu111/torch_stable.html

我这边测的速度大概需要5分钟就可以装完,还能接收的速度

3.接下来配置mmdet需要的环境

这部分的内容大家可以参考这个飞书文档,如果有什么问题欢迎在评论留言

https://drnj22rqza.feishu.cn/docx/EdsVdmk9SorUTfxQXYfcobffnrc

相关内容