适用系统：Rocky Linux 8.10
包含：NVIDIA 显卡驱动、Docker、nvidia-container-toolkit

sudo systemctl stop firewalld
sudo systemctl disable firewalld

sudo yum install pciutils -y
lspci | grep -i nvidia

nvidia-smi

如果能看到显卡型号、驱动版本、CUDA 版本等信息，说明驱动已正常安装，直接进行第 3 步；若未识别到驱动版本，请继续完成后续安装操作。

# 安装开发工具组
sudo dnf groupinstall "Development Tools" -y
 
# 安装与当前内核匹配的开发包
sudo dnf install -y kernel-devel-$(uname -r) kernel-headers
 
# 启用必要的软件仓库
sudo dnf install epel-release -y
 
# 安装 DKMS，帮助内核更新后自动重建驱动
sudo dnf install -y dkms

sudo grubby --args="nouveau.modeset=0 rd.driver.blacklist=nouveau" --update-kernel=ALL
 
# 重启系统使配置生效
sudo reboot

# 启用必要的软件仓库
sudo dnf config-manager --set-enabled powertools
 
# 添加 NVIDIA 官方仓库
sudo tee /etc/yum.repos.d/cuda-rhel8.repo << 'EOF'
[cuda-rhel8-x86_64]
name=cuda-rhel8-x86_64
baseurl=https://developer.download.nvidia.com/compute/cuda/repos/rhel8/x86_64
enabled=1
gpgcheck=1
gpgkey=https://developer.download.nvidia.com/compute/cuda/repos/rhel8/x86_64/D42D0685.pub
EOF
 
# 启用 nvidia-driver 模块的 latest-dkms 流（推荐使用 DKMS）
sudo dnf module enable nvidia-driver:570-dkms -y
 
# 安装驱动
sudo dnf install -y cuda-drivers

sudo reboot

nvidia-smi

如果能看到显卡型号、驱动版本、CUDA 版本等信息，说明驱动已成功安装。

# 安装依赖工具
sudo dnf install -y dnf-utils device-mapper-persistent-data lvm2
 
# 添加 Docker 官方仓库（使用阿里云镜像加速）
sudo dnf config-manager --add-repo \
  https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

sudo dnf install -y docker-ce docker-ce-cli containerd.io

sudo systemctl start docker
sudo systemctl enable docker

sudo docker run --rm swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/hello-world:latest

sudo usermod -aG docker $USER

注意：需要重新登录或重启会话才能生效。

sudo dnf install -y nvidia-container-toolkit

sudo nvidia-ctk runtime configure --runtime=docker

# 务必重启 Docker 服务使配置生效
sudo systemctl restart docker

sudo docker run --rm --gpus all swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/nvidia/cuda:12.4.0-base-ubuntu22.04 nvidia-smi

如果容器内能正常输出 nvidia-smi 信息，说明 nvidia-container-toolkit 安装成功。

点击链接, 从第二章导入镜像开始: 跳转到导入镜像章节 跟着文档安装到结尾