一、安装前准备工作
1.1查看服务器的GPU和型号
shell>lspci | grep -i nvidia
1.2查看GCC版本
切记如果版本是11的记得下载新的
# 查看之前的版本
> gcc --version
gcc-11 (Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0
Copyright (C) 2021 Free Software Foundation, Inc.
# 安装gcc12
> sudo apt-get install gcc-12
# 将他添加到gcc备选组中,且设置优先级为12
> sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-12 12
>sudo update-alternatives --config gcc
>gcc --version
二、安装CUDA Toolkit
https://developer.nvidia.com/cuda-downloads
按照你的来,我这是选择的本地安装,就是下载一个安装包,在本地安装,deb类型的安装包是由APT管理,方便更新与卸载。
![架构能力AI模型本地化系列(一)Ubuntu安装CUDA教程插图 架构能力AI模型本地化系列(一)Ubuntu安装CUDA教程插图](https://www.fcors.com/wp-content/uploads/2025/02/image-1024x574.png)
shell>sudo wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin
shell>sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600
shell>sudo wget https://developer.download.nvidia.com/compute/cuda/12.8.0/local_installers/cuda-repo-ubuntu2404-12-8-local_12.8.0-570.86.10-1_amd64.deb
shell>sudo dpkg -i cuda-repo-ubuntu2404-12-8-local_12.8.0-570.86.10-1_amd64.deb
shell>sudo cp /var/cuda-repo-ubuntu2404-12-8-local/cuda-*-keyring.gpg /usr/share/keyrings/
shell>sudo apt-get update
shell>sudo apt-get -y install cuda-toolkit-12-8
三、安装驱动
3.1检查驱动版本nvidia-smi
shell>nvidia-smi
shell>watch -n 3 nvidia-smi
![架构能力AI模型本地化系列(一)Ubuntu安装CUDA教程插图1 架构能力AI模型本地化系列(一)Ubuntu安装CUDA教程插图1](https://www.fcors.com/wp-content/uploads/2025/02/image-2.png)
如果没有上图显示,则执行安装命令
shell>sudo apt-get install -y cuda-drivers
3.2设置环境变量
shell>export PATH=/usr/local/cuda-12.5/bin${PATH:+:${PATH}}
若想使其永久生效,添加到.bashrc配置文件里面
# 打开配置文件
vi ~/.bashrc
# 添加到最后一行,保存并退出
export PATH=/usr/local/cuda-12.5/bin${PATH:+:${PATH}}
# 重新激活配置文件
source ~/.bashrc