AI模型本地化系列(一)Ubuntu安装CUDA教程

一、安装前准备工作

1.1查看服务器的GPU和型号

shell>lspci | grep -i nvidia

1.2查看GCC版本

切记如果版本是11的记得下载新的

# 查看之前的版本
> gcc --version
gcc-11 (Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0
Copyright (C) 2021 Free Software Foundation, Inc.

# 安装gcc12
> sudo apt-get install gcc-12 
# 将他添加到gcc备选组中,且设置优先级为12
> sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-12 12
>sudo update-alternatives --config gcc
>gcc --version

二、安装CUDA Toolkit

https://developer.nvidia.com/cuda-downloads

按照你的来,我这是选择的本地安装,就是下载一个安装包,在本地安装,deb类型的安装包是由APT管理,方便更新与卸载。

架构能力AI模型本地化系列(一)Ubuntu安装CUDA教程插图
shell>sudo wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin
shell>sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600
shell>sudo wget https://developer.download.nvidia.com/compute/cuda/12.8.0/local_installers/cuda-repo-ubuntu2404-12-8-local_12.8.0-570.86.10-1_amd64.deb
shell>sudo dpkg -i cuda-repo-ubuntu2404-12-8-local_12.8.0-570.86.10-1_amd64.deb
shell>sudo cp /var/cuda-repo-ubuntu2404-12-8-local/cuda-*-keyring.gpg /usr/share/keyrings/
shell>sudo apt-get update
shell>sudo apt-get -y install cuda-toolkit-12-8

三、安装驱动

3.1检查驱动版本nvidia-smi

shell>nvidia-smi
shell>watch -n 3 nvidia-smi
架构能力AI模型本地化系列(一)Ubuntu安装CUDA教程插图1

如果没有上图显示,则执行安装命令

shell>sudo apt-get install -y cuda-drivers

3.2设置环境变量

shell>export PATH=/usr/local/cuda-12.5/bin${PATH:+:${PATH}}

若想使其永久生效,添加到.bashrc配置文件里面

# 打开配置文件
vi ~/.bashrc
# 添加到最后一行,保存并退出
export PATH=/usr/local/cuda-12.5/bin${PATH:+:${PATH}}

# 重新激活配置文件
source ~/.bashrc