ollama镜像包
Ollama Docker映像
Ollama十二可以轻松地在本地启动和运行大型语言模型。
仅CPU
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Nvidia GPU
安装NVIDIA容器工具包十二。
使用Apt安装
- 配置存储库
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \ | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpgcurl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \ | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \ | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.listsudo apt-get ｕｐｄａｔｅ
- 安装NVIDIA Container Toolkit软件包
sudo apt-get install -y nvidia-container-toolkit
使用Yum或Dnf安装
- 配置存储库
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \ | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
- 安装NVIDIA Container Toolkit软件包
sudo yum install -y nvidia-container-toolkit
配置Docker以使用Nvidia驱动程序
sudo nvidia-ctk runtime configure --runtime=dockersudo systemctl restart docker
启动容器
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
AMD GPU
要使用带有AMD gpu的Docker运行Ollama，请使用rocm标记和以下命令:
docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
在本地运行模型
现在你可以运行一个模型:
docker ｅｘｅｃ -it ollama ollama run llama3
