Ollama Docker 设置
在Docker中使用Ollama在本地运行大型语言模型。
快速入门
1. 拉取 Ollama Docker 镜像```bash
docker pull ollama/ollama
### 2. 运行Ollama容器```bash
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
3. 运行您的模型```bash
docker exec -it ollama ollama run llama3.2:1b
docker exec -it ollama ollama run gemma3:270m
## 可用模型
### 大型模型(需要更多RAM/VRAM)```bash
docker exec -it ollama ollama run llama3:70b
docker exec -it ollama ollama run codellama:34b
docker exec -it ollama ollama run mistral:7b
更小的模型(速度更快,资源消耗更少)```bash
docker exec -it ollama ollama run llama3:8b
docker exec -it ollama ollama run phi3:mini
docker exec -it ollama ollama run qwen2:7b
docker exec -it ollama ollama run gemma3:270m
### 专业模型```bash
docker exec -it ollama ollama run codellama:7b # For coding
docker exec -it ollama ollama run vicuna:13b # Chat optimized
docker exec -it ollama ollama run orca-mini:3b # Very lightweight
模型管理
列出可用模型```bash
docker exec -it ollama ollama list
### 拉取模型而不运行```bash
docker exec -it ollama ollama pull llama3
移除模型```bash
docker exec -it ollama ollama rm llama3
### 检查模型信息```bash
docker exec -it ollama ollama show llama3
API访问
一旦运行,您可以通过以下地址访问Ollama API: http://localhost:11434
示例API用法```bash
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2:1b",
"prompt": "Why is the sky blue?"
}'
## GPU支持
对于NVIDIA GPU支持,请使用:```bash
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
系统要求
- 小型模型(1-30亿参数)4GB 内存
- 中型模型(7-80亿参数)8GB内存
- 大型模型(130亿参数+)16GB+ RAM
- GPU建议使用配备6GB及以上显存的NVIDIA GPU
故障排除
容器无法启动?```bash
docker logs ollama
### 网络问题?```bash
docker restart ollama
检查容器状态```bash
docker ps
```
贡献
请随时提交问题和增强请求!
