1、上传OLLAMA 到服务器
解压
tar -C /usr -zxf ollama-linux-amd64.tgz
2、添加权限
sudo chmod +x /usr/bin/ollama
3.创建Ollama用户
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
3.创建服务文件
vi /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
Environment="OLLAMA_HOST=0.0.0.0"
OLLAMA_MODELS=/home/app/ollama
[Install]
WantedBy=default.target
3.1ollama常用环境变量
用到哪个环境变量就加到服务文件中
Environment=”OLLAMA_NUM_PARALLEL=4”
OLLAMA_HOST=0.0.0.0 :
我们可以让Ollama监听所有可用的网络接口,从而允许外部网络访问。
OLLAMA_MODELS=F:\OllamaCache :
这个变量指定了模型镜像的存储路径。通过设置,我们可以将模型镜像存储在E盘,避免C盘空间不足的问题。
OLLAMA_KEEP_ALIVE=24h :
这个变量控制模型在内存中的存活时间。设置可以让模型在内存中保持24小时,提高访问速度。
OLLAMA_PORT=8080 :
这个变量允许我们更改Ollama的默认端口。例如,设置可以将服务端口从默认的11434更改为8080。
OLLAMA_NUM_PARALLEL=4:
这个变量决定了Ollama可以同时处理的用户请求数量。设置可以让Ollama同时处理两个并发请求。
OLLAMA_MAX_LOADED_MODELS:
这个变量限制了Ollama可以同时加载的模型数量。设置OLLAMA_MAX_LOADED_MODELS=4可以确保系统资源得到合理分配
启动服务命令
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl restart ollama //停止ollama
sudo systemctl start ollama //启动ollama
sudo systemctl stop ollama //停止ollama