1、上传OLLAMA 到服务器
解压

tar -C /usr -zxf ollama-linux-amd64.tgz 

2、添加权限

sudo chmod +x /usr/bin/ollama

3.创建Ollama用户

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

3.创建服务文件

vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
Environment="OLLAMA_HOST=0.0.0.0"
OLLAMA_MODELS=/home/app/ollama

[Install]
WantedBy=default.target

3.1ollama常用环境变量
用到哪个环境变量就加到服务文件中

Environment=”OLLAMA_NUM_PARALLEL=4”
OLLAMA_HOST=0.0.0.0 :
我们可以让Ollama监听所有可用的网络接口,从而允许外部网络访问。

OLLAMA_MODELS=F:\OllamaCache :
这个变量指定了模型镜像的存储路径。通过设置,我们可以将模型镜像存储在E盘,避免C盘空间不足的问题。

OLLAMA_KEEP_ALIVE=24h :
这个变量控制模型在内存中的存活时间。设置可以让模型在内存中保持24小时,提高访问速度。

OLLAMA_PORT=8080 :
这个变量允许我们更改Ollama的默认端口。例如,设置可以将服务端口从默认的11434更改为8080。

OLLAMA_NUM_PARALLEL=4:
这个变量决定了Ollama可以同时处理的用户请求数量。设置可以让Ollama同时处理两个并发请求。

OLLAMA_MAX_LOADED_MODELS:
这个变量限制了Ollama可以同时加载的模型数量。设置OLLAMA_MAX_LOADED_MODELS=4可以确保系统资源得到合理分配
启动服务命令
sudo systemctl daemon-reload

sudo systemctl enable ollama

sudo systemctl restart ollama //停止ollama

sudo systemctl start ollama //启动ollama

sudo systemctl stop ollama //停止ollama

©2019 Somore 豫ICP备19009951号 sqlixiaoli@163.com