Linux下的Ollama安装过程

要搭建我们自己的大模型，就要把目前有的大模型下载下来，因为我们基本上不具备自己本地训练大模型的条件。下载大模型进行本地部署，目前最方便的工具是Ollama。

Ollama是一个轻量级、可扩展的框架，用于在本地机器上构建、运行和管理大型语言模型（LLM）。其核心价值在于简化在本地运行大语言模型的复杂过程，降低使用门槛，使得即便是非专业用户也能轻松上手。要使用Ollama首先要下载Ollama安装包，可以去Ollama官网 https://ollama.com/ 下载最新的安装包。

如果是Windows系统的话，直接下载安装包即可安装。

运行命令

curl -fsSL https://ollama.com/install.sh | sh

我因为工作需要，我的服务器不能连接外网，所以我需要先下载安装包和安装文件，在用户目录下新建一个ollama目录，把安装包下载到这里，再修改安装文件，在本地进行安装。

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

修改install.sh文件

status "Installing ollama to $OLLAMA_INSTALL_DIR"
$SUDO install -o0 -g0 -m755 -d $BINDIR
#$SUDO install -o0 -g0 -m755 -d "$OLLAMA_INSTALL_DIR"
$SUDO install -o0 -g0 -m755 -d ./ollama-linux-amd64  $BINDIR/ollama

安装后目录结构如下：

安装完之后，还要配置一下Ollama模型的下载目录：

执行命令

vim ~/.bashrc

配置 OLLAMA_MODELS 环境变量自定义路径

export OLLAMA_MODELS=/home/yjs/ollama/ollama_cache

查看ollama版本

ollama -v ollama version is 0.1.31

查看已下载模型

ollama list 
NAME        ID              SIZE      MODIFIED     
gemma:2b    b50d6c999e59    1.7 GB    3 hours ago

ollama的停止和启动

sudo systemctl stop ollama # 停止服务 
sudo systemctl start ollama # 启动服务 

监听http服务，指定GPU

export OLLAMA_HOST="0.0.0.0:11434" 
export CUDA_VISIBLE_DEVICES="0" 
ollama serve # 启动