«

Linux下的Ollama安装过程

时间:2025-1-29 16:50     作者:Anglei     分类: 大数据AI


要搭建我们自己的大模型,就要把目前有的大模型下载下来,因为我们基本上不具备自己本地训练大模型的条件。下载大模型进行本地部署,目前最方便的工具是Ollama。

Ollama是一个轻量级、可扩展的框架,用于在本地机器上构建、运行和管理大型语言模型(LLM)。其核心价值在于简化在本地运行大语言模型的复杂过程,降低使用门槛,使得即便是非专业用户也能轻松上手。要使用Ollama首先要下载Ollama安装包,可以去Ollama官网 https://ollama.com/ 下载最新的安装包。

如果是Windows系统的话,直接下载安装包即可安装。

运行命令

curl -fsSL https://ollama.com/install.sh | sh

我因为工作需要,我的服务器不能连接外网,所以我需要先下载安装包和安装文件,在用户目录下新建一个ollama目录,把安装包下载到这里,再修改安装文件,在本地进行安装。

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

修改install.sh文件

status "Installing ollama to $OLLAMA_INSTALL_DIR"
$SUDO install -o0 -g0 -m755 -d $BINDIR
#$SUDO install -o0 -g0 -m755 -d "$OLLAMA_INSTALL_DIR"
$SUDO install -o0 -g0 -m755 -d ./ollama-linux-amd64  $BINDIR/ollama

安装后目录结构如下:

安装完之后,还要配置一下Ollama模型的下载目录:

执行命令

vim ~/.bashrc

配置 OLLAMA_MODELS 环境变量自定义路径

export OLLAMA_MODELS=/home/yjs/ollama/ollama_cache

查看ollama版本

ollama -v ollama version is 0.1.31

查看已下载模型

ollama list 
NAME        ID              SIZE      MODIFIED     
gemma:2b    b50d6c999e59    1.7 GB    3 hours ago

ollama的停止和启动

sudo systemctl stop ollama # 停止服务 
sudo systemctl start ollama # 启动服务 

监听http服务,指定GPU

export OLLAMA_HOST="0.0.0.0:11434" 
export CUDA_VISIBLE_DEVICES="0" 
ollama serve # 启动

本文完结,相关标签: Ollama

 版权所有:Anglei
 文章标题:Linux下的Ollama安装过程
 除非注明,本站文章如未特殊说明均为 MAXADA社区知识库 原创,且版权所有,请勿用于任何商业用途。

推荐阅读:

看完后感想如何?

路过(0)

雷人(0)

握手(1)

鲜花(0)

鸡蛋(0)
分享到: