Linux下的Ollama安装过程
时间:2025-1-29 16:50 作者:Anglei 分类: 大数据AI
要搭建我们自己的大模型,就要把目前有的大模型下载下来,因为我们基本上不具备自己本地训练大模型的条件。下载大模型进行本地部署,目前最方便的工具是Ollama。
Ollama是一个轻量级、可扩展的框架,用于在本地机器上构建、运行和管理大型语言模型(LLM)。其核心价值在于简化在本地运行大语言模型的复杂过程,降低使用门槛,使得即便是非专业用户也能轻松上手。要使用Ollama首先要下载Ollama安装包,可以去Ollama官网 https://ollama.com/ 下载最新的安装包。
如果是Windows系统的话,直接下载安装包即可安装。
运行命令
curl -fsSL https://ollama.com/install.sh | sh
我因为工作需要,我的服务器不能连接外网,所以我需要先下载安装包和安装文件,在用户目录下新建一个ollama目录,把安装包下载到这里,再修改安装文件,在本地进行安装。
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
修改install.sh文件
status "Installing ollama to $OLLAMA_INSTALL_DIR"
$SUDO install -o0 -g0 -m755 -d $BINDIR
#$SUDO install -o0 -g0 -m755 -d "$OLLAMA_INSTALL_DIR"
$SUDO install -o0 -g0 -m755 -d ./ollama-linux-amd64 $BINDIR/ollama
安装后目录结构如下:
安装完之后,还要配置一下Ollama模型的下载目录:
执行命令
vim ~/.bashrc
配置 OLLAMA_MODELS 环境变量自定义路径
export OLLAMA_MODELS=/home/yjs/ollama/ollama_cache
查看ollama版本
ollama -v ollama version is 0.1.31
查看已下载模型
ollama list
NAME ID SIZE MODIFIED
gemma:2b b50d6c999e59 1.7 GB 3 hours ago
ollama的停止和启动
sudo systemctl stop ollama # 停止服务
sudo systemctl start ollama # 启动服务
监听http服务,指定GPU
export OLLAMA_HOST="0.0.0.0:11434"
export CUDA_VISIBLE_DEVICES="0"
ollama serve # 启动
本文完结,相关标签: Ollama
推荐阅读:
![]() 路过(0) |
![]() 雷人(0) |
![]() 握手(1) |
![]() 鲜花(0) |
![]() 鸡蛋(0) |