«

突破公网限制!零门槛本地部署Ollama+DeepSeek+Nextchat大模型指南

时间:2025-2-12 16:09     作者:Anglei     分类: 大数据AI


前言

DeepSeek的强大相信亲身体验过的小伙伴都会直呼NB,但因为使用人数过多又或境外攻击的原因,想要顺畅使用却很难,

在这里出一篇使用自己电脑部署DeepSeek的教程,个人电脑由于配置有限只能部署1.5b蒸馏版本作为演示,自己可根据电脑硬件配置部署想要的参数量,官方的为671b满血版本。

安装步骤

1.安装Ollama

curl https://ollama.ai/install.sh | sh

需要魔法

2.启动Ollama服务

ollama serve

3. 拉取DeepSeek模型

ollama pull deepseek-r1:1.5b

需要魔法 运行模型需要的配置参考如下:

「deepseek 1.5b」参数量:约10亿分之-(通常理解为1,500 million或1.5亿) 硬件要求:中等性能,适用于个人用户。需要中型GPU如NVIDIA Quadr0 RTX 4000,内存需求约16GB,运行时间几个小时到一天。
「deepseek7b和8b」参数量:约70亿和80亿。 硬件要求:需稍高配置,如32GB内存,NVIDIA A100或T4系列GPU,运行时间较长。
「deepseek 14b」参数量:约140亿。 硬件要求:更高性能,如64GB内存和A40级显卡,需更长的计算时间。
「deepseek 32b」参数量:约320亿。 硬件要求:需更高配置,如80GB内存、A100或H100 GPU,适合企业级使用
「deepseek70b和671b」参数量:分别约700亿和6,710亿。 硬件要求:需超级计算机配置,包括大量显存、高性能GPU和强大处理器,通常需分布式计算。「总结: 参数越大,硬件需求越强,尤其是GPU性能、内存容量和计算时间。个人用户适合较小的模型(如7b或8b),而更大的模型需要企业级资源。」

4.配置Ollama远程访问

vim /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/java/jdk1.8.0_421/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/go/bin:/bin:/usr/local/apache-maven-3.8.8/bin"

[Install]
WantedBy=default.target

重启ollama

systemctl daemon-reload
systemctl restart ollama

5.启动DeepSeek模型

ollama run deepseek-r1:1.5b

6.调用API测试

curl -X POST http://172.29.89.96:11434/api/generate -d '{
  "model": "deepseek-r1:1.5b",
  "prompt": "请介绍一下你自己"
}'

172.29.89.96为部署大模型所在服务器的IP地址,输出以下结果即调用成功

7.安装图形化大模型对话工具 Nextchat

vim docker-compose.yml
version: '3'
services:
  chatgpt-next-web:
    image: registry.cn-guangzhou.aliyuncs.com/hzbb/chatgpt-next-web:v2.15.8
    container_name: chatgpt-next-web
    ports:
      - "23000:3000"
    environment:
      - BASE_URL=http://172.29.89.96:11434  # 大模型服务器IP
      - CUSTOM_MODELS=-all,+deepseek-r1:1.5b
      - HIDE_USER_API_KEY=1
      - DISABLE_GPT4=1
      - CODE=hzbb
    restart: always
docker-compose up -d

需提前安装Docker及Docker-compose,镜像已缓存至阿里云节点,境内可以正常拉取

8.访问网页

这里大模型和Nextchat都部署在一台机上,访问地址为:http://172.29.89.96:23000 ,首次使用需输入密码 hzbb

9.使用测试

至此,DeepSeek大模型私有化部署完成!

本文完结,相关标签: Ollama deepseek nextchat

 版权所有:Anglei
 文章标题:突破公网限制!零门槛本地部署Ollama+DeepSeek+Nextchat大模型指南
 除非注明,本站文章如未特殊说明均为 MAXADA社区知识库 原创,且版权所有,请勿用于任何商业用途。

推荐阅读:

看完后感想如何?

路过(0)

雷人(0)

握手(3)

鲜花(0)

鸡蛋(1)
分享到: