轻量化的Google Gemma-2b的笔记本本地部署
时间:2024-3-7 11:51 作者:Anglei 分类: 大数据AI
Google刚刚发布了家用版的小模型Gemma,分别为2b(20亿参数)和7b(70亿参数)版本,电脑配置低的建议可以体验2b,好一点的用7b
本地部署(我们以2b为例):
首先登录 https://ollama.com/ 首页点击:Ollama Windows(preview),下载程序并安装(支持windows,linux和macos),或直接从本站提供的地址下载:

微信扫描二维码或搜索【智慧科技新视角】关注,聊天窗口发送【验证码】三个字获取(免费)
以管理员身份打开CMD,执行:
运行模型(默认是2b),首次需要下载。
ollama run gemma:2b
完成以后就可以直接对话了,同理,还可以安装7b,2个模型都安装以后,可以重复上面的指令切换。
2b的反应速度非常快,但是能够互动的话题有限。7b我也试了下,能跑是能跑(我是3050显卡),但是会有明显的卡顿,输出内容的质量相对会高不少
2b测试
常用内部指令
初步测试来看,小模型的性能和千亿级的LLM差距还挺大的,没法解决特别复杂的问题。但我只是初步试了下,还没有深入去看,和之前的GLM-6B也没有感受到明显差别。
不过Gemma主要在于使用门槛比较低,部署完后也不需要联网,刚刚入门chatbot或者有兴趣做本地应用开发的朋友可以试试看。

推荐阅读:
![]() 路过(0) |
![]() 雷人(0) |
![]() 握手(0) |
![]() 鲜花(0) |
![]() 鸡蛋(0) |