«

轻量化的Google Gemma-2b的笔记本本地部署

时间:2024-3-7 11:51     作者:Anglei     分类: 大数据AI


Google刚刚发布了家用版的小模型Gemma,分别为2b(20亿参数)和7b(70亿参数)版本,电脑配置低的建议可以体验2b,好一点的用7b

本地部署(我们以2b为例):
首先登录 https://ollama.com/ 首页点击:Ollama Windows(preview),下载程序并安装(支持windows,linux和macos),或直接从本站提供的地址下载:

以管理员身份打开CMD,执行:
运行模型(默认是2b),首次需要下载。

ollama run gemma:2b

完成以后就可以直接对话了,同理,还可以安装7b,2个模型都安装以后,可以重复上面的指令切换。
2b的反应速度非常快,但是能够互动的话题有限。7b我也试了下,能跑是能跑(我是3050显卡),但是会有明显的卡顿,输出内容的质量相对会高不少

2b测试

常用内部指令

初步测试来看,小模型的性能和千亿级的LLM差距还挺大的,没法解决特别复杂的问题。但我只是初步试了下,还没有深入去看,和之前的GLM-6B也没有感受到明显差别。
不过Gemma主要在于使用门槛比较低,部署完后也不需要联网,刚刚入门chatbot或者有兴趣做本地应用开发的朋友可以试试看。

本文完结,相关标签: 语言模型 gemma AI

 版权所有:Anglei
 文章标题:轻量化的Google Gemma-2b的笔记本本地部署
 除非注明,本站文章如未特殊说明均为 MAXADA社区知识库 原创,且版权所有,请勿用于任何商业用途。

推荐阅读:

看完后感想如何?

路过(0)

雷人(0)

握手(0)

鲜花(0)

鸡蛋(0)
分享到: