轻量化的Google Gemma-2b的笔记本本地部署

Google刚刚发布了家用版的小模型Gemma，分别为2b（20亿参数）和7b（70亿参数）版本，电脑配置低的建议可以体验2b，好一点的用7b

本地部署(我们以2b为例)：
首先登录 https://ollama.com/ 首页点击：Ollama Windows(preview)，下载程序并安装（支持windows，linux和macos），或直接从本站提供的地址下载：

管理员设置了验证码查看

微信扫描二维码或搜索【智慧科技新视角】关注，聊天窗口发送【验证码】三个字获取(免费)

  

以管理员身份打开CMD，执行：
运行模型（默认是2b），首次需要下载。

ollama run gemma:2b

完成以后就可以直接对话了，同理，还可以安装7b,2个模型都安装以后，可以重复上面的指令切换。
2b的反应速度非常快，但是能够互动的话题有限。7b我也试了下，能跑是能跑（我是3050显卡），但是会有明显的卡顿，输出内容的质量相对会高不少

2b测试

常用内部指令

初步测试来看，小模型的性能和千亿级的LLM差距还挺大的，没法解决特别复杂的问题。但我只是初步试了下，还没有深入去看，和之前的GLM-6B也没有感受到明显差别。
不过Gemma主要在于使用门槛比较低，部署完后也不需要联网，刚刚入门chatbot或者有兴趣做本地应用开发的朋友可以试试看。