«

在消费级显卡上打造离线个人知识库chatwithrtx(一)

时间:2024-2-27 13:52     作者:Anglei     分类: 大数据AI


如果你有NV的30或40系列的显卡,那么恭喜你,可以按照本文搭建本地知识库语言大模型了!

前言

Chat With RTX 是一个 Demo,用来将您自己的资料(文档、笔记、视频或其他数据)与大语言模型建立连接,从而令 LLM 更具个性化。利用检索增强生成 (RAG)、TensorRT-LLM 和 RTX 加速,您可以与自定义聊天机器人对话,快速灵活地获得聊天机器人根据您的内容给出的见解。此外,由于 Chat with RTX 完全在 Windows RTX PC 或工作站本地以安全的方式运行,因此您可以更快获得更满意的结果。
https://www.nvidia.cn/ai-on-rtx/chat-with-rtx-generative-ai/

下载地址


https://www.nvidia.cn/ai-on-rtx/chat-with-rtx-generative-ai/

安装过程:

整个过程持续了46分钟

运行

直接运行桌面的快捷方式

不过初次运行会报错

在ui\user_interface.py的257行 添加share=True 即可解决

之后运行界面如下

离线运行

在config\app_config.json中,会记录一个内嵌模型名称

这个时候会下载模型到本地缓存 C:\Users\deans.cache\torch\sentence_transformers\WhereIsAI_UAE-Large-V1 我们只需要把路径修改为这个路径 即可离线运行。

总结

本文主要记录安装过程。后续计划使用期打造个人的知识库。

本文完结,相关标签: chatwithrtx

 版权所有:Anglei
 文章标题:在消费级显卡上打造离线个人知识库chatwithrtx(一)
 除非注明,本站文章如未特殊说明均为 MAXADA社区知识库 原创,且版权所有,请勿用于任何商业用途。

推荐阅读:

看完后感想如何?

路过(0)

雷人(0)

握手(0)

鲜花(0)

鸡蛋(0)
分享到: