低配置电脑用ollama本地大模型的坑

看到网上教程唱得很厉害,我也赶紧跟着用ollama搭建本地ai,因为我用的是集显,带不动llama3.1,只能用低配版的通义千问qwen2-1.5b,还有其它的小模型都试了个遍。

结果体验相当不靠谱,全是人工智障。

跟想象中的ai助手完全是两回事,如果只能在一篇文章一个页面中辅助你思考、解惑、扩展、归纳,那我为什么要用它,直接在旁边开一个浏览器窗口,想用搜索引擎就用搜索引擎,想用ChatGPT就用ChatGPT,何必多此一举呢!

我也搞不懂怎么玩的,我的想法是,我搭建了一个某领域成体系的知识库,我想让ai把它吸收,让ai说我的体系,而不是网上采的垃圾。

不知道高配大模型现在能不能实现,哪位高手告诉我一下,有的话我就考虑上独显了!

或许应该考虑本地的rag?

经验帖可以看看这篇 几个 AI 插件 Text Generator, Smart Connections, Copilot 的简单调查

1 个赞

有相应的插件支持rag啊,比如copilot,能够以当前笔记作为上下文,也可以全局提问,以当前的库的全部笔记作为上下文,不过如果你的电脑配置很低的话使用体验可能相当差

这东西要一定门槛的,不是那么简单

低配置,but大模型,听着就抽象
人家叫大模型又不叫小模型,大不就大在算力了么