我目前把底下的chat改成vaultQA,但是效果总是差强人意,请问大家有使用经验分析吗?不仅仅是将其当作调用api的一个客户端
这个我理解没啥泛用的有效办法
简单说就是问 “具体的问题”, 别问 “抽象概括的问题”
问题里多提 “有效的关键词”, 多写 “用于匹配知识片段的要点”, 少写 “向聊天模型提要求的语句”
谢谢了,只是问有些具体问题的时候,感觉关联性也不够好。不知道是嵌入式模型的问题,还是这软件我没有使用好
每人笔记都不一样, 确实没法拎出具体例子来讨论, 这能理解
那只能说泛泛的经验, 首先选支持中文的嵌入模型, 然后 chunk size 别设太大 (插件一般都可以设置但 Copilot 没法调 chunk size)
聊天模型不必特别强, 聊天模型能输出快点 (多试几回) 比会推理还管用
另外考虑把 Copilot debug 打开后, 按 Ctrl+Shift+i
看控制台里的几轮对话发生了啥, Copilot 的基本机制是:
1 对用户提问, 先拿 LLM 生成一个假设回答
2 根据假设回答召回 n 个块
3 拼凑这 n 个块, 再让 LLM 生成最终回答
可以粗略看看它召回的块是否合理 (最后说实话, 有可能仍然看不出啥, 有可能看出来问题但是干涉不了)
说的是,我等会再看看吧