smart-connections安装后花了6小时时间才把本地的笔记进行embedding完成,接着不知道怎么配置才能连接到在线的deepseek, 它是和openAI api兼容的,但是好像要建立本地ollama服务才能加载deepseek模型是吗?但是本地模型需要大内存,条件不满足,所以想直接配置在线接口,有什么办法吗?
它的 Chat 模型是在侧栏里配的, 大概类似这样
花了6小时时间才把本地的笔记进行embedding完成
建议先拿小仓库试试水… 这插件不熟悉时还是有点折腾的
如果觉得这六小时的 embedding 成果有效, 建议赶紧备份 .smart-env/multi/*.ajson
未来万一把向量数据弄挂了, 还能覆盖回去, 将就着还能用 (过期老数据覆盖回去没事, 它下次启动时会检查仓库哪个文件改过, 然后就只计算新笔记)
另外几个提示:
1 抽查几个 .smart-env/multi/*.ajson
如果只有元数据, 没看到 "vec":[-0.08390436,0.01437502,...
一串数, 建议把这文件删了, 否则它可能以为这是有效的嵌入文件, 简单判断: 只有1-2kb 的 ajson 肯定有问题
2 设置界面那几个按钮 Re-load Sources
, Import
, Prune
, Clear All & Re-import
(最后那个肯定知道不要随意按, 其他三个说实话看不明白) 其含义分别是
// Runs the load process by invoking superclass methods and rendering settings.
source_collection.run_load(); // 会重新载入模型
// Runs the import process by queuing imports for changed items and processing the import queue.
source_collection.run_import(); // 就是看嵌入块 metadata 是否改变了, 然后排一个 item.queue_import()
// Runs the prune process to clean up sources and blocks.
source_collection.run_prune(); // 灭掉失效的嵌入块
// confirm("Are you sure you want to clear all data and re-import? This action cannot be undone."))
// Clears all data by removing sources and blocks, reinitializing the file system, and reimporting items.
source_collection.run_clear_all();
3 一定要选支持中文的嵌入模型
我换了一个小小库,确实快很多,可以成功chat了,太棒了!非常感谢!!
有没有具体填写配置的对应设置呢?这里面的东西看的迷糊
一般来说, 只关心几样东西:
1 调用网址是啥, 关键词 base_url
或 endpoint
, 有的插件让填到 v1 有的让填到最后 .../chat/completions
举例
https://api.deepseek.com/v1
https://api.moonshot.cn/v1/chat/completions
https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions
2 模型名是啥, 关键词 model_name
, 每家平台网站里会提供, deepseek-chat
moonshot-v1-8k
等等
3 api_key 是啥, 这个好理解
有的插件会对这一整套配置, 让用户取一个 label 名字, 那这个就随便写
smart-connections 这个是非要拆开了填写, 一般别的插件不这样填
我这个通义千问的对着不?
实测对的, 可以用, 我除了 qwen-turbo
跟你不一样, 其他填的都一致
它可以回答,但是会显示如下的信息:No model selected.
实测不影响用, 别管他, 感觉这插件最近又重构了, 唉
右上角还会显示这个信息呢,也有点看不懂了
表示插件查到仓库里有 4080 个片段需要做索引, 等全做完索引, 才能对知识库聊天
bge-micro-v2
是它默认给设的向量嵌入模型, 快, 能力差, 不支持中文
NaN tokens 不靠谱, 如果总这样就有问题, 其一原因可能是, 它没能从 huggingface 下载到那个嵌入模型 (考虑开魔法后, 重启 Ob 让它再下载一次, 成功下载后就缓存了, 之后不必魔法)
如果不太熟悉 smart-connections 强烈建议先找个小仓库做实验
感谢感谢大佬!回答问题好细致啊,真心感谢!!