python企业级本地知识库问答解决方案 任意格式文件或数据库的问答

python企业级本地知识库问答解决方案 任意格式文件或数据库的问答

是致力于支持任意格式文件或数据库的本地知识库问答系统,可断网安装使用。
您的任何格式的本地文件都可以往里扔,即可获得准确、快速、靠谱的问答体验。
目前已支持格式: PDF(pdf),Word(docx),PPT(pptx),XLS(xlsx),Markdown(md),电子邮件(eml),TXT(txt),图片(jpg,jpeg,png),CSV(csv),网页链接(html),更多格式,敬请期待…

特点

  • 数据安全,支持全程拔网线安装使用。
  • 支持跨语种问答,中英文问答随意切换,无所谓文件是什么语种。
  • 支持海量数据问答,两阶段向量排序,解决了大规模数据检索退化的问题,数据越多,效果越好。
  • 高性能生产级系统,可直接部署企业应用。
  • 易用性,无需繁琐的配置,一键安装部署,拿来就用。
  • 支持选择多知识库问答。


为什么是两阶段检索?

知识库数据量大的场景下两阶段优势非常明显,如果只用一阶段embedding检索,随着数据量增大会出现检索退化的问题,如下图中绿线所示,二阶段rerank重排后能实现准确率稳定增长,即数据越多,效果越好。
使用的检索组件BCEmbedding有非常强悍的双语和跨语种能力,能消除语义检索里面的中英语言之间的差异,从而实现:
强大的双语和跨语种语义表征能力【基于MTEB的语义表征评测指标】。
基于LlamaIndex的RAG评测,表现SOTA【基于LlamaIndex的RAG评测指标】。

LLM

本大模型基于通义千问,并在大量专业问答数据集上进行微调;在千问的基础上大大加强了问答的能力。

开始必要条件For Linux

System
Required item
Minimum Requirement
Note
Linux
NVIDIA GPU Memory
>= 4GB (use OpenAI API)
最低: GTX 1050Ti(use OpenAI API)
推荐: RTX 3090
NVIDIA Driver Version
>= 525.105.17
Docker version
>= 20.10.5
Docker install
docker compose version
>= 2.23.3
docker compose install
git-lfs
git-lfs install

For Windows with WSL Ubuntu子系统

System
Required item
Minimum Requirement
Note
Windows with WSL Ubuntu子系统
NVIDIA GPU Memory
>= 4GB (use OpenAI API)
最低: GTX 1050Ti(use OpenAI API)
推荐: RTX 3090
GEFORCE EXPERIENCE
>= 546.33
GEFORCE EXPERIENCE download
Docker Desktop
>= 4.26.1(131620)
Docker Desktop for Windows
git-lfs
git-lfs install

最近更新
2024-05-20: 支持与OpenAI API兼容的其他LLM服务,并提供优化后的PDF解析器。
2024-04-26: 支持联网检索、FAQ、自定义BOT、文件溯源等。
2024-04-03: 支持在纯Python环境中安装;支持混合检索。
2024-01-29: 支持自定义大模型,包括OpenAI API和其他开源大模型,GPU需求最低降至GTX 1050Ti,极大提升部署,调试等方面的用户体验
2024-01-23: 默认开启rerank,修复在windows上启动时存在的各类问题
2024-01-18: 支持一键启动,支持windows部署,提升pdf,xlsx,html解析效果




下载说明:
1.本站资源都是白菜价出售,同样的东西,我们不卖几百,也不卖几十,甚至才卖几块钱,一个永久会员能下载全站100%源码了,所以单独购买也好,会员也好均不提供相关技术服务。
2.如果源码下载地址失效请联系站长QQ进行补发。
3.本站所有资源仅用于学习及研究使用,请必须在24小时内删除所下载资源,切勿用于商业用途,否则由此引发的法律纠纷及连带责任本站和发布者概不承担。资源除标明原创外均来自网络整理,版权归原作者或本站特约原创作者所有,如侵犯到您权益请联系本站删除!
4.本站站内提供的所有可下载资源(软件等等)本站保证未做任何负面改动(不包含修复bug和完善功能等正面优化或二次开发);但本网站不能保证资源的准确性、安全性和完整性,由于源码具有复制性,一经售出,概不退换。用户下载后自行斟酌,我们以交流学习为目的,并不是所有的源码都100%无错或无bug;同时本站用户必须明白,【安安资源网】对提供下载的软件等不拥有任何权利(本站原创和特约原创作者除外),其版权归该资源的合法拥有者所有。
5.请您认真阅读上述内容,购买即以为着您同意上述内容,由于源码具有复制性,一经售出,概不退换。
安安资源网 » python企业级本地知识库问答解决方案 任意格式文件或数据库的问答