这是一个创建于 379 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前主要有俩需求：
- 对于常用知识进行问答，对于公司内部知识（如请假流程，内部代码建议等）可以训练并问答
- 可对于目前的内部流程，销售等进行建议；我们公司各个部门内部流程上千。
感觉是需要大模型进行训练，但又苦于不知去哪找到合适的；部署的话可以利用公有云或者私有云都可；（公司内部有私有云） 常识性公开的问答可以用 chatgpt 我这边可以按照 api 进行弄个前端搞，基于 gtp3.5 但是内部流程的话或者销售数据公司领导不想给到外部进行训练。 请问有没有好的方式进行实施，交作业
 |
1
Aruen8 2023-12-12 09:18:34 +08:00
哪个公司呀？
|
 |
3
gaobh 2023-12-12 09:25:54 +08:00 via iPhone
首先买一个 a100 或者买至少 4 块 4090 ，然后找个中文开源大模型框架训练即可，然后训练完你需要 gpu 服务器部署或者用 a100 部署，不知道你们公司财力怎样，要求并发的话一个月至少话 1 万？
|
 |
4
sweat89 2023-12-12 09:28:33 +08:00
RAG
|
 |
5
linch97 2023-12-12 09:29:54 +08:00
chatglm 6B 或者 13B ？这俩训练成本没那么高，只是问答应该也足够用了
|
 |
6
bk201 2023-12-12 09:30:25 +08:00
找个外部提供服务的进行私有部署
|
 |
7
x86 2023-12-12 09:31:35 +08:00
|
 |
8
luny 2023-12-12 09:35:05 +08:00
智谱 AI 大模型，好像可以私有化部署，算力要求不高，可以了解下
|
 |
9
0703wzq 2023-12-12 09:36:17 +08:00
试试看这个能不能满足： https://github.com/labring/FastGPT
|
 |
10
listenfree 2023-12-12 09:37:14 +08:00
https://github.com/chatchat-space/Langchain-Chatchat
找类似的 chatglm3 + langchain ，完成你说的两个任务，调整好参数，适当修改知识库内容，花不了多少钱。 |
 |
11
kidult 2023-12-12 09:41:51 +08:00
3 楼的方案可以，用 gpt 的话肯定是要外泄数据的，如果只需要 3.5 的能力还是申请公司资源自己搞吧，搞完直接升职加薪
|
 |
12
c5QzzesMys8FudxI 2023-12-12 09:44:06 +08:00
最近我也在研究本地化部署问答知识库，正在使用 FastGPT + M3E + chatglm3
|
 |
13
holysin 2023-12-12 09:48:45 +08:00
上次开会听说很多公司都有对应的解决方案，但是肯定是要微调的，你们还得买几张卡....
|
 |
14
lozzow 2023-12-12 09:51:29 +08:00
我司有解决方案，要不要联系下，低成本
|
 |
15
PaulSamuelson 2023-12-12 09:52:36 +08:00
你看看这个——https://segmentfault.com/a/1190000044459875#item-6
这个是直接用人家现成的。你可以先试用一下，看看效果。 它这个的优势是，只需要提供文档，然后就可以提问了。 |
 |
16
graetdk 2023-12-12 10:04:16 +08:00
|
 |
17
churchmice 2023-12-12 10:12:48 +08:00
@graetdk #16 网页做的不错，然而随便聊几句真是呵呵
|
 |
18
lneoi 2023-12-12 10:20:37 +08:00
网上开源的可私有部署模型 + langchain 可以实现知识库相关的系统
|
 |
19
qdlidada 2023-12-12 10:29:26 +08:00
我司有现成解决方案,可提供私有化部署,需要联系
|
 |
21
hui9000 OP |
 |
22
so1n 2023-12-12 10:41:37 +08:00
|
 |
24
karatsuba 2023-12-12 10:59:42 +08:00
1.用 chatgpt 自带的功能挂 langchain 解决，缺点是收费
2.用本地跑模型训练或者外挂知识库，缺点是有硬件门槛而且没有 chatgpt 好使 |
 |
25
RealJacob 2023-12-12 11:17:44 +08:00
简单弄都不需要训练吧，弄个向量数据库存一下你们的相关信息，langchain 接一下 gpt 和这个向量数据库就完事儿了
|
 |
26
clino 2023-12-12 11:58:15 +08:00
王健硕的 chato 是不是就是搞这个的 https://chato.cn/
就是不知道能不能私有部署 |
 |
27
em70 2023-12-12 12:06:22 +08:00
知识库不需要微调,通过向量库把资料给到 prompt 就行了,私有部署建议用通义千问 14B,是目前消费级显卡能跑的最好的中文开源模型,chatglm 问题太多了,6B 能力也有限. 更强的模型显存超过 24G,需要 A100,H100,你们买不得,也没必要
|
 |
28
mylastfire 2023-12-12 12:13:01 +08:00
@em70 请问个人在家庭服务器上想部署知识库，您这个是最佳选择吗？
|
 |
29
kkhaike 2023-12-12 12:13:23 +08:00
之前用 longchain 接过。。感觉效果不好，就像 gpt 帮你搜索出来结果打出来一样，不像从 gpt 自己嘴里说出来那样
|
 |
30
Hider5 2023-12-12 12:30:17 +08:00
fastgpt
|
 |
31
jingcoco 2023-12-12 12:33:23 +08:00
从哪搞 GPU ,感觉现在方案好多,就缺价格合适的显卡
|
 |
32
zhumengyang 2023-12-12 14:04:46 +08:00
|
|
33
em70 2023-12-12 14:09:14 +08:00
@mylastfire #28 是,淘宝买一块 2080ti 魔改 22G, 大概 2500 元,就能跑 14B 模型
|
|
34
em70 2023-12-12 14:11:18 +08:00
@kkhaike #29 知识库搭起来容易,但真的要工作,需要花大量时间做数据对齐和调试 prompt,做一个好产品从来都不是容易的事
|
 |
35
znonymous 2023-12-12 15:18:49 +08:00
|
 |
36
vacuitym 2023-12-12 15:22:15 +08:00
这个 openai 的 assistant 很适合啊，专门有个根据文档回答问题的，我有对接，你可以试下： https://chat.vacuity.me/
|
 |
37
jmljava 2023-12-12 15:31:33 +08:00
大模型加向量化考虑一下,特定内容向量化问答,通用问题大模型生成
|
 |
38
datoujiejie221 2023-12-12 15:45:03 +08:00
|
 |
39
TimePPT 2023-12-12 15:47:56 +08:00  2
RAG 检索 / ES 检索，得出 TopN 结果，输出给 GPT ，然后再融合生成最终结果。
效果关键： 1. 语料预处理要好，本身的结构清晰、不重不漏。 2. Prompt 约束完整，写清楚目标，链路，给出正例。并对 badcase 情况明确说 Don't Do It! |
 |
41
laminux29 2023-12-12 17:20:36 +08:00
楼上那些人都没认真看要求吗？
楼主说了，不希望用公共的 AI ，因为担心公司数据外泄。 这种情况只能选不联网的私有化部署的开源大模型才行。 |
 |
42
blessu 2023-12-12 20:36:59 +08:00
微软云的 openai service 不知道能不能用，可以的话就从服务合同的角度避免外泄
|
 |
44
clemente 2023-12-12 23:05:37 +08:00
LLAMA2 完事了
|
 |
46
crazychang 2023-12-13 10:25:45 +08:00
借贴问问 像这种需求 oa 中大量各种格式文档应该如何处理？
|
|
47
TimePPT 2023-12-13 10:37:06 +08:00 1
@hui9000 如果直接调取 GPT ，有一定安全合规风险，要求不是很高可以考虑 RAG 完的结果做下脱敏再扔给 GPT ，回复结果里再把脱敏信息还原。
如果安全合规要求很高，保险期间用私有化部署的开源模型也行，可以找下魔改过的对中文友好的 llama2 ，或者国产可以看下 Yi / Baichuan 之类的 |
|
48
TimePPT 2023-12-13 10:39:42 +08:00
@crazychang 格式文档预处理有一些开源框架能做，比如 PDF 、Excel 之类的解析，不过如果长期方案，建议做下归一化处理成结构、半结构化的统一格式做索引——比如 Markdown or json ，这样有其他诉求，上 DB 也方便
大模型自己去解析封装好的格式文档基本不靠谱，GPT 之类的应该也是做了前置解析处理的 |
 |
49
blackbookbj277 2023-12-13 14:07:52 +08:00
关注下，同样需求不联网的私有化部署的开源大模型的问答系统，单位工作需要大量的法律、规章制度等内容，如果能不联互联网情况下部署最好了，私有云有 GPU 资源是不是可以用。
|
|
50
hui9000 OP @blackbookbj277 我稍微研究了几天，也结合了大家的建议，你跟我的需求大致差不多，对于内部知识资料等可以用开源模型搞就行，类似知识库这种上面有；
问答还是交给 chatGPT ；结合两者可以构建应用，也就是所说的基于 api 构建问答系统； 我现在在研究 https://docs.dify.ai/v/zh-hans/getting-started/readme 这个 |
|
51
hui9000 OP @blackbookbj277 这样成本比较低，如果你那边 gpu 资源够用 就直接全部自己搞
|
 |
52
LDa 2023-12-14 10:27:25 +08:00
建议推掉这种活，不要高看公司能给你的数据质量
|
 |
53
smalltong02 334 天前
可以试试这个开源项目： https://github.com/smalltong02/keras-llm-robot
|
 |
54
wwhc 318 天前 1
不是应该用类似 github.com/imartinez/privateGPT 之类的开源项目么？
|
Select Language