别在用 GPT 的 API 了，自己训练一个 GPT3 LIKE 吧，成本几十美金
cattrace · 2023-03-25 09:44:16 +08:00 · 4605 次点击这是一个创建于 643 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
swulling 2023-03-25 09:49:18 +08:00
还是得看效果。
技术上有一个可用的临界点，低于这个点就没有产品化的必要。 |
|
2
swulling 2023-03-25 09:50:05 +08:00
目前看这个临界点在 GPT 3.0 和 3.5 之间，3.0 其实已经出来挺久了，但是一直不温不火，就是因为它没有越过临界点。
|
 |
4
Merlini 2023-03-25 10:01:05 +08:00
其实部署模型也是一个很复杂的事情，这种大模型本地用还可以，如果想把他做成服务，那需要下太多功夫了
|
 |
5
zhleonix 2023-03-25 10:01:07 +08:00  1
搞一些领域专用模型作为助理工具够用了，也容易在企业应用里面集成。
|
 |
7
dacapoday 2023-03-25 11:25:04 +08:00
@swulling 不过作为追赶者，可以试试找到达到这个临界点所需的最小数据集。进而让模型实现 portable ，打破巨头垄断的局面。
|
 |
8
iloveoovx 2023-03-25 11:34:21 +08:00
关于这个临界点其实需要注意自己思维里的盲点
我们会认为是技术上线性提升，是一种增量思维 表面上看也的确符合，多用了 RLHF 但这是关键了，RLHF 可以通过被训练好的 model 迅速传递到下一个 model 里。也就是说，openai 吃了螃蟹，别人可以很低成本地消化它吃过的。 同时，175B 参数一定是那个临界点的阈值吗？不一定。6b + RLHF 说不定也行，可能会好过纯粹 175b 的能力。就这一个变量，就导致线性思维毫无用处，基本会把自己带坑里错过机会 |
 |
9
zagfai 2023-03-25 18:24:16 +08:00
3.5 和 4 就是小学生和高三生的差距
|
 |
10
Wenbobobo 2023-03-25 18:46:23 +08:00 via Android
这个和斯坦福那个羊驼 lora 有什么区别？👀
|
 |
11
cattrace OP @Wenbobobo 借鉴了那个，这个主要是训练成本很低，作者说是几十美元就有 gpt3 差不多的效果，具体得亲自试试才知道
|
 |
12
leimao 2023-03-26 00:17:06 +08:00
低质量的数据集容易生成低质量的模型不说，模型还可能受数据集质量产生各种仇恨负面等言论。这也就是为什么 OpenAI 的模型都有 Human-In-The-Loop ，他的模型说话可以让人接受。
|
Select Language