这是一个创建于 235 天前的主题，其中的信息可能已经有所发展或是发生改变。
作为一个深度学习的小白，最近在搞 llm 微调。
用过 colab ，gpu 云服务部署过模型，但感觉都不是很方便
想拥有一台自己的深度学习工作站。但对硬件配置不是很懂
例如是选择专业卡还是消费卡。是 v100 ，还是 4090 ，还是 3090
如果要微调 70b 往上的模型，单卡显存不够的，具体怎么配置还请有经验的大佬指教一下
预算： 2w-3w+ （个人学习预算） 上限: 8w （公司预算）
要求： 1.能微调 7b~100b+ 2.尽可能便宜
7 条回复 • 2024-05-07 23:34:12 +08:00
 |
1
osilinka 235 天前
目前性价比最高的是 3090 ，就看你能买多少
|
 |
2
hrn961110 OP 具体的配置可以推荐一下么
|
 |
4
cloud2000 235 天前
消费级最多微调 7-13B, 100B 是不现实的，只能云端。
|
|
5
osilinka 235 天前
|
 |
6
vincent7245 235 天前
个人学习，我是一个旧电脑上的 8 代 i3 ，买了两块 Tesla P40 花了大概一千，从学习机器学习到现在调大模型，一直用的挺好的，慢点就慢点，又不是不能用。
|
|
7
hrn961110 OP |
Select Language