fid 最近的时间轴更新
fid

fid

V2EX 第 589430 号会员,加入于 2022-07-29 17:47:35 +08:00
今日活跃度排名 1536
fid 最近回复了
21 天前
回复了 fid 创建的主题 Local LLM 8x4090 离线部署 Qwen2.5 求助
@Les1ie @mythabc @Leon6868 当前配置还有必要优化吗
21 天前
回复了 fid 创建的主题 Local LLM 8x4090 离线部署 Qwen2.5 求助
@mythabc 4 卡应该不太够用,可以看看最新 append
21 天前
回复了 fid 创建的主题 Local LLM 8x4090 离线部署 Qwen2.5 求助
@kennylam777
@lixile
可以查看最新 append
21 天前
回复了 fid 创建的主题 Local LLM 8x4090 离线部署 Qwen2.5 求助
@fid #35

@lixile #32
更正,8x4090 单张 78-90%占用
21 天前
回复了 fid 创建的主题 Local LLM 8x4090 离线部署 Qwen2.5 求助
@kennylam777 #33 目前方案是 8x4090+Qwen2.5-72B-Instruct-AWQ+lmdeploy ,体验良好,占用低
21 天前
回复了 fid 创建的主题 Local LLM 8x4090 离线部署 Qwen2.5 求助
@lixile #32 8 卡同时跑大概每张卡占用 20-30%,占用率还是非常低的,使用的是 awq int4 ,使用体验很顺滑
22 天前
回复了 fid 创建的主题 Local LLM 8x4090 离线部署 Qwen2.5 求助
@liu731 显卡内存 8x24g ,正文写了的
22 天前
回复了 fid 创建的主题 Local LLM 8x4090 离线部署 Qwen2.5 求助
@wantstark #18 我是一台机器多卡,暂时没有分布式条件,可能没有表述清楚
22 天前
回复了 fid 创建的主题 Local LLM 8x4090 离线部署 Qwen2.5 求助
@Les1ie #20
1. q4km 量化多卡不太合适,目前尝试 72B awq 量化+LMdeploy ,参数级提升应该大于精度提升
2. 我协调一下显卡使用,应该能合理分配,毕竟多卡通信存在速度损失
3. qwen2.5 优于 deepseek 吧
4. 本地部署必要,100%无法联网,4o 还是太成熟了
22 天前
回复了 fid 创建的主题 Local LLM 8x4090 离线部署 Qwen2.5 求助
@woscaizi #19 好的,感谢推荐!
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1820 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 16:28 · PVG 00:28 · LAX 08:28 · JFK 11:28
Developed with CodeLauncher
♥ Do have faith in what you're doing.