通过雷电网桥连接三台 Mac（m1p/m2/m4）测试 Exo cluster 运行 Qwen 2.5 Coder 32B 结果

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

测试机型:

m1pro 16G(14cu)
m2 8G(10cu)
m4 16G(10cu)

Screenshot 2024-12-13 at 12.30.34 AM.png

测试模型为 Qwen 2.5 Coder 32B

测试结果

三台单独都无法运行起来。当 m2 和 m4 通过雷电 4 互相连接时也无法运行。
当 m1pro 和 m4 通过雷电 4 互相连接时，速度为 5 tokens/s
当三台设备通过雷电 4 互相连接时，速度为 8 tokens/s

崩溃概率蛮大的，测试三次，两次 m2 机器上 python 进程 OOM 被干掉。 Screenshot 2024-12-13 at 12.36.36 AM.png

2 条回复 • 2024-12-13 10:09:12 +08:00

phrack

12 天前

挺有意思的，之前也偶然见过这个项目不过没试过。如果不用雷电就是普通的以太网速度怎么样？

huaweigg

12 天前

@phrack 千兆比雷电网桥慢，感觉瓶颈在通讯时延，千兆延时在 1000ms ，雷电网桥才 400ms ，通讯数据带宽也就几百 kbps 。万兆没有条件测😂，据 https://x.com/alexocheema/status/1855242039501128144/photo/1 比雷电 4 还快一些。