这是一个创建于 184 天前的主题，其中的信息可能已经有所发展或是发生改变。
我看拼多多 64G 2T 的 macbookpro 14 寸 2 万能拿下，m1max 能跑大模型么，平常用有没有什么不兼容的问题啊，同配置的 m3 得 3 万了，想贪便宜了
71 条回复 • 2024-08-31 16:00:00 +08:00
 |
1
nyfwan123 184 天前
对于日常开发工作 性能过剩
对于跑大模型 不够 不是说你 64G 约等于 英伟达的 64G 显存 Mac 的 GPU 跑大模型很伤 而且性能损耗也很大 如果常跑大模型 还是建议 x86_64 + N 卡（可以淘宝魔改） |
 |
2
NonClockworkChen 184 天前
m1max 别买 14 寸，散热不行
|
 |
3
mbooyn 184 天前
买的二手，16 寸 m1max 64 加 1t ，1w3 拿下，够用了
|
 |
4
RenoYoo OP @NonClockworkChen 14 寸的风扇压不住么，不是说 M 系列风扇都不转的么
|
 |
7
puzzleperson 184 天前
@mbooyn 老哥有渠道吗，最近也想入手一个
|
|
8
NonClockworkChen 184 天前
@RenoYoo 轻场景肯定压的住，但是那你不如买 m1 pro 。重场景肯定是 16 寸散热才行。
|
 |
11
magic3584 184 天前
不建议，毕竟 3 年前的电子产品。
建议秋季新品发布后买 M2 及后代产品。 |
 |
12
xieren58 184 天前
摸鸡老板那便宜...
|
 |
15
syyyyy 184 天前  1
千万别想着为跑大模型买 mac ，它只是能跑
|
|
18
RenoYoo OP @NonClockworkChen #8 就是怕太沉了，不愿意用
|
|
23
RenoYoo OP 散热到底是个什么水平，平常敲代码会发烫么，mac 对我来说就是剪视频、敲代码、跑模型
|
 |
25
laonger 184 天前
跑大模型不如网上租服务器
|
 |
26
shuimugan 184 天前
跑大模型推理吃的是内存带宽和核心数，连频率都不怎么吃，显卡降低 30%的功耗也就少个 10%左右的速度。Max 那个带宽才 400GB/s ，只有 Ultra 一半， [用来跑大模型就是个垃圾] 。
买 Mac 跑大模型，优势是比买超大显存（指的是单张 48G 和以上显存）的显卡方便。你这才 64G 的配置，无论是二手魔改 2080TI 22G X3 的价格，还是全新 7900XTX 24G x3 的价格，加上其它硬件的费用，除了电费和体积没优势，推理速度和扩展性都能把 Max 按在地上摩擦。 具体被摩擦到什么程度呢？ Ultra 推理速度是 Max 的 2 倍，而多张 2080TI 22G 的速度是 Ultra 的 2~3 倍，这个波动是随着模型占用越大优势越小，毕竟多卡之间走 pcie 通讯也是有点损耗的。 |
 |
28
sq125 184 天前
不买，64G 跑大模型不太够，起码得 128G 才顺畅，而且 M1 的算力在现在也落后了。
|
 |
30
lrigi 184 天前 via iPhone
@shuimugan 大兄弟你真的测了吗？ 2080 怎么可能比 m1max 快，你看看这个网址 https://github.com/liltom-eth/llama2-webui/blob/main/docs/performance.md ，同样是 llama2 7B 4bit 2080ti 就 18token/s ，跟 m1 pro 用 cpu 跑的速度差不多，即使是 m2 用 metal 也有 13 token ，这叫推理速度被按在地上？ 2080ti 连 m1 pro 的 cpu 都不如。就算是 3090 也比 m1 max 快不了多少吧
|
 |
31
A4l1CteRQHlG1Bs8 184 天前
屏幕和最新的 M3Pro 还是有点差别的. 不过性能确实还可以. 或者等个 M4 吧. 主频高很多呢
|
 |
32
OCD2057 184 天前
价格合适的可以啊...我现在都还在用着首发定的这配置
|
 |
33
1002xin 184 天前
价格合适完全没问题，只为了跑大模型不建议
|
 |
34
legenumbre 184 天前
2w 贵了，1.7w 最多了
|
 |
35
coolcoffee 184 天前
我手上的还是 M1 Max 。 表示那点算力被 N 卡吊打。之前测试 Stable Diffusion 同模型生图 15 ～ 20 秒，然后 RTX3080 只需要 2 秒，
专门的设备就做专门的事情吧。在 macOS 上想各种办法调教的再好也上不了生产环境，服务器上不还得用 N 卡。 |
|
36
RenoYoo OP @legenumbre 啥渠道这么便宜，是新的么
|
|
39
RenoYoo OP @xiebaiyuan 啊，不是一样的 miniled 么
|
|
40
legenumbre 184 天前
@RenoYoo
翻新机啊，现在摩集上这个配置但是 1TB 存储 1.8w. 我是一年前买的 MacBook pro 16 寸 m1max （ 24gpu ） 64gb 内存 1TB 存储官翻退完税 1.6w 不到。当然我用了国外打折 gift card 。 |
|
41
shuimugan 184 天前
@lrigi 我测过啊，我有 2 张 2080ti 22g ，1 张 7900xtx ，1 个 Mac Studio M2 ultra 76 核 192G 内存。
你发的那个已经是 10 个月前的数据了，也不知道怎么测的，最近编码能力很牛的 Codestral 22B 6bit 量化在 2080ti 22g 都能跑 22 token/s 。而且 10 个月前海外还买不到 22g 的魔改 2080ti |
|
42
A4l1CteRQHlG1Bs8 183 天前
@RenoYoo 看起来还是有点差别。 我自己是 m1max ，m3pro 感觉更加透亮一点。 不过 m3pro 这代记牙膏挤的不太够。 如果考虑新的可以等等 m4 系列的。 ipadpro 上来看 m4 版本续航大幅提升了
|
|
43
shuimugan 183 天前
@lrigi 好久没跑 7B 这么小的模型了，刚刚又跑了一次来弄点数据，量化方式都是 GGUF ，推理后端都是 llama.cpp 。
Codeqwen-1_5-7b-chat 模型，q4_k_m 量化，单张 2080ti 22g 下推理速度是 70.54 token/s ，在 M2 Ultra 上速度是 75.34 token/s 。 Mistral-7B-Instruct-v0.1 模型，q8 量化，单张 2080ti 22g 下推理速度是 51.72 token/s ，在 M2 Ultra 上速度是 61.24 token/s 。 |
 |
44
PainAndLove 183 天前
千万别。要么直接 m3max ,要么等等 3 个月后的 m4max
|
|
45
RenoYoo OP @PainAndLove 主要是很贵啊
|
|
46
RenoYoo OP @coolcoffee 懂了
|
 |
49
dilidilid 183 天前
@magic3584 现在还没发正式版的 MacOS 15 都支持到 MBP 2018 了，M1 系列至少还有 3 年支持。而且 MacOS 14 和 15 都是支持到 MBP 2018 ，很大概率未来支持时间会被拉长，这几年的新系统砍支持机型主要还是逐渐过渡到 ARM 架构。
再说了，都问这个问题的人了肯定是预算敏感型用户，不知道为啥这么多人觉得四五年之后差一年的系统更新是个很大的缺点。 |
 |
50
mouzhiyang 183 天前
在用 14 M1Max 64G 1TB ，日常开发过剩
|
|
51
RenoYoo OP @mouzhiyang 散热 OK 么
|
|
52
RenoYoo OP @legenumbre #40 官翻？
|
|
53
RenoYoo OP @xiebaiyuan #42 主要是我现在就要用，另外同配置 m4 得 3 万了吧
|
|
54
A4l1CteRQHlG1Bs8 183 天前 via iPhone
@RenoYoo 2t 估计不止了。硬盘挺贵的。 只能说 m1max 目前用起来性能是够的。llm 能推理训练还是不太行
|
|
55
mouzhiyang 183 天前
@RenoYoo #51 CPU 常年 50 度，风扇基本没有转过，转的时候 2000+ 转速，也听不到声音
|
|
56
RenoYoo OP @mouzhiyang #55 明白，多谢分享
|
|
57
RenoYoo OP @xiebaiyuan #54 明白了，感谢分享
|
 |
59
jiuzhougege 183 天前
我打包 app 都 105 度
|
|
60
RenoYoo OP |
 |
61
PrilgrimLi 182 天前
我觉得问题不大，我的 19 年 16 寸 intel 的 MBP 还能满足日常需求呢。不过最近动了要换的心思，不是因为不能忍受发热和风扇，而是 chatgpt 发布的 mac 版，现在登陆网页不是很稳定，隔一会儿就得刷新，只能是拿 iPad pro 来弄，然后粘贴回电脑。等年底的 m4 MBP ，暂时还能忍。
|
 |
62
tanrenye 182 天前
为了大模型买 mac 可能不是一个好选择
|
 |
63
wangkai123 182 天前
Mac 用来推理无敌了，m1 max 秒杀了 laptop 4060
|
 |
64
frankyuu 182 天前 via Android
最后选了哪款？
|
 |
65
sunpm 182 天前
不跑大模型，开发前端的话 m1max 还可以用 5 年吗
|
 |
66
beginor 182 天前 via Android
苹果 M 芯片的优势是统一内存，可以将大量的内存做为显存来使用，所以就能够运行比较大的模型。
以 64G 的 M1 Max 为例，默认可以分配 48G 左右的内存做显存使用， 通过调整系统参数， 最大可以分配 56G 内存做显存， 可以运行 Q5 量化的 70b 参数的大模型。 但是 M1 Max 推理的速度并不快。 跑同样的 llama 3 8b 模型的话， 即使是 3060 显卡， 在装好 quda 驱动之后， 推理速度是 M1 Max 的 1.5~2 倍， 而且 M1 推理的精确度似乎也没有 cuda + N 卡高。 手上刚好有台 M1 Max 的 MBP ， 还有一台 3060 的台式机， 以上是亲身体验。 如果是日常开发，M1 Max 至少 3 年内斗士性能过剩的， 多数时间都是 E 核在跑，P 核最多跑 1~2 个， 还有 8 个 P 核随时待命。 |
 |
67
houhaibushihai 180 天前
跑大模型还是组装一台 N 卡台式机吧，mbp 怎么都不合适跑大模型
台式机+轻薄本的预算估计都超不过高配 mbp 价格 |
|
68
wangkai123 179 天前
@beginor 啊？我用 ollama 跑的 llama 3 8b ，为什么笔记本 4060 那么慢啊 只有 2-7 token /s 。M1 max 明显快非常多，但是没算 token/s
|
|
69
RenoYoo OP 朋友们，最后买了 m1max 14 寸了，感觉 14 寸刚刚好，16 寸太大了，背着不方便，散热确实不如 m1 ，不过个人能接受
|
Select Language