V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
digd
V2EX  ›  硬件

同样是统一内存显存,为什么用 mac 做 LLM 推断的远多于 AMD 核显?

  •  
  •   digd · 230 天前 · 2142 次点击
    这是一个创建于 230 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,我在网上很多地方能看到用 mac 做大模型 inference 的,甚至用 macbook air M1 16g 来运行 LLAMA 8B ,网上的教程和演示也很多

    像 AMD 的核显,比如 8840h ,性能也很强,统一内存显存,不知道为什么这么做的人就很少?

    11 条回复    2024-05-09 09:49:48 +08:00
    pxqsxs
        1
    pxqsxs  
       230 天前 via iPhone
    8840H 这统一能和人家是一个概念?人家是颗粒和 soc SiP ,封装在了一起,带宽能比吗?
    hefish
        2
    hefish  
       230 天前
    说到底还是用的人少。 买 amd 的说不定都开黑直播去了。。。
    V28a19cc
        3
    V28a19cc  
       230 天前
    能跑跟能用是两码事,Mac 的内存是 384/512 bit 位宽,性能远超 AMD 。
    misdake
        5
    misdake  
       230 天前
    想这么做的人都去买 nv 的独立显卡了吧。AMD 配套生态差得太远了,和性能关系感觉没那么大。
    dnfQzjPBXtWmML
        6
    dnfQzjPBXtWmML  
       229 天前 via Android
    内存带宽不足,无法任意访问内存
    digd
        7
    digd  
    OP
       229 天前
    @V28a19cc
    @kenvix
    @pxqsxs

    我查了一下,m2 ultra 带宽吊打,可达到 0.8Tb/s, 接近 4090Ti 的 1Tb/s

    8840h 和 m2 差不多,都是 100Gb/s 。m2 pro 和 m2 max 分别是 200 和 400Gb/s

    所以如果用笔记本来体验 LLM 推断的话,相比较 MacBook air ,amd 更实惠。但更进阶的体验差距就巨大了
    digd
        8
    digd  
    OP
       229 天前
    又查了一下,h200 的显存带宽是恐怖的 4.8Tb/s ,简直就像弗利萨说自己的战斗力是 53 万一样
    msg7086
        9
    msg7086  
       229 天前
    AMD 的内存显存离 CPU 足足几厘米远,mac 的都是按毫米算的,这就已经有差距了。
    murmur
        10
    murmur  
       229 天前
    人家可以插显卡,mac 不行
    minami
        11
    minami  
       229 天前
    因为 AMD 的 ROCm 真的拉跨
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1237 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 17:52 · PVG 01:52 · LAX 09:52 · JFK 12:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.