V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
oldbird
V2EX  ›  Python

cpu 主频低, Python 处理慢?

  •  1
     
  •   oldbird · 2019-11-14 19:19:43 +08:00 via Android · 6022 次点击
    这是一个创建于 1871 天前的主题,其中的信息可能已经有所发展或是发生改变。
    笔记本 i5-3250m,2.6ghz,16g 内存
    台式机 xeon3106,1.7ghz(2 处理器),64g 内存
    用 python 处理一幅 3g 左右的图像,笔记本 45s,台式机要 3 分钟,不知道什么原因
    25 条回复    2019-11-16 18:18:50 +08:00
    crclz
        1
    crclz  
       2019-11-14 19:24:13 +08:00
    看看任务管理器资源占用
    susecjh
        2
    susecjh  
       2019-11-14 19:24:14 +08:00 via Android
    万一用的 gpu 呢
    factoid
        3
    factoid  
       2019-11-14 19:28:14 +08:00 via Android
    我猜也是 gpu
    kokutou
        4
    kokutou  
       2019-11-14 19:28:41 +08:00
    其实就算 9102 年了,主频仍然很重要。。。
    然后就是固态。
    JunoNin
        5
    JunoNin  
       2019-11-14 19:30:55 +08:00 via Android
    说下显卡配置
    wevsty
        6
    wevsty  
       2019-11-14 19:32:23 +08:00
    如果你的代码是单进程的,那当然是主频高的比较占便宜。
    oldbird
        7
    oldbird  
    OP
       2019-11-14 19:43:23 +08:00 via Android
    笔记本是 nvs5400m 独显,台式机是 1080ti 4g,单线程,没用 gpu,就是用 gdal 做了个格式转换。
    wangyzj
        8
    wangyzj  
       2019-11-14 19:44:48 +08:00
    硬盘呢
    oldbird
        9
    oldbird  
    OP
       2019-11-14 19:49:56 +08:00 via Android
    @wangyzj 台式机固态,笔记本 python 在固态,数据在机械
    wangyzj
        10
    wangyzj  
       2019-11-14 20:04:55 +08:00
    @oldbird 挂查一下俩机器的 CPU 使用情况把,在运行期间
    user system wait
    MinQ
        11
    MinQ  
       2019-11-14 20:12:18 +08:00
    光用 CPU 的话的确主频高的会占便宜,但也不会差出去 3 倍多吧
    expy
        12
    expy  
       2019-11-14 20:37:45 +08:00
    i5 好像能 turbo 到 3.2GHz,不过主频差别没时间差距那么大,1.7/3.2>45/60/3。
    还是想办法用上多余的核心吧。
    liuxingbaoyu
        13
    liuxingbaoyu  
       2019-11-14 21:01:14 +08:00
    应该不是主频,而是指令集
    aru
        14
    aru  
       2019-11-14 22:22:09 +08:00
    单线程,主频是相当重要的.
    两个 cpu 相比笔记本的单核性能大概是 1.8 倍台式机
    不过光 cpu 差别还没这么大,再找找原因?
    是不是 io 的问题?
    ClericPy
        15
    ClericPy  
       2019-11-14 23:08:45 +08:00
    有点难猜, 试过那些 Profile 工具了么, 最次 PySnooper 找到最底层是哪行 block 最久, 把那行代码发上来啊...... 固态和机械硬盘读数据到内存差距倒还真挺大的, 保守估计差两三倍, 然后这俩 CPU 不知道用到集显没有, 不同型号的 CPU 对图像处理的优化能力也差别挺大
    FaceBug
        16
    FaceBug  
       2019-11-15 00:15:46 +08:00
    1080ti 4g 是个啥玩意哈哈哈

    建议你还是在关键节点打个时间点,看到底是哪里耗时啊
    msg7086
        17
    msg7086  
       2019-11-15 03:20:07 +08:00 via Android
    绑定一下 CPU 核心试试?
    xmoiduts
        18
    xmoiduts  
       2019-11-15 04:52:05 +08:00
    双路 CPU……NUMA 问题?

    顺便求问这“台式机”多少预算配的
    Eytoyes
        19
    Eytoyes  
       2019-11-15 07:59:55 +08:00
    移动处理器还有核显的
    skinny
        20
    skinny  
       2019-11-15 09:02:56 +08:00
    我觉得是硬盘 IO 的问题,3GB 的文件普通硬盘光读取就要花两分钟以上,要是慢一点三分钟也差不多了。
    heart4lor
        21
    heart4lor  
       2019-11-15 11:25:01 +08:00
    是这样没错 纯 CPU 处理图片的话和主频有关系,我经历过主频高的桌面级 8 核 i7 是比服务器主频低的服务器 64 核 xeon 要快。可以考虑用 GPU 来跑
    augustheart
        22
    augustheart  
       2019-11-15 11:33:19 +08:00
    cpu 频率无误。
    当年都建议玩游戏不要用服务器 cpu,因为服务器 cpu 偏重多任务,而不是计算速度,这是常识。貌似 e3 1230v3 年代被人带偏了,人人都是挂机工作室,抱着多核狠吹。
    dzmcs
        23
    dzmcs  
       2019-11-15 12:14:03 +08:00
    cpu 主频差距没那么大,就算笔记本是新款,指令和 cache 都有优化,每秒执行指令差距应该也不到一倍吧。大概率是在 IO,机械硬盘载入 3g 的文件比固态慢不少。
    oldbird
        24
    oldbird  
    OP
       2019-11-16 17:29:48 +08:00 via Android
    @dzmcs 台式机是固态,笔记本的数据在机械,但笔记本快,奇怪
    liuxingbaoyu
        25
    liuxingbaoyu  
       2019-11-16 18:18:50 +08:00
    如果是 opencv,可以通过环境变量设置是否开启特定指令集优化,都关掉测试一下就行了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2836 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 13:24 · PVG 21:24 · LAX 05:24 · JFK 08:24
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.