V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
xyok
V2EX  ›  问与答

python requests 抓取国外页面时如何处理网络延迟问题?

  •  
  •   xyok · 2016-03-19 17:28:49 +08:00 · 2988 次点击
    这是一个创建于 3206 天前的主题,其中的信息可能已经有所发展或是发生改变。

    浏览器下页面内容 1 秒就可以显示了,但请求没结束,等请求结束大概要 1 分钟。 如图

    如何用 requests 在此时就读取请求到的内容,而不用等所有都加载完

    timeout 参数?

    9 条回复    2016-03-19 23:07:24 +08:00
    kendetrics
        1
    kendetrics  
       2016-03-19 17:38:19 +08:00
    用 socket
    xyok
        2
    xyok  
    OP
       2016-03-19 17:51:37 +08:00
    @kendetrics 这是个 post 请求, socket 该如何进行
    cloverstd
        3
    cloverstd  
       2016-03-19 18:11:23 +08:00
    @xyok HTTP 协议
    kendetrics
        4
    kendetrics  
       2016-03-19 18:12:26 +08:00   ❤️ 1
    @xyok 你只会用封装好的 HTTP 协议的库么。。
    just1
        5
    just1  
       2016-03-19 18:14:23 +08:00 via Android
    stream=True
    gamexg
        6
    gamexg  
       2016-03-19 20:43:00 +08:00
    看文档,记得有流功能
    binux
        7
    binux  
       2016-03-19 20:47:39 +08:00
    你哪里显示需要 1 分钟请求结束了?
    xyok
        8
    xyok  
    OP
       2016-03-19 20:59:43 +08:00
    @binux 请求结束的截图没放上来
    binux
        9
    binux  
       2016-03-19 23:07:24 +08:00
    @xyok 不是你选中的这个请求吗?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2787 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 13:06 · PVG 21:06 · LAX 05:06 · JFK 08:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.