V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
unclemcz
V2EX  ›  程序员

咨询各位大佬:如何准确的判断出利用 IP 代理池与 UA 多变的爬虫?

  •  1
     
  •   unclemcz ·
    unclemcz · 2021-03-25 22:14:42 +08:00 · 1005 次点击
    这是一个创建于 1373 天前的主题,其中的信息可能已经有所发展或是发生改变。

    自己的一个资料站,这两年一直被频繁的爬虫和爆破工具骚扰,我现在的策略是很简单的定时判断 IP 的访问量,如果一个 IP 在 1 分钟内访问超过 120 次,则加入临时黑名单,本身并不反感爬虫,只要不影响到网站正常打开,我的态度是随便爬随便爆,所以才设置 1 分钟 120 次的限制。

    最近碰到有些疯狂的爆破工具,一次会使用上百个 IP 和不同的 UA 来访问,一旦这时候后台数据库就处于满负荷状态,网页应用卡死,由于 IP 很分散,所以基本绕过了限制,我统计了一下近期的一次被爆破记录,网站一分钟内被访问了近 2k 次,但单 IP 访问也才 5~30 左右,现在就很苦恼,怎么把这些访问阻止的同时又不误伤正常用户。

    作为现业余程序员一个不成熟的想法:去找代理 IP 库,然后定期更新加入黑名单,如果可行,去哪里找代理 IP 地址呢?

    离开 IT 行业十来年,很多技术已经有些跟不上了,各位大佬莫要见笑。

    yikedianzi
        1
    yikedianzi  
       2021-03-26 00:06:39 +08:00 via Android
    试试字体混淆,爬到了也没用
    unclemcz
        2
    unclemcz  
    OP
       2021-03-26 08:56:53 +08:00
    @yikedianzi 我不想提高反扒的难度,只是纯粹的需要避免高频的爬取和爆破,能保证网站正常访问即可。
    SmiteChow
        3
    SmiteChow  
       2021-03-26 10:52:39 +08:00
    WAF
    unclemcz
        4
    unclemcz  
    OP
       2021-03-26 12:49:23 +08:00
    @SmiteChow 网站现在部署在百度云 BAE 上,这个产品没有 WAF 可选,BAE 稳定性很好也很省心,所以还没有更换的打算。我是想在应用层面做些简单防护,不指望防高手,能防住那种只会用工具爆或者爬、又不会控制频率只会瞎爬的小白就可以了。所以代码层面如果有些有效的逻辑策略,那就最好了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2741 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 02:03 · PVG 10:03 · LAX 18:03 · JFK 21:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.