推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
一个简单的 get 请求，ua ，ip 代理什么都有
使用 request 库请求。
一个 python 进程，连续请求 20 次都没问题，精准 21 次就拒绝。
关键是重启脚本进程，又可以了，还是 21 次精准发现。
现在高度怀疑是不是 request 里对同一个 url 请求 tcp 进行的端口复用？网上找写方法每次起新 http 请求代码都没有效果。
20 次重启一次也是 ok ，主要这种策略第一次见到，感觉是 tcp tls 那边做了手脚。如果可行 也是个不错的反爬策略。
求一些思路。
使用 request 库请求。
一个 python 进程，连续请求 20 次都没问题，精准 21 次就拒绝。
关键是重启脚本进程，又可以了，还是 21 次精准发现。
现在高度怀疑是不是 request 里对同一个 url 请求 tcp 进行的端口复用？网上找写方法每次起新 http 请求代码都没有效果。
20 次重启一次也是 ok ，主要这种策略第一次见到，感觉是 tcp tls 那边做了手脚。如果可行 也是个不错的反爬策略。
求一些思路。
13 条回复 • 2024-10-14 10:51:52 +08:00
 |
1
RaMa291041610 4 小时 6 分钟前  1
|
 |
2
zeusho871 4 小时 5 分钟前 via Android
tls 指纹
|
 |
3
dearmymy OP |
 |
4
kdwnil 3 小时 54 分钟前 via Android
写爬虫遇过这种策略，就是单个 tcp 连接有 http 请求次数限制，解决办法也只能请求次数差不多时起一个新的 http client ，不过我是 golang 不太清楚 python 要怎么做
|
 |
5
cowcomic 3 小时 54 分钟前
试了一下，同一个 python 脚本，即使重启，request 的 ja3 和 ja4 也是不变的
咋通过这个区分请求进程的呢？ |
 |
6
defaw 3 小时 53 分钟前
你开 http keep-alive 了？每次都用新的连接试试
|
 |
7
cccer 3 小时 51 分钟前
你是不是忽略的 cookies
|
 |
12
xdeng 3 小时 34 分钟前
tcp 的序列号？
|
Select Language