walkeronway 最近的时间轴更新 walkeronway 最近的时间轴更新 |
walkeronwayV2EX 第 642668 号会员，加入于 2023-08-10 11:13:33 +08:00今日活跃度排名 5147 |
| 大家会替自己的(亲/堂/表）弟/妹在读研方向上挑专业吗 教育 • walkeronway • 186 天前 • 最后回复来自 snylonue | 7 |
| 深圳宝安的夜间摆摊车卖烧烤宵夜是不是很暴利 深圳 • walkeronway • 178 天前 • 最后回复来自 Nuuk | 20 |
walkeronway 最近回复了
6 小时 14 分钟前 回复了 xubingok 创建的主题 › 宠物 › 猫晚上喜欢刨门和叫唤.影响睡觉.有啥好办法吗? |
@loveour 栏杆不咋行，我家客厅门有宠物栏杆隔离门，猫想出去玩的时候也会敲栏杆当当响，更吵
14 天前 回复了 ODESZA 创建的主题 › 生活 › 大家真的会觉得 30 岁不结婚的人很失败、很丢人么？ |
我：我结婚你打算给我出几栋楼？不出钱你 BB 啥。先往我卡里打几百万现金获得催婚资格，然后等我看心情叫号
35 天前 回复了 zzerd 创建的主题 › 推广 › 自已家的赣南脐橙开卖，给 v 友抽几箱 |
支持支持
60 天前 回复了 xoxo419 创建的主题 › 问与答 › 使用 scrapy 对多个站点爬虫采集，每个站点都创建一个 scrapy 的项目，如果有部分代码或函数多个项目都是通用的时候。应该如何处理呢？ |
哦就是你的方案 A （没看全 orz ）
方案 B 不用考虑吧，更新一次公共代码不得所有站点的代码仓库都要改一轮....
方案 B 不用考虑吧，更新一次公共代码不得所有站点的代码仓库都要改一轮....
60 天前 回复了 xoxo419 创建的主题 › 问与答 › 使用 scrapy 对多个站点爬虫采集，每个站点都创建一个 scrapy 的项目，如果有部分代码或函数多个项目都是通用的时候。应该如何处理呢？ |
单独拉个仓库放公共代码，推到 gitlab ，然后作为模块单独安装导入(pip install git+xxxx.git ，放到 requirements.txt 里面)？或者作为 git submodule 用？
101 天前 回复了 Kothy 创建的主题 › Apple › 沙壁苹果,逆天 bug |
苹果改 bug 的态度很消极，我几个月前提了个 bug ，我刚看到你的贴子又去确认了一下，两三个版本过去了还没修复（我一直是最新版本）
135 天前 回复了 PatrickLe 创建的主题 › Python › 自学 Python 该如何练习呢？ |
@lc1450 hhhhh 自制力这么差，那贤者模式思考下代码怎么写。或者那就只爬小说。
我以前刚学 python 的时候，因为大学校园网需要先登账号才能用，然后就学了怎么用 selenium 去开网页登录，然后觉得浏览器操作太慢了就看 API 怎么调然后用 requests 库直接调接口，然后又学了下怎么设置成开机启动。
学爬虫之后，爬写真网是学了 scrapy 框架，然后爬小说是因为想要追小说（ app/网页广告太多然后小说 app 通知权限又不想给）然后是学了解析 html 结构、存数据库（没有用框架了自己学怎么直接用模块去连接）、接 smtp 服务给自己发邮件（邮件 app 通知还是可以给的）、怎么规划爬虫休眠和频率（基础版，没多少知识点，就纯练了这个意识），爬黄网就钻研怎么绕过登录（太难了大部分不会搞）怎么分析 API path/参数特点去爬完一整套图片/视频（图库很多都是有规律的，视频也是切割成很多个请求，遍历完就好）。
我的 python 水平算半吊子吧，我就业也只是个测试人员，不怎么需要深入学，大部分情况我觉得都够用了，不过因为只是半吊子、不成体系所以看别人的项目感觉挺困难哈哈。
不过找点自己想要做的小工具入手，至少能先把基础学完吧~
我以前刚学 python 的时候，因为大学校园网需要先登账号才能用，然后就学了怎么用 selenium 去开网页登录，然后觉得浏览器操作太慢了就看 API 怎么调然后用 requests 库直接调接口，然后又学了下怎么设置成开机启动。
学爬虫之后，爬写真网是学了 scrapy 框架，然后爬小说是因为想要追小说（ app/网页广告太多然后小说 app 通知权限又不想给）然后是学了解析 html 结构、存数据库（没有用框架了自己学怎么直接用模块去连接）、接 smtp 服务给自己发邮件（邮件 app 通知还是可以给的）、怎么规划爬虫休眠和频率（基础版，没多少知识点，就纯练了这个意识），爬黄网就钻研怎么绕过登录（太难了大部分不会搞）怎么分析 API path/参数特点去爬完一整套图片/视频（图库很多都是有规律的，视频也是切割成很多个请求，遍历完就好）。
我的 python 水平算半吊子吧，我就业也只是个测试人员，不怎么需要深入学，大部分情况我觉得都够用了，不过因为只是半吊子、不成体系所以看别人的项目感觉挺困难哈哈。
不过找点自己想要做的小工具入手，至少能先把基础学完吧~
Select Language