推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2662 天前的主题，其中的信息可能已经有所发展或是发生改变。
具体要求:
1. 使用 python3
2. 通过关键词抓取新闻，抓取全文
3. 抓取 wexin 公众号全文
4. 直接写入 Mysql 数据库，数据库 wp 可以直接读取
5. 数据抓取不能有重复（不能和以前数据重复）
前 1，2，3 已经完成了，主要完成后面 4，5 和重构一下前面的一堆代码。
有意请发报价周期到 [email protected]
谢谢
1. 使用 python3
2. 通过关键词抓取新闻，抓取全文
3. 抓取 wexin 公众号全文
4. 直接写入 Mysql 数据库，数据库 wp 可以直接读取
5. 数据抓取不能有重复（不能和以前数据重复）
前 1，2，3 已经完成了，主要完成后面 4，5 和重构一下前面的一堆代码。
有意请发报价周期到 [email protected]
谢谢
第 1 条附言 · 2017-09-13 09:40:27 +08:00
已经找到小伙伴，谢谢支持：）
7 条回复 • 2017-09-16 12:42:42 +08:00
 |
2
a7063888 2017-09-12 16:35:54 +08:00
scrapy 走起
|
 |
5
shawlib 2017-09-13 09:26:55 +08:00
楼上说的 scrapy 跟 beautifulsoup 都不是一个东西，scrapy 是爬虫框架，beautifulsoup 是 html 解析库，(黑人问号???
|
 |
7
RaymondLiu 2017-09-16 12:42:42 +08:00 via iPhone
@ila pyspider 可视化可分布式爬虫框架
|
Select Language