鸟巢网页数据采集系统 V2.2

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3184 天前的主题，其中的信息可能已经有所发展或是发生改变。

做个简单易用通用型采集器不容易，这个项目已经花了 6 年时间，还没完还将继续。

3 年前第一次发布

http://v2ex.com/t/65371#reply149

第一次发布后有人说太复杂，有人说应该提供独立的 WEB 管理界面等等，花了 3 年时间在这个版本都有实现，并且做了很多的重构与功能完善。

三年前注册的用户，可以直接安装使用(鸟巢采集器个人用户终身免费使用)，

项目地址

https://github.com/speed/newcrawler

目前还不打算开放注册，准备再测试一个月（请不要申请邀请码）

鸟巢采集器

http://www.newcrawler.com

测试帐号(请使用海外节点，因为 GAE,OpenShift 都已被墙)

username:test 
password:test

演示视频

http://video.newcrawler.com/newcrawler_v2.2.mp4

http://ww3.sinaimg.cn/large/5e24c9a7gw1f2sj1vgfx8j20zk0rhtg2.jpg

第 1 条附言 · 2016-04-11 11:15:52 +08:00

最快的部署自己的爬虫是
Fork coding 上的代码再开启演示功能，像这样
https://coding.net/u/speed/p/newcrawler/paas

第 2 条附言 · 2016-04-11 16:35:03 +08:00

很期待大家多多提意见，我的目标是做一款强大好用又免费的工具（仅限个人）

上一次大家提的意见我花了 3 年时间完善，这一次说不定会花 4 年，刚好 10 年磨一剑。

再次感谢各位的赞！谢谢！

采集器

鸟巢

test

采集

103 条回复 • 2024-04-13 05:27:08 +08:00

1 2

❮

❯

rubyvector

2016-04-11 10:28:49 +08:00

楼主强人哦.界面细腻,功能强大到难以想像.不知道处理有 IP 限制的页面是否有解决方案

mazyi

2016-04-11 10:31:50 +08:00

cool

shiny

2016-04-11 10:35:15 +08:00

以前也考虑过写类似东西，但思路不及楼主。看得出花费了大量心血。

stiekel

2016-04-11 10:41:07 +08:00

有毅力，一个项目能够坚持这么多年，赞！

yanyuan2046

2016-04-11 10:42:39 +08:00

牛逼，能用 6 年做一件事的都是牛人

server

2016-04-11 10:51:03 +08:00

牛人，毅力！！

whahuzhihao

2016-04-11 10:58:30 +08:00

好棒！楼主好毅力

pypy

2016-04-11 10:59:00 +08:00

好厉害！学习楼主这种精神！

sohoer

2016-04-11 11:11:27 +08:00

@rubyvector 可以实现基于代理池的网页抓取插件，也可以是独立于采集器的多线 ADSL+ROS 解决方案
其实我的终极目标是基于鸟巢采集器做爬虫共享

多谢各位的友情支持

mew7wo

2016-04-11 11:15:32 +08:00

楼主牛人已安装试用

kukat

2016-04-11 11:18:32 +08:00

有 docker image 吗？

sewyu

2016-04-11 11:22:03 +08:00

吓到了，好强大。。。。绝对大神

sohoer

2016-04-11 11:24:38 +08:00

@kukat 还没有，之前准备用 BWG 做 DOCKER 弄了好久发现不支持，后续会加上

不有安装脚本也还方便吧

@mew7wo 有任何意见，建议请给我留言，重构太多目前应该还有不少 BUG

feather12315

2016-04-11 11:25:54 +08:00 via Android

@sohoer 爬虫共享赞一个。

sylviayoung

2016-04-11 11:30:01 +08:00 via iPad

佩服楼主持之以恒的精神！

leehon

2016-04-11 11:30:05 +08:00

6 年有点太长，一直是楼主一个人开发吗

alongdj

2016-04-11 11:33:57 +08:00 via Android

楼主好毅力…

inoricho

2016-04-11 11:34:08 +08:00

楼主大触！

wuyadong

2016-04-11 11:54:01 +08:00

楼主，吊~！

zeac

2016-04-11 11:56:12 +08:00

佩服~

keepcleargas

2016-04-11 11:59:12 +08:00

大牛膜拜.

Kilerd

2016-04-11 12:01:25 +08:00

太厉害了，坚持了那么久，我很久之前也写过一个，不过完全不通用啊。

mahone3297

2016-04-11 12:05:15 +08:00

什么毅力居然让你坚持了 6 年。。。赞。。。

kutata

2016-04-11 12:06:08 +08:00

这项目的构建方式刷新了三观，好腻害.....

qa52666

2016-04-11 12:29:14 +08:00

牛逼

soulteary

2016-04-11 12:30:43 +08:00

成功炸出来潜水党...点赞。

dong3580

2016-04-11 12:38:35 +08:00

已经 star,真是膜拜大牛啊,

ixinshang

2016-04-11 12:41:02 +08:00

在树莓派贴吧看过一个类似的 info

sunbeams001

2016-04-11 12:45:40 +08:00

定制度和完成度都好高……膜拜下

Xrong

2016-04-11 12:45:46 +08:00

我了个去啊，牛逼到家啊。。。给楼上点个赞啊

heige853

2016-04-11 12:49:17 +08:00

看了下好牛逼颠覆了对以往采集工具的理解~

Asimov

2016-04-11 12:49:29 +08:00 via Android

回家试试

missqso

2016-04-11 13:00:27 +08:00

好厉害啊，很多 ux 动画也是非常的精致。

FanError

2016-04-11 13:02:09 +08:00

一登录进去 NPE 了哦

java.lang.NullPointerException
at lllllllllllllll.IIlIIllllIIlllllI.lIlIllIllIIIllI(Unknown Source)
at lllllllllllllll.IIlIIllllIIlllllI.IIIIIllIlIIIIII(Unknown Source)
at lllllllllllllll.IIlIIllllIIlllllI.IIIIIIlllIlllIl(Unknown Source)
at lllllllllllllll.IIlIIllllIIlllllI.IIlIIIlIlIIlIIl(Unknown Source)
at lllllllllllllll.IIlIlllIlllIlIIII.lIIllIllllIIIIl(Unknown Source)
at lllllllllllllll.IIlIlllIlllIlIIII.check(Unknown Source)
at sun.reflect.GeneratedMethodAccessor60.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at lllllllllllllll.IIlIlIllIIIlIlIll.IIIIlIlllIIlIll(Unknown Source)
at lllllllllllllll.IIlIlllIlIllllIIl.call(Unknown Source)
at lllllllllllllll.IIlIIlIIIlIIlIIII.IIlIIlIlIlIlIIl(Unknown Source)
at lllllllllllllll.IIlIIlIIIlIIlIIII.service(Unknown Source)

Caratpine

2016-04-11 13:03:51 +08:00

好厉害，赞赞赞

loadingimg

2016-04-11 13:04:45 +08:00

膜拜一下

ketle

2016-04-11 13:07:08 +08:00

可视化的怎么弄

Sunya

2016-04-11 13:09:56 +08:00 via iPhone

wecl come back 😆。赞

csx163

2016-04-11 13:29:50 +08:00

三年前看过，记得当时根本无从下手，现在真的好用多了。 [赞]

sohoer

2016-04-11 13:40:07 +08:00

@FanError 请切换到海外节点，在 LOGO 边上

sohoer

2016-04-11 13:43:52 +08:00

上一次发布有人说访问太慢，
所以我自己实现了分布式同步，目前有三个节点， aliyun 、 gae 、 linode
被墙的资源如 GAE 请使用 linode(海外节点)访问

frankmdong

2016-04-11 14:05:12 +08:00

好毅力已 star

xiaogouxo

2016-04-11 14:13:22 +08:00

楼主太刁了。已 star

walkershow

2016-04-11 14:25:06 +08:00

楼主牛逼啊！

sohoer

2016-04-11 14:34:29 +08:00

@leehon 一直都是一个人开发

有时候想想都觉得自己很强大，坚持这么久做一件事情
无数次编译，数不清的重构，每一次重构都很痛苦
刚开始程序员生涯的时候做过很多垃圾站，也用过不少采集器
后面知道 GAE 免费，于是想用很多的 GAE APP 来搭一个免费的爬虫网络（违反 TOS ）
基于 GAE 开发后发现 PAAS 平台限制太多，后来加上了标准的 JAVA 环境支持
目前同时支持 GAE 与标准 JAVA 环境，开发上也增加不少难度，
谁让我想吃免费的蛋糕呢！

最后大家都能有免费蛋糕吃

xingshu

2016-04-11 14:36:52 +08:00

能留个邮箱么，有点其他需求，希望能通过邮箱沟通。🤗

sohoer

2016-04-11 14:40:30 +08:00

@xingshu [email protected]

xingshu

2016-04-11 15:11:46 +08:00

@sohoer 已发，谢谢。

fengxiang

2016-04-11 15:15:29 +08:00 via Android

手动点赞，楼主能坚持真的很厉害。不像某些项目，一堆 bug 还到处宣扬。

gimp

2016-04-11 15:36:48 +08:00

佩服楼主的毅力和能力，点赞！

mcwanderer

2016-04-11 16:13:45 +08:00

膜拜

badcode

2016-04-11 16:15:17 +08:00

看哭了，我确定是回这贴的

sohoer

2016-04-11 16:26:50 +08:00

@badcode 你确定吗？

DesignerSkyline

2016-04-11 16:36:35 +08:00

给你点赞啦！希望以后也继续更新

Flygoat

2016-04-11 16:40:01 +08:00 via iPad

垃圾站助手？

sohoer

2016-04-11 16:43:00 +08:00

@Flygoat 现在不做垃圾站了，像这样的 http://www.shishibi.com(半成品)

binux

2016-04-11 17:51:56 +08:00

选项太多了，来试试 import.io ？

sohoer

2016-04-11 17:59:57 +08:00

@binux 大神来了啊！

试用过 import.io 好卡，他也有不少可配置项，并且这种可视化配置并不能做到通用
其实我那两个导出图标都还是从他们家搬来的

ven

2016-04-11 18:03:57 +08:00

太强大了！赞！

sohoer

2016-04-11 18:04:26 +08:00

@binux

哦你说的应该是那个无需配置的功能，那个复杂点的页面就解析不出来，不确定性太多

binux

2016-04-11 18:06:56 +08:00

@sohoer 最近更新了，现在是纯 web 的了，不知道你试过没有
import.io 给通用的解决方案是后处理
我给通用的解决方案是直接写脚本

与其在一大片菜单中学习一堆新的概念，还不如学几段脚本容易

ddter

2016-04-11 18:26:27 +08:00

不是泼冷水啊，这个跟八爪鱼比起来有啥明显的优势吗。。。

jiezhi

2016-04-11 18:41:14 +08:00

牛人，学习坚持精神！

sohoer

2016-04-11 18:50:17 +08:00 via iPhone

@ddter 八爪鱼带个浏览器跑耗资源，好处是真的通用，八爪鱼能在 gae,openshift 上跑吗？

sohoer

2016-04-11 19:08:35 +08:00

@binux

现在的可视化配置功能是没几个选项的, 保留原来的功能配置是对这个通用型采集器的强化，
我不想要这个能用那个用不了的采集器。

拿知乎的模拟登录来说， import.io 是绝对实现不了的
知乎的登录做了几次跳转，有一次是读取 cookie 的值做的跳转

HanSonJ

2016-04-11 19:08:38 +08:00

我吓尿了，好厉害！

sohoer

2016-04-11 19:12:23 +08:00

@binux 刚刚看到，应该是最近几天更新的，好好玩一下

leafof

2016-04-11 19:18:01 +08:00

很牛！可惜暂时用不到

ftp11yyy

2016-04-11 19:30:38 +08:00

点赞,好厉害！

lemayi

2016-04-11 19:37:01 +08:00

太 nb 了！

alocne

2016-04-11 19:37:43 +08:00

好厉害

isb

2016-04-11 20:06:33 +08:00

惊呆。~ 好厉害！！

yylzcom

2016-04-11 21:00:18 +08:00 via Android

我见过的收藏人数最多的一个帖子

imWBB

2016-04-11 21:26:46 +08:00

xiaocsl

2016-04-11 21:34:39 +08:00

在以前的公司,有过类似的.
我负责前端,开发一个 Chrome 插件,来让人选择爬取的内容.

楼主这个,看功能要完善好多.犀利啊~

huijian222

2016-04-11 22:05:49 +08:00

cool

jaylong

2016-04-11 22:38:14 +08:00

好棒！

hpeng

2016-04-11 23:03:33 +08:00

好牛逼。读书的时候就有这个想法，但是并没有做下去。实在佩服，佩服。

h4lt

2016-04-11 23:12:31 +08:00

叼炸了。正好有相关的需要，学习学习。

strwei

2016-04-12 00:03:14 +08:00

功能强大到爆，可惜不适合小白用

branchzero

2016-04-12 01:52:35 +08:00

好强大啊，已 star ，佩服 LZ 的毅力！

konakona

2016-04-12 02:01:47 +08:00

看了介绍视频，很强大！
非常感谢楼主分享！

jacker

2016-04-12 08:38:47 +08:00

和国外的 kimono 太像啦

sohoer

2016-04-12 09:08:19 +08:00

@jacker 虽然 kimono 已死，但不否认有参考他的设计

cxshun

2016-04-12 09:26:19 +08:00

好强大，佩服楼主！

codeyung

2016-04-12 15:01:22 +08:00

支持楼主！

wq2016

2016-04-12 15:15:09 +08:00

支持一个！

myforgame

2016-04-12 15:52:48 +08:00

屌爆了

gutianyun

2016-04-12 20:17:57 +08:00

@sohoer 不是都说 python 开发爬虫不错嘛，为什么你选择 java ，谢谢回答

jacker

2016-04-12 21:17:35 +08:00

以前做过 SEO ，采集方面主要是采集后伪原创处理然后发布，现在主要做一些运营方面，会遇到需要采集一些数据做分析，根据这两方面我个人感觉可以加上的几个功能是
1.根据部分开源的程序有通用的规则，方便小白来采集（如 WordPress ，或者 magento ）；
2.对接一些 API ，如 copypass 等
如果能根据数据生成图就更好啦
kimono 可以生成自己的 API ，这个功能也是非常不错的

viosey

2016-04-13 00:21:57 +08:00

太强大了, 虽然说个人免费使用, 但是即使收费了也是毫不犹豫的买买买

sohoer

2016-04-13 09:24:06 +08:00

@gutianyun 简单的开发一个爬虫， python 是好原生 API 就很强大，复杂的熟悉哪个用哪个，用 JAVA 只因我能撑控他，为了优化性能，还需要对内存堆栈做分析

@jacker 数据导出 API 支持 JSON 、 RSS 格式，你看演示视频里不是可以将数据发布到 plot.ly （图表生成）