V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  lecher  ›  全部回复第 27 页 / 共 38 页
回复总数  741
1 ... 23  24  25  26  27  28  29  30  31  32 ... 38  
如果之前一直接触过SAP的产品,对实际业务流程也很熟悉。加上有代码功底。
转SAP ABAP算是顺势而为。不过SAP的顾问岗位已经缩减很多了,因为中国目前有经济条件上SAP的企业,都已经实施得差不多了,无论SAP的老顾问还是SAP公司都知道,再想从大企业赚实施的钱已经不容易了,所以SAP公司开始采取降低许可证的费用开发中型企业的市场。
如果这个时候入行SAP ABAP,赚个维护岗位的钱还是挺高的,但是实施顾问的话,就未必有空间上去了。那些跟着中国市场成长起来的SAP顾问,早年都是不签公司,自己注册公司跟着外企混各种实施项目,赚得确实非常多,到现在也才四十上下,正是精力和经验都最强的时候,反而愿意自降薪资到大公司就职了。原因就是,项目需求少了,实施项目少了,为了保证稳定的收入,降薪到大公司混一混图个安稳。
2015-03-01 14:01:26 +08:00
回复了 444683462 创建的主题 问与答 猪八戒的注册商标 不成功全额退款可信吗 有人试过没
不可能,猪八戒上面发的招标,只要钱冲进去了,至少被猪八戒截留30%做为服务费。
就是说如果发标,有人接标开始做了,即使他告诉你不做,要退标,你也要给猪八戒交服务费。
完全挥霍了tornado的性能,tornado非阻塞的主要原因是使用了linux的epoll机制管理连接,在win下使用的是win的select进行连接管理,性能很差。
win8做为个人办公处理系统非常好,但是作为web服务器需要额外装很多软件才能用起来,是有什么不得已的苦衷必须要用win8做?不如考虑一下win8上面跑一个docker,用docker来托管linux运行tornado的应用,这样安全问题的处理就可以隔绝在虚拟机内部。
百度js会在浏览器执行,然后向百度的服务器发送执行结果,百度可以通过这些js的命令拿到浏览器的行为,同时可以在返回值中向客户端的浏览器写入cookie信息,所以在该域名下第一次发起的请求就可以认定是新访客。新访客、回访次数、旧访客,各种访问行为都可以以此作为依据进行分析。
2015-02-05 22:04:03 +08:00
回复了 WhyLiam 创建的主题 问与答 爬虫到底侵不侵权
搜索引擎有协议
爬取内容之后,展现必须保留源站地址,同时积极处理源站所提的版权相关问题。

所以搜索引擎不违规。

微博使用的用户协议就已经注明了,微博平台拥有站内转发用户所发布的文章的权利,当然也还是要保留源地址的。

至于做爬虫爬完全文发布还不保留作者和源地址的,原创方可以提出注明来源、删除的请求,如果发布方不响应这些请求,是违法的,可以提起民事诉讼。
2015-02-04 11:48:38 +08:00
回复了 lecher 创建的主题 服务器 关于图片服务器的反爬虫处理请教
@ryd994
感谢
2015-02-04 00:25:46 +08:00
回复了 lecher 创建的主题 服务器 关于图片服务器的反爬虫处理请教
@ryd994
说实话 做爬虫的人都不在乎水印,打多大的水印都一样,要抓取的还是会抓取,毕竟用户硬需还是有的。
老大也不指望能完全禁掉,只希望能爬的慢一点。
现在能做的也只是定期更新一下隐藏获取图片地址列表的js参数,但是效果不理想,不知道有没有人做这方面的。对于做js加密,有没有好一点的办法?随机返回不同的js获取图片地址列表的代码给客户端执行这个貌似比较伤用户体验。
2015-02-03 14:34:53 +08:00
回复了 lecher 创建的主题 服务器 关于图片服务器的反爬虫处理请教
@heaton_nobu
curl 指定utf8格式是在发送的header里面指定的。
"content-type: application/x-www-form-urlencoded;
charset=UTF-8"
这样服务器会收到返回utf8格式的header。

当然接收的时候也要记得处理。curl不会帮你做字符串转换的处理,还是要自己处理接收数据。
2015-02-03 12:12:11 +08:00
回复了 lecher 创建的主题 服务器 关于图片服务器的反爬虫处理请教
@kisshere
phantomjs 这类的全模拟浏览器行为解析html和js的事情,确实不能防。
2015-02-03 12:10:31 +08:00
回复了 lecher 创建的主题 服务器 关于图片服务器的反爬虫处理请教
@ryd994
@l555iu
主要是图片是全网独家的资源,最近被抄得很快,想完全屏蔽是不现实了,只是想增加一些抓取难度,别老是被秒抓,刚发布的资源,不到一个小时就被抄到好几个站去了。
2015-02-03 04:00:44 +08:00
回复了 lecher 创建的主题 服务器 关于图片服务器的反爬虫处理请教
@9hills
异步处理日志封ip防抓取这个思路不错,不过因为图片服务器是单独的,我自己做爬虫的时候也是会爬取html页面之后再去分析图片来爬图片。
按yegle提供的思路,就是每天异步分析图片服务器的请求,完全没有css请求的ip就封掉。这个策略似乎可行。
目前已经做的就是隐藏图片地址,图片地址列表都是ajax请求拿的,这个地址列表接口已经加了referer,cookie标志位,效果似乎不明显,现在爬图片的伪造确实太难分辨了。
2015-02-03 03:22:12 +08:00
回复了 lecher 创建的主题 服务器 关于图片服务器的反爬虫处理请教
@binux
感谢你提供的建议,关于强制返回gzip这个策略之前没有想到,确实是学艺不精。
@jjit
感谢提供关于解压的思路
@ryd994
感谢讲解强制返回压缩包内容的解答
@yegle
感谢提供ip请求处理的策略,不过这个只读图片不读css、js、html的请求判断似乎比较耗费资源。这样的策略需要按ip处理请求资源消耗会因为请求数量膨胀吧。

刚才查了不考虑向下兼容的问题,还可以返回图片转base64的内容让浏览器解析。这个策略有用的吗?我统计过图片服务器目前的图片平均大小在150k左右,返回base64的内容,会消耗客户端的资源,目前还没测试前端这样处理的负载怎么样,想知道这个非主流做法科学吗?
2015-01-20 00:03:21 +08:00
回复了 lightryanking 创建的主题 问与答 请教下,禁止被另存为的页面,怎么下载下来呢?
F12大法
源代码都加载到浏览器上面了,再做什么限制想防copy都是无意义的了。
2015-01-19 19:24:17 +08:00
回复了 smartLSK 创建的主题 问与答 高中毕业生如何选择一个好的未来?
非要说选择,明确自己的目标最重要。
如果还很迷茫说明自己接受的资讯太少,书读的少,就看不到外面的世界,当然没办法选择。 当然大部分高中生都是这样的。
就专业来说,其实也说不上特别好或者特别坏的。就看是不是够用心学而已,大学无非就是再洗牌。

贫穷不是借口了,至少还交得起学费,就不算太惨。

我在某个弱弱的高中算学霸,各种竞赛都参加,一直到高考也是全省前10%的分数。
我还有两个参加计算机竞赛的伙伴,成绩差我一大截,就是纯喜欢计算机,完全不管其它学科的。当年高考都不好,他们都是专科线,一个复读去了某二本,一个直接去了某专科。
看成绩差距好大。实际上工作三年之后,我们的能力差距并没有高考分数那么夸张。

另外有一个学长是超疯狂状态,也是参加计算机竞赛不管高考的,高考当年随便报了一个专科,人根本没想过要在学校学习,大一去玩了一年就找工作了,纯靠自学,跟着一个对战平台项目从0做到数十万在线,能力飞涨,毕业就自带两年工作经验,代码能力比不了v2ex上面的大神,但是BAT这个级别的公司,到项目组里混个架构的能力还是有的。

读大学其实拼的就是兴趣,真的感兴趣和不感兴趣差距会在一两年内就拉出很大的差距。

如果自己真的对计算机感兴趣,其它学科又太弱,那把所有计算机相关,又感兴趣的书都想办法找来看一遍,代码量跟上。有耐心看一年就有目标了。
当然,大学还是需要上的,如果连专科都考不上,学习能力也未免差了一些。
对于这种高考成绩不太好,又有自己目标的,别选学校了,直接选地区,去目标专业工作机会多的地区,大学在校就想办法出来实习,不给钱的实习岗也可以,只要有工作机会就行,从实践中学习。
没有,这个职位纯靠野蛮生长,是项目数据说话,没有公众认同的证书。
做产品也好,做运营也好,要做的事情就是拿数据来说服老板给预算,说服开发人员去做事情。
所以基础就是excel做数据聚合,ps/as等做效果和业务流程。
能写到简历上面的就是:xxx项目,时间:xx,用户数量:xxx,日活跃:xxx,营收:xxx。实打实的数据为王。
其它都是浮云。
2015-01-08 15:21:09 +08:00
回复了 andy1987 创建的主题 程序员 听说 30 对于程序员来说是个坑? 怎么说呢
30岁对任何脑力职业都是坑。
因为大多数人过了30之后,精力下降、家庭负担等各种因素,是不愿意再学习新技能的,不能持续学习,对任何人都是巨坑,这意味着竞争力要开始下降了。只不过在IT这个行业知识更新换代太快,所以更明显而已。

30岁确实是一个门槛,迈过去的人继续前进,迈不过去的原地踏步或者转行。做任何行业都如此,因为当个人精力开始下降的时候,就不能再拼体力,要开始拼解决问题的思路了。

这就像小马过河,迈过去的人说很轻松,迈不过去的人则会夸大难度,以证明迈不过去不是自己的个人问题,而是天命如此。至于能不能迈过去,看个人努力了。

大部分人都是22开始工作,到30也才工作8年,你相信IT这个这么火爆的行业大部分人职业生涯只有8年可以混?那别的行业到30岁是不是都要回去养老了。
你需要在有外网ip的服务器上面跑一个web server做代理, nginx也好,apache也好,IIS也好。
做一下域名监听和转发请求到内网地址就可以。

建议nginx。
怎么不用supervisord来跑
1 ... 23  24  25  26  27  28  29  30  31  32 ... 38  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2627 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 25ms · UTC 07:34 · PVG 15:34 · LAX 23:34 · JFK 02:34
Developed with CodeLauncher
♥ Do have faith in what you're doing.