Storm RandomURLSpout怎么使用

Storm RandomURLSpout怎么使用

本篇内容介绍了“Storm RandomURLSpout怎么使用”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

阅读背景:您需要对Storm的基本处理机制做一个详尽的了解。

Storm RandomURLSpout怎么使用

packagecom.digitalpebble.storm.crawler.spout;importjava.util.Map;importjava.util.Random;importbacktype.storm.spout.SpoutOutputCollector;importbacktype.storm.task.TopologyContext;importbacktype.storm.topology.OutputFieldsDeclarer;importbacktype.storm.topology.base.BaseRichSpout;importbacktype.storm.tuple.Fields;importbacktype.storm.tuple.Values;importbacktype.storm.utils.Utils;publicclassRandomURLSpoutextendsBaseRichSpout{SpoutOutputCollector_collector;Random_rand;publicvoidopen(Mapconf,TopologyContextcontext,SpoutOutputCollectorcollector){_collector=collector;_rand=newRandom();}publicvoidnextTuple(){Utils.sleep(100);String[]urls=newString[]{"http://www.lequipe.fr/","http://www.lemonde.fr/","http://www.bbc.co.uk/","http://www.facebook.com/","http://www.rmc.fr"};Stringurl=urls[_rand.nextInt(urls.length)];_collector.emit(newValues(url));}@Overridepublicvoidack(Objectid){}@Overridepublicvoidfail(Objectid){}publicvoiddeclareOutputFields(OutputFieldsDeclarerdeclarer){declarer.declare(newFields("url"));}}

在这里,我们继承的是

BaseRichSpout

SimpleTips, 在这里,URL 对象将源源不断的发射我们所需要的URL 对象。

“Storm RandomURLSpout怎么使用”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注恰卡编程网网站,小编将为大家输出更多高质量的实用文章!

发布于 2021-12-23 21:21:31
收藏
分享
海报
0 条评论
70
上一篇:如何用Storm来写一个Crawler的工具 下一篇:怎么用Storm IPResolutionBolt写爬虫
目录

    0 条评论

    本站已关闭游客评论,请登录或者注册后再评论吧~

    忘记密码?

    图形验证码