本篇内容介绍了“Storm RandomURLSpout怎么使用”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
阅读背景:您需要对Storm的基本处理机制做一个详尽的了解。
packagecom.digitalpebble.storm.crawler.spout;importjava.util.Map;importjava.util.Random;importbacktype.storm.spout.SpoutOutputCollector;importbacktype.storm.task.TopologyContext;importbacktype.storm.topology.OutputFieldsDeclarer;importbacktype.storm.topology.base.BaseRichSpout;importbacktype.storm.tuple.Fields;importbacktype.storm.tuple.Values;importbacktype.storm.utils.Utils;publicclassRandomURLSpoutextendsBaseRichSpout{SpoutOutputCollector_collector;Random_rand;publicvoidopen(Mapconf,TopologyContextcontext,SpoutOutputCollectorcollector){_collector=collector;_rand=newRandom();}publicvoidnextTuple(){Utils.sleep(100);String[]urls=newString[]{"http://www.lequipe.fr/","http://www.lemonde.fr/","http://www.bbc.co.uk/","http://www.facebook.com/","http://www.rmc.fr"};Stringurl=urls[_rand.nextInt(urls.length)];_collector.emit(newValues(url));}@Overridepublicvoidack(Objectid){}@Overridepublicvoidfail(Objectid){}publicvoiddeclareOutputFields(OutputFieldsDeclarerdeclarer){declarer.declare(newFields("url"));}}
在这里,我们继承的是
BaseRichSpout
SimpleTips, 在这里,URL 对象将源源不断的发射我们所需要的URL 对象。
“Storm RandomURLSpout怎么使用”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注恰卡编程网网站,小编将为大家输出更多高质量的实用文章!
storm实时排序TopN怎么使用
Storm怎么写一个爬虫
Storm怎么写一个爬虫这篇文章主要讲解了“Storm怎么写一个爬...
怎么用Storm IPResolutionBolt写爬虫
怎么用StormIPResolutionBolt写爬虫本篇内容介...
如何用Storm来写一个Crawler的工具
Storm开发细节是什么
Storm的Acker机制是什么
Storm的Acker机制是什么这篇文章主要讲解了“Storm的A...
storm drpc怎么定义
stormdrpc怎么定义本篇内容介绍了“stormdrpc怎...
storm使用要注意哪些点
storm使用要注意哪些点这篇文章主要讲解了“storm使用要注意...
storm topology优化思路是什么
stormtopology优化思路是什么本篇内容主要讲解“sto...
Storm的Grouping有哪些
Storm的Grouping有哪些这篇文章主要介绍“Storm的G...
用户名
密码
记住登录状态 忘记密码?
邮箱
确认密码
我已阅读并同意 用户协议