如何用Storm来写一个Crawler的工具

魁首哥

作者

如何用Storm来写一个Crawler的工具

这篇文章主要讲解了“如何用Storm来写一个Crawler的工具”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“如何用Storm来写一个Crawler的工具”吧！

阅读背景：

1：您可能需要了解基本的爬虫知识。

2：您可能需要对HTTP协议有初步了解。

3：您可能需要对Storm计算的逻辑有初步的了解。

packagecom.digitalpebble.storm.crawler;importbacktype.storm.Config;importbacktype.storm.LocalCluster;importbacktype.storm.StormSubmitter;importbacktype.storm.topology.TopologyBuilder;importbacktype.storm.tuple.Fields;importcom.digitalpebble.storm.crawler.bolt.IPResolutionBolt;importcom.digitalpebble.storm.crawler.bolt.indexing.IndexerBolt;importcom.digitalpebble.storm.crawler.bolt.parser.ParserBolt;importcom.digitalpebble.storm.crawler.fetcher.Fetcher;importcom.digitalpebble.storm.crawler.spout.RandomURLSpout;/***整体爬虫引擎的topology*/publicclassCrawlTopology{publicstaticvoidmain(String[]args)throwsException{TopologyBuilderbuilder=newTopologyBuilder();builder.setSpout("spout",newRandomURLSpout());builder.setBolt("ip",newIPResolutionBolt()).shuffleGrouping("spout");builder.setBolt("fetch",newFetcher()).fieldsGrouping("ip",newFields("ip"));builder.setBolt("parse",newParserBolt()).shuffleGrouping("fetch");builder.setBolt("index",newIndexerBolt()).shuffleGrouping("parse");Configconf=newConfig();conf.setDebug(true);conf.registerMetricsConsumer(DebugMetricConsumer.class);if(args!=null&&args.length>0){conf.setNumWorkers(3);StormSubmitter.submitTopology(args[0],conf,builder.createTopology());}else{conf.setMaxTaskParallelism(3);LocalClustercluster=newLocalCluster();cluster.submitTopology("crawl",conf,builder.createTopology());Thread.sleep(10000);cluster.shutdown();}}}