python爬虫案例代码分析

魁首哥

作者

python爬虫案例代码分析

今天小编给大家分享一下python爬虫案例代码分析的相关知识点，内容详细，逻辑清晰，相信大部分人都还太了解这方面的知识，所以分享这篇文章给大家参考一下，希望大家阅读完这篇文章后有所收获，下面我们一起来了解一下吧。

一、分析

爬取对象：当当网 http://book.dangdang.com/
要求：获取三级类目的名称，并得到详情页书名和图片url

第一步页面分析

需求：大分类二级分类三级分类图书的名字和图片的src
大分类

1 在大分类中有一个span标签，但是源码中没有
2 有的大分类在dt标签下面还有一个a标签 /dt//text().extract()
获取dt标签下的全部文本
整个大分类都在 div con flq_body 它下面的 div/dl/dt

二级分类

div level one --> dl class=“inner_dl” dt/text()
注意：1 有的大分类在dt标签下面还有一个a标签 /dt//text().extract()

三级分类

dl class=“inner_dl” --> dd/a/text()
注意：图片的src images/model/guan/url_none.png 这个时候还是要看下源码
data-original=“http://img3m0.ddimg.cn/95/11/27854240-1_b_14.jpg”

第二步实现步骤

1 创建scrapy项目(爬虫)
2 分析页面并实现逻辑
3 改写程序(scrapy_redis)

二、实现

思路：先实现普通的scrapy爬虫，然后在改写成scrapy_redis

（一）准备程序

在terminal终端输入
scrapystartprojectbook#爬虫程序名最好不要和爬虫程序重名scrapygenspiderdangdangdangdang.com
创建start.py文件，放在与scrapy.cfg同层目录下
#要运行整个程序的话，只需要运行这个文件fromscrapyimportcmdline#cmdline.execute('scrapycrawldb'.split())cmdline.execute(['scrapy','crawl','dangdang'])
确保redis服务器开启，且可以连接
并输入lpush dangdang:start_urls url

（二）setting.py文件

固定格式

SPIDER_MODULES=['book.spiders']NEWSPIDER_MODULE='book.spiders'#去重过滤DUPEFILTER_CLASS="scrapy_redis.dupefilter.RFPDupeFilter"#scheduler队里SCHEDULER="scrapy_redis.scheduler.Scheduler"#数据持久化SCHEDULER_PERSIST=TrueROBOTSTXT_OBEY=FalseDEFAULT_REQUEST_HEADERS={'user-agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/90.0.4430.212Safari/537.36','Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Language':'en',}#开启管道ITEM_PIPELINES={#'book.pipelines.BookPipeline':300,'scrapy_redis.pipelines.RedisPipeline':400,}

（三）dangdang.py文件

importscrapyfromcopyimportdeepcopyfromscrapy_redis.spidersimportRedisSpider#第一步，添加模块classDangdangSpider(RedisSpider):#第二步修改继承的父类name='dangdang'allowed_domains=['dangdang.com']#start_urls=['http://book.dangdang.com/']#第三步，把start_urls改写成reids_key='爬虫文件名字'redis_key='dangdang'defparse(self,response):div_list=response.xpath('//div[@class="conflq_body"]/div')fordivindiv_list:item={}#获取大分类item['b_cate']=div.xpath('./dl/dt//text()').extract()item['b_cate']=[i.strip()foriinitem['b_cate']iflen(i.strip())>0]dl_list=div.xpath('.//dl[@class="inner_dl"]')fordlindl_list:#获取中分类item['m_cate']=dl.xpath('./dt//text()').extract()item['m_cate']=[i.strip()foriinitem['m_cate']iflen(i.strip())>0]#获取小分类a_list=dl.xpath('./dd/a')foraina_list:item['s_cate']=a.xpath('./text()').extract_first()item['s_href']=a.xpath('./@href').extract_first()ifitem['s_href']isnotNone:yieldscrapy.Request(url=item['s_href'],callback=self.parse_book_list,meta={'item':deepcopy(item)})print(item)defparse_book_list(self,response):item=response.meta.get('item')li_list=response.xpath('//ul[@class="list_aa"]/li')forliinli_list:#图片的urlimages/model/guan/url_none.pngitem['book_img']=li.xpath('./a[@class="img"]/img/@src').extract_first()ifitem['book_img']=='images/model/guan/url_none.png':item['book_img']=li.xpath('./a[@class="img"]/img/@data-original').extract_first()#数据的名字item['book_name']=li.xpath('./a[@class="name"]/a/@title').extract_first()#print(item)yielditem