如何引入ItemLoader和Item预处理函数

今天就跟大家聊聊有关如何引入ItemLoader和Item预处理函数，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。

1.引入ItemLoader

• 在项目的item.py文件中创建一个自定义的loader类，然后让这个自定义类继承ItemLoader类；

classXkdItemLoader(ItemLoader):
default_output_processor=TakeFirst()

• ItemLoader类的语法：scrapy.loader.ItemLoader（[ item，selector，response，] ** kwargs ），它可以接收一个 Item 实例来指定要加载的 Item，然后指定 r来确定要解析的内容esponse 或者 selector； ItemLoader 实例还提供很多方法，如提供add_css()方法和add_xpath()方法来通过 css 和xpath 解析赋值，或使用add_value()方法来单独进行赋值等。

• 更多其他的用法大家可以查看： https://doc.scrapy.org/en/latest/topics/loaders.html

2.修改spider，让itemloader完成素定位和元素解析

• 首先重写spider中的parse_analyse方法，导入自定义的loader类，然后需要实例化这个loader类，将参数item和response传递到loader类中。 然后可以使用add_css()、add_xpath()、add_value()方法来提取和收集数据保存到loader类实例化对象中； 最后当所有数据被收集起来之后，调用ItemLoader.load_item()方法对结果进行解析并保存到一个item中，然后返回这个item；

defparse_analyse(self,response):
#构建loader
xkd_itemload=MyItemLoader(item=XkdDribbbleSpiderItem(),response=response)
image_url=response.meta.get('a_image_url')
#通过loader定位元素和解析元素
xkd_itemload.add_css('title',"[role='article']headerh2")
#注意这里传递的是一个列表
xkd_itemload.add_value('image_url',[image_url])
xkd_itemload.add_value('url',response.url)
xkd_itemload.add_value('url_id',get_md5(response.url))
xkd_itemload.add_css('date','pspan.date::text')
#解析元素之后返回item
xkd_item=xkd_itemload.load_item()
#将item返回
yieldxkd_item

3.修改item数据模型

• 修改item数据模型，需要导入from scrapy.loader.processors import MapCompose，可以在scrapy.Field中加入处理函数。MapCompose是一种处理器，由给定功能的组合构成，类似于Compose处理器，与此处理器的不同之处在于内部结果在函数之间传递的方式；

• Scrapy还给我们提供了一个scrapy.loader.processors.TakeFirst()方法，用于返回第一个非空值（相当于extract_first()方法），常用于单值字段的输出处器，无参数；

fromscrapy.loader.processorsimportTakeFirst,MapCompose
fromdatetimeimportdatetime
defstr_to_date(str_date):
str_date=str_date.strip()
date=datetime.strptime(str_date,'%b%d,%Y').date()
returndate.strftime('%Y-%m-%d')
classXkdDribbbleSpiderItem(scrapy.Item):
title=scrapy.Field()
image_url=scrapy.Field(
output_processor=MapCompose(lambdavalue:value)
)
date=scrapy.Field(
input_processor=MapCompose(str_to_date)
)
image_path=scrapy.Field()
url=scrapy.Field()
url_id=scrapy.Field()

看完上述内容，你们对如何引入ItemLoader和Item预处理函数有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注恰卡编程网行业资讯频道，感谢大家的支持。