Python如何通过requests模块实现抓取王者荣耀全套皮肤

魁首哥

作者

Python如何通过requests模块实现抓取王者荣耀全套皮肤

这篇文章主要为大家展示了“Python如何通过requests模块实现抓取王者荣耀全套皮肤”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Python如何通过requests模块实现抓取王者荣耀全套皮肤”这篇文章吧。

开发工具

Python版本： 3.6.4

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

思路分析

1、打开官方王者荣耀壁纸网站
网站地址：https://pvp.qq.com/web201605/wallpaper.shtml

2、快捷键F12，调出控制台进行抓包

3、找到正确的链接并分析

4、查看返回数据格式

5、解析url链接

6、查看url内容是否是所需图片，发现其实是缩略图

7、那就去分析网站，随便点开一张壁纸，查看指定格式的链接

8、找到目标地址

9、分析目标链接和缩略图的链接区别
缩略图：http://shp.qpic.cn/ishow/2735090714/1599460171_84828260_8311_sProdImgNo_6.jpg/200

目标图：http://shp.qpic.cn/ishow/2735090714/1599460171_84828260_8311_sProdImgNo_6.jpg/0

可以知道，将指定格式的缩略图地址后面200替换成0就是目标真实图片

代码实现

importos,time,requests,json,refromretryingimportretryfromurllibimportparseclassHonorOfKings:'''ThisisamainClass,thefilecontainsalldocuments.OnedocumentcontainsparagraphsthathaveseveralsentencesItloadstheoriginalfileandconvertstheoriginalfiletonewcontentThenthenewcontentwillbesavedbythisclass'''def__init__(self,save_path='./heros'):self.save_path=save_pathself.time=str(time.time()).split('.')self.url='https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&page={}&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=2&iFlowId=267733&iActId=2735&iModuleId=2735&_=%s'%self.time[0]defhello(self):'''Thisisawelcomespeech:return:self'''print("*"*50)print(''*18+'王者荣耀壁纸下载')print(''*5+'作者:FelixDate:2020-05-2013:14')print("*"*50)returnselfdefrun(self):'''Theprogramentry'''print('↓'*20+'格式选择:'+'↓'*20)print('1.缩略图2.1024x7683.1280x7204.1280x10245.1440x9006.1920x10807.1920x12008.1920x1440')size=input('请输入您想下载的格式序号，默认6：')size=sizeifsizeandint(size)in[1,2,3,4,5,6,7,8]else6print('---下载开始...')page=0offset=0total_response=self.request(self.url.format(page)).texttotal_res=json.loads(total_response)total_page=--int(total_res['iTotalPages'])print('---总共{}页...'.format(total_page))whileTrue:ifoffset>total_page:breakurl=self.url.format(offset)response=self.request(url).textresult=json.loads(response)now=0foriteminresult["List"]:now+=1hero_name=parse.unquote(item['sProdName']).split('-')[0]hero_name=re.sub(r'[【】:.<>|·@#$%^&()]','',hero_name)print('---正在下载第{}页{}英雄进度{}/{}...'.format(offset,hero_name,now,len(result["List"])))hero_url=parse.unquote(item['sProdImgNo_{}'.format(str(size))])save_path=self.save_path+'/'+hero_namesave_name=save_path+'/'+hero_url.split('/')[-2]ifnotos.path.exists(save_path):os.makedirs(save_path)ifnotos.path.exists(save_name):withopen(save_name,'wb')asf:response_content=self.request(hero_url.replace("/200","/0")).contentf.write(response_content)offset+=1print('---下载完成...')@retry(stop_max_attempt_number=3)defrequest(self,url):'''Sendarequest:paramurl:theurlofrequest:paramtimeout:thetimeofrequest:return:theresultofrequest'''response=requests.get(url,timeout=10)assertresponse.status_code==200returnresponseif__name__=="__main__":HonorOfKings().hello().run()

本期完整源代码可以私信获取

代码运行结果