如何用python实现爬取CSDN热门评论URL并存入redis

如何用python实现爬取CSDN热门评论URL并存入redis

这篇文章主要介绍“如何用python实现爬取CSDN热门评论URL并存入redis”的相关知识，小编通过实际案例向大家展示操作过程，操作方法简单快捷，实用性强，希望这篇“如何用python实现爬取CSDN热门评论URL并存入redis”文章能帮助大家解决问题。

一、配置webdriver

下载谷歌浏览器驱动，并配置好

importtimeimportrandomfromPILimportImagefromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium.webdriver.support.uiimportWebDriverWaitfromselenium.webdriver.supportimportexpected_conditionsasECif__name__=='__main__':options=webdriver.ChromeOptions()options.binary_location=r'C:UsershhhAppDataLocalGoogleChromeApplication谷歌浏览器.exe'#driver=webdriver.Chrome(executable_path=r'D:360Chromechromedriverchromedriver.exe')driver=webdriver.Chrome(options=options)#以java模块为例driver.get('https://www.csdn.net/nav/java')foriinrange(1,20):driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")time.sleep(2)

二、获取URL

frombs4importBeautifulSoupfromlxmlimportetreehtml=etree.HTML(driver.page_source)#soup=BeautifulSoup(html,'lxml')#soup_herf=soup.find_all("#feedlist_id>li:nth-child(1)>div>div>h2>a")#soup_herftitle=html.xpath('//*[@id="feedlist_id"]/li/div/div/h2/a/@href')

可以看到，一下爬取了很多，速度非常快

三、写入Redis

导入redis包后，配置redis端口和redis数据库，用rpush函数写入
打开redis

importredisr_link=redis.Redis(port='6379',host='localhost',decode_responses=True,db=1)foruintitle:print("准备写入{}".format(u))r_link.rpush("csdn_url",u)print("{}写入成功!".format(u))print('='*30,'n',"共计写入url：{}个".format(len(title)),'n','='*30)

大功告成！

在Redis Desktop Manager中可以看到，爬取和写入都是非常的快。

要使用只需用rpop出栈就OK

one_url=r_link.rpop("csdn_url)")whileone_url:print("{}被弹出！".format(one_url))

关于“如何用python实现爬取CSDN热门评论URL并存入redis”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识，可以关注恰卡编程网行业资讯频道，小编每天都会为大家更新不同的知识点。