Python爬虫多少人在用(2023年最新整理)

导读：本篇文章恰卡编程网来给大家介绍有关Python爬虫多少人在用的相关内容，希望对大家有所帮助，一起来看看吧。

感觉现在学习Python的人都去做了数据爬虫类的工作，从事人工智能的很少啊？

python语言有几个方向，人工智能只是其一，为什么人工智能少呢？因为人工智能是比较难的一个方向，需要储备的知识比较多，所以没有足够的知识储备，学起来是有难度的；

而爬虫是比较简单的一个方向，这个方向的人就会多一些；

不过优就业在进行python教学的时候，还是比较负责，教授的比较全面，把需要的基础知识也都教会，还会有项目实战，并且与baidu有合作，如果在优就业学习的话，人工智能方向还是有个挺好的发展的。

为什么写爬虫都喜欢用python

python的脚本特性，python易于配置，对字符的处理也非常灵活，加上python有着丰富的网络抓取模块，所以两者经常联系在一起。

作为一门编程语言而言，python是纯粹的自由软件，以简洁清晰的语法和强制使用空白符进行语句缩进的特点从而深受程序员的喜爱。使用python来完成编程任务的话编写的代码量更少，代码简洁简短可读性更强，一个团队进行开发的时候读别人的代码会更快，开发效率会更高，使工作变得更加高效。

这是一门非常适合开发网络爬虫的编程语言，相比于其他静态编程语言，python抓取网页文档的接口更简洁;相比于其他动态脚本语言，python的urllib2包提供了较为完整的访问网页文档的API。此外，python中有优秀的第三方包可以高效实现网页抓取，并可用极短的代码完成网页的标签过滤功能。这也就是为什么python被叫作爬虫的原因。

现在python爬虫用scrapy框架多吗？我安了好多次都安不上

有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：

上面说的爬虫，基本可以分3类：

1.分布式爬虫：Nutch

2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector

3. 非JAVA单机爬虫：scrapy

第一类:分布式爬虫

爬虫使用分布式，主要是解决两个问题：

1)海量URL管理

2)网速

现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：

1)Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。

2)Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。

3)Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。而且Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”(parser)这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息(网页的meta信息、text文本)。

4)用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题(hadoop的问题、hbase的问题)。

5)很多人说Nutch2有gora，可以持久化数据到avro文件、hbase、mysql等。很多人其实理解错了，这里说的持久化数据，是指将URL信息（URL管理所需要的数据）存放到avro、hbase、mysql。并不是你要抽取的结构化数据。其实对大多数人来说，URL信息存在哪里无所谓。

6)Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。如果想用hbase配合nutch（大多数人用nutch2就是为了用hbase)，只能使用0.90版本左右的hbase，相应的就要将hadoop版本降到hadoop 0.2左右。而且nutch2的官方教程比较有误导作用，Nutch2的教程有两个，分别是Nutch1.x和Nutch2.x，这个Nutch2.x官网上写的是可以支持到hbase 0.94。但是实际上，这个Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。

所以，如果你不是要做搜索引擎，尽量不要选择Nutch作为爬虫。有些团队就喜欢跟风，非要选择Nutch来开发精抽取的爬虫，其实是冲着Nutch的名气（Nutch作者是Doug Cutting），当然最后的结果往往是项目延期完成。

如果你是要做搜索引擎，Nutch1.x是一个非常好的选择。Nutch1.x和solr或者es配合，就可以构成一套非常强大的搜索引擎了。如果非要用Nutch2的话，建议等到Nutch2.3发布再看。目前的Nutch2是一个非常不稳定的版本。

我为了写个Python爬虫，到底连带学了多少东西？

请大家多多关注点赞支持，会持续发干货

一开始，老板给了一个任务，需要从网页上复制几百页的数据到本地。一遍一遍的复制粘贴，贴得我身心憔悴。听说有一种爬虫技术，可以自动采集数据，省去了人肉取数的痛苦。

我一听，「诶，这不错，学了就不用再废这双老手了」。

于是网上一搜索，都说 Python 适合写爬虫，而且简单易学，最适合非计算机专业的普通人 了。

那就学起来吧。

于是一本 《简明 Python 教程》 就带我入了门。

学完 Python 之后，就打算用 Python 写爬虫了。他们说， 爬虫很简单的，就是一个 HTTP 请求到数据，再把数据解析出来 就可以了。

我一看，说起来是很简单的，立马找了 python 的 HTTP 请求库——requests。

这也太简单了吧。

于是我马上写出了我的爬虫的 HTTP 请求代码来。

但是为什么 HTTP 的响应里面没有我看到的那些数据呢？

在网上问了一下大神，他们说你要先看看网页源码是否有你看到的那些数据，很多网站是通过 前端请求接口渲染的数据 ，直接请求网页是不会有数据的。

虽然听得迷迷糊糊的，但还是用大神们教的方法打开网页源代码。

一看，好家伙，果然里面没有我想要的数据。这种情况，直接用requests请求网页是拿不到数据了的。

没辙，按照大神说的，找接口呗。于是 按了 F12 打开了浏览器的调试控制台 ，在一大串看不懂的面板里面一个一个地找。

终于看到了一个和我要复制的数据一模一样的接口了。大神说直接 HTTP 请求它。

照做了，还是不行，响应说请求错误。

继续上网搜索，有人说是要携带 「请求头」 ，天呐，请求头又是什么鬼？

真是学海无涯呀。

网上一顿搜索，知道怎么 配置请求头 了，然后请求也成功了，数据也打印出来了，本以为大功告成，正打算点一杯奶茶庆祝。

第二页数据请求失败了。

这次响应说「token无效」。

wocao!token又是什么鬼！

找了一圈发现，是请求头里面的一个参数，它的值是一串很长的参数。据网上所说，这个是使 用JS生成，用来验证请求是否合法 的

听说又要 学习另一门编程语言 JavaScript ，我退缩了。看看有没有别的方法。

嗯，找到了一个叫做 Selenium 的工具，据说可以 模拟浏览器进行操作

这个操作简单多了，简单学习了一下，从浏览器审查元素里面复制数据所在的路径，然后查找定位。

so easy！

虽然速度慢了点，但还是比人肉取数强啊！ Python 真香！爬虫真香！

1页，2页，3页，4页，10页，20页，30页……完成工作指日可待！

突然，程序挂了！

一看，浏览器上出现了一个拼图验证码，说我操作过于频繁，需要进行验证码验证。重新启动程序也不行

这可如何是好？

百度大法好，搜一下解决方法。解决方法是有，我人快没了。

一堆没听过的词语又出现了，什么 OpenCV、什么 Keras、什么轨迹、什么计算机视觉。

开始只想采集点数据，然后学了 Python，学了 HTTP请求，学了从浏览器中找接口，为了放弃学习 JavaScript 转而学了 Selenium 浏览器自动化，学了……

不行，我学不动了……

结语：以上就是恰卡编程网为大家整理的关于Python爬虫多少人在用的相关内容解答汇总了，希望对您有所帮助！如果解决了您的问题欢迎分享给更多关注此问题的朋友喔～