今天就跟大家聊聊有关如何在python项目中使用urllib.request模块，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。
urllib子模块
robots.txt是一种存放于网站根目录下文本文件，用来告诉网络爬虫服务器上的那些文件可以被查看。又被成为robots协议，是一种约定俗成的协议。
request模块
function request.urlopen()
urlopen方法用来打开资源url，常用带参数形式urlopen(url,data=None)，url：资源url，data：携带的数据。
方法的返回值始终为一个对象，并可以调用相应的方法获取返回的信息。其中对于http及https的url来说会返回一个http.client.HTTPResponse对象；
importurllib.request
#我们用本地的一个简单html文件来测试
url='http://127.0.0.1:8848/chenjy/test.html'
req=urllib.request.urlopen(url)
print(req)
1. read() 返回服务器返回的原始数据；
importurllib.request
url='http://127.0.0.1:8848/chenjy/test.html'
req=urllib.request.urlopen(url)
print(req.read())
我们可以再调用decode()方法来解码。
importurllib.request
url='http://127.0.0.1:8848/chenjy/test.html'
req=urllib.request.urlopen(url)
print(req.read().decode())
2.geturl() 返回获取资源的url；
importurllib.request
url='http://127.0.0.1:8848/chenjy/test.html'
req=urllib.request.urlopen(url)
print(req.geturl())
我们在页面中添加js脚本重定向页面window.location.href='http://127.0.0.1:8848/chenjy/test2.html';，会发现访问的时候会重定向到test2，但是geturl还是获取的重定向前的
我们启动一个项目并添加一个拦截器当访问index.html的时候重定向到/ls/html/list.html页面,geturl获取的是重定向后的页面
@Override
publicvoidhandle(Stringtarget,HttpServletRequestrequest,HttpServletResponseresponse,boolean[]isHandled){
intindex=target.lastIndexOf("index.html");
if(index!=-1){
HandlerKit.redirect("/ls/html/list.html",request,response,isHandled);
}
}importurllib.request
url='http://localhost:8088/ls/index.html'
req=urllib.request.urlopen(url)
print(req.geturl())
3.info() 返回页面的元信息；
importurllib.request
url='http://127.0.0.1:8848/chenjy/test.html'
req=urllib.request.urlopen(url)
print(req.info())
4.getcode() 返回页面的状态码；
importurllib.request
url='http://127.0.0.1:8848/chenjy/test.html'
req=urllib.request.urlopen(url)
print(req.getcode())
class request.Request
url请求类 Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
importurllib.request
#模拟iphone5请求百度手机版页面
url='https://www.baidu.com/'
user_agent='Mozilla/5.0(iPhone;CPUiPhoneOS10_3_1likeMacOSX)AppleWebKit/603.1.30(KHTML,likeGecko)Version/10.0Mobile/14E304Safari/602.1'
headers={
'User-Agent':user_agent
}
#抓取page信息
req=urllib.request.Request(url,headers=headers,method='GET')
page=urllib.request.urlopen(req).read().decode('utf-8')
print(page)看完上述内容，你们对如何在python项目中使用urllib.request模块有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注恰卡编程网行业资讯频道，感谢大家的支持。
