Python爬虫之urllib基础用法教程
综述
本系列文档用于对Python爬虫技术进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。
Python版本是3.7.4
urllib库介绍
它是Python内置的HTTP请求库,也就是说我们不需要额外安装即可使用,它包含四个模块(主要对前三个模块进行学习):
- request:它是最基本的HTTP请求模块,我们可以用它来模拟发送一请求,就像在浏览器里输入网址然后敲击回车一样,只需要给库方法传入URL还有额外的参数,就可以模拟实现这个过程了。
- error:异常处理模块,如果出现请求错误,我们可以捕获这些异常,然后进行重试或其他操作保证程序不会意外终止。
- parse:用于解析URL,提供了许多URL处理方法,比如拆分、解析、合并等等的方法,以及对参数的拼接等待。
- robotparser:主要是用来识别网站的robots.txt协议文件,然后判断网站的那些数据可以爬,哪些数据不可以爬的,其实用的比较少。
urllib.request介绍
urlopen()
1.参数说明(仅写了四个最常用的参数)
url:爬取目标的URL;
data:请求参数,如果设置该参数,则请求默认为post请求;没有默认为get请求;
timeout:用于设置超时时间,单位为秒;
context:必须是一个ssl.SSLContext类型,用来指定SSL设置,忽略未认证的CA证书;
2.具体用法
GET请求方式
#导入urllib库 importurllib.request #向指定的url发送请求,并返回服务器响应的类文件对象 url="http://www.baidu.com" response=urllib.request.urlopen(url=url) print(type(response)) #类文件对象支持文件对象的操作方法,如read()方法读取文件全部内容,返回字符串 html=response.read() #html=response.readline()#读取一行 #html=response.readlines()#读取多行,返回列表 #打印响应结果(byte类型) print(html) #打印响应结果(utf-8类型) #二进制和字符串之间的相互转码使用encode()和decode()函数 #encode()和decode()可带参数,不写默认utf-8,其他不再特别说明 print(html.decode()) #打印状态码 #print(response.get_code()) print(response.status) #获取响应头 print(response.getheaders()) #获取响应头Server信息 print(response.getheader('Server')) #获取响应结果原因 print(response.reason)
POST请求方式
#导入urllib库 importurllib.parse importurllib.request #向指定的url发送请求,并返回 post_url='https://fanyi.baidu.com/sug' #传入参数 form_data={ 'kw':'honey' } #格式化参数 form_data=urllib.parse.urlencode(form_data).encode() response=urllib.request.urlopen(url=post_url,data=form_data) #打印服务器响应的类文件对象 print(type(response)) #类文件对象支持文件对象的操作方法,如read()方法读取文件全部内容,返回字符串 html=response.read() #打印响应结果(byte类型) print(html) #打印响应结果(utf-8类型) print(html.decode()) #打印状态码 print(response.status) #print(response.getcode()) #获取响应头 print(response.getheaders()) #获取响应头Server信息 print(response.getheader('Server')) #获取响应结果原因 print(response.reason)
urlretrleve()
1.参数说明
url:下载链接地址;
filename:指定保存本地路径(如果参数未指定,urllib会生成一个临时文件保存数据);
reporthook:是一个回调函数,当连接上服务器、以及相应的数据块传输完毕时会触发该回调,我们可以利用这个回调函数来显示当前的下载进度;
data:指post导服务器的数据,该方法返回一个包含两个元素的(filename,headers)元组,filename表示保存到本地的路径,header表示服务器的响应头;
2.具体用法
#引入所需要的库 importos importurllib.request #定义回调函数 defcall_back(a,b,c): """ 图片下载回调 :parama:已经下载的数据块 :paramb:数据块的大小 :paramc:远程文件的大小 :return: """ per=100.0*a*b/c ifper>100: per=100 print('%.2f%%'%per) #定义下下载的地址 url='http://www.baidu.com' #构造文件保存路径 path=os.path.abspath('.') file_path=os.path.join(path,'baidu.html') #进行下载 urllib.request.urlretrieve(url,file_path,call_back)
urllib.parse介绍
urlencode()
1.参数说明
query:url参数,可以是字符串,也可以是字典;
encoding:编码方式;
2.具体用法
#引入所需要的库 importurllib.parse #参数数据 data={ 'name':'张三', 'age':26 } #进行编码 ret=urllib.parse.urlencode(data) print(ret)
parse_s()
1.参数说明
qs:url参数,编码后的字符串;
encoding:字符方式;
2.具体用法
#引入所需要的库 importurllib.parse #参数数据 data={ 'name':'张三', 'age':26 } #进行编码 ret1=urllib.parse.urlencode(data) print(ret1) #进行解码 ret2=urllib.parse.parse_qs(ret1) print(ret2)
urlparse()
1.参数说明
url:url地址字符串;
2.具体用法
#引入所需要的库 importurllib.parse #声明url url="https://www.baidu.com/s?wd=urlparse&rsv_spt=1&rsv_iqid=0x921f00fe005646ef&issp=1&f=8" #进行url解析 ret=urllib.parse.urlparse(url) print(ret) print('scheme:',ret.scheme)#协议 print('netloc:',ret.netloc)#域名服务器 print('path:',ret.path)#相对路径 print('params:',ret.params)#路径端参数 print('fragment:',ret.fragment)#片段 print('query:',ret.query)#查询 #urlunparse()与urlparse()对应相反函数 #使用urlparse的格式组合成一个url,可以直接将urlparse的返回传递组合 ret1=urllib.parse.urlunparse(ret) print(ret1)
urlsplit()
1.参数说明
url:url地址字符串;
2.具体用法
#引入所需要的库 importurllib.parse #声明url url="https://www.baidu.com/s?wd=urlparse&rsv_spt=1&rsv_iqid=0x921f00fe005646ef&issp=1&f=8" #进行url解析 ret=urllib.parse.urlsplit(url) print(ret) print('scheme:',ret.scheme)#协议 print('netloc:',ret.netloc)#域名服务器 print('path:',ret.path)#相对路径 print('fragment:',ret.fragment)#片段 print('query:',ret.query)#查询 #urlunsplit()与urlsplit()对应相反函数 #使用urlsplit的格式组合成一个url,可以直接将urlsplit的返回传递组合 ret1=urllib.parse.urlunsplit(ret) print(ret1) #此函数和urlparse函数的区别在于此函数没有params
urljoin()
1.参数说明
qs:url参数,编码后的字符串;
encoding:字符方式;
2.具体用法
#引入所需要的库 importurllib.parse #声明url url="https://www.baidu.com/" #参数数据 data={ 'name':'张三', 'age':26 } #格式化参数 data=urllib.parse.urlencode(data) #进行url拼接 ret=urllib.parse.urljoin(url,data) print(ret)
urllib.error介绍
我们在爬虫的时候发请求的时候难免出现错误,如访问不到服务器或者访问被禁止等等,error分为URLError和HTTPError两类:
1.URLError
没有网
服务器链接失败
找不大指定服务器
2.HTTPError
是URLError的子类
3.两者区别和联系
1).URLError封装的错误信息一般是由网络引起的,包括url错误
2).HTTPError封装的错误信息一般是服务器返回了错误状态码
3).URLError是OSERROR的子类,HTTPError是URLError的子类
4).【注意】两个同时捕获的时候需要将子类放在上面,父类放在下面
用法
#引入所需要的库 importurllib.error importurllib.request #一个访问异常的url url='https://www.mz.com/156427/100' #捕获异常 try: ret=urllib.request.urlopen(url) print(ret) excepturllib.error.HTTPErrorase: print(e.getcode()) excepturllib.error.URLErrorase: print(e)
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。