Python 爬虫图片简单实现
Python爬虫图片简单实现
经常在逛知乎，有时候希望把一些问题的图片集中保存起来。于是就有了这个程序。这是一个非常简单的图片爬虫程序，只能爬取已经刷出来的部分的图片。由于对这一部分内容不太熟悉，所以只是简单说几句然后记录代码，不做过多的讲解。感兴趣的可以直接拿去用。亲测对于知乎等网站是可用的。
上一篇分享了通过url打开图片的方法，目的就是先看看爬取到的图片时什么样，然后再筛选一下保存。
这里用到了requests库来获取页面信息，需要注意的是，获取页面信息的时候需要一个header，用以把程序伪装成浏览器去访问服务器，不然可能会被服务器拒绝。然后用BeautifulSoup来过滤多余信息得到图片地址。得到图片后，根据图片的大小过滤掉一些头像、表情包之类的小图片。最后打开或者保存图片的时候选择就比较多了，OpenCV，skimage，PIL等都可以。
程序如下：
#-*-coding=utf-8-*-
importrequestsasreq
frombs4importBeautifulSoup
fromPILimportImage
fromioimportBytesIO
importos
fromskimageimportio
url="https://www.zhihu.com/question/37787176"
headers={'User-Agent':'Mozilla/5.0(Linux;Android6.0;Nexus5Build/MRA58N)AppleWebKit/537.36(KHTML,likeGecko)Chrome/58.0.3029.96MobileSafari/537.36'}
response=req.get(url,headers=headers)
content=str(response.content)
#printcontent
soup=BeautifulSoup(content,'lxml')
images=soup.find_all('img')
printu"共有%d张图片"%len(images)
ifnotos.path.exists("images"):
os.mkdir("images")
foriinrange(len(images)):
img=images[i]
printu"正在处理第%d张图片..."%(i+1)
img_src=img.get('src')
ifimg_src.startswith("http"):
##usePIL
'''
printimg_src
response=req.get(img_src,headers=headers)
image=Image.open(BytesIO(response.content))
w,h=image.size
printw,h
img_path="images/"+str(i+1)+".jpg"
ifw>=500andh>500:
#image.show()
image.save(img_path)
'''
##useOpenCV
importnumpyasnp
importurllib
importcv2
resp=urllib.urlopen(img_src)
image=np.asarray(bytearray(resp.read()),dtype="uint8")
image=cv2.imdecode(image,cv2.IMREAD_COLOR)
w,h=image.shape[:2]
printw,h
img_path="images/"+str(i+1)+".jpg"
ifw>=400andh>400:
cv2.imshow("Image",image)
cv2.waitKey(3000)
##cv2.imwrite(img_path,image)
##useskimage
##image=io.imread(img_src)
##w,h=image.shape[:2]
##printw,h
#io.imshow(image)
#io.show()
##img_path="images/"+str(i+1)+".jpg"
##ifw>=500andh>500:
##image.show()
##image.save(img_path)
##io.imsave(img_path,image)
printu"处理完成！"
这里给出了多种选择，供参考。