Selenium + PhantomJS + python 简单实现爬虫的功能
本文内容纲要：
-Selenium
-Windows
-Linux
-PhantomJS
-Windows
-Linux
-Selenium+PhantomJS+python简单实现爬虫的功能
-一、超时设置
-二、元素的定位
-三、浏览器的操作
-四、操作测试对象
-五、键盘事件
-六、中文乱码问题
-七、鼠标事件
-八、cookie处理
Selenium
一、简介
selenium是一个用于Web应用自动化程序测试的工具，测试直接运行在浏览器中，就像真正的用户在操作一样
selenium2支持通过驱动真实浏览器（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）
selenium2支持通过驱动无界面浏览器（HtmlUnit，PhantomJs）
二、安装
Windows
第一种方法是：下载源码安装，下载地址（https://pypi.python.org/pypi/selenium）解压并把整个目录放到C:\Python27\Lib\site-packages下面
第二种方法是：可以直接在C:\Python27\Scripts下输入命令安装pipinstall-Uselenium
Linux
sudopipinstallselenium
PhantomJS
一、简介
PhantomJS是一个基于WebKit（WebKit是一个开源的浏览器引擎，Chrome，Safari就是用的这个浏览器引擎）的服务器端JavaScriptAPI，
主要应用场景是：无需浏览器的Web测试，页面访问自动化，屏幕捕获，网络监控
**二、**安装
Windows
下载源码安装，下载地址（http://phantomjs.org/download.html）解压并把解压缩的路径添加到环境变量中即可，我自己的放到了C:\Python27\Scripts下面
Linux
sudoapt-getinstallPhantomJS
Selenium+PhantomJS+python简单实现爬虫的功能
python可以使用selenium执行javascript，selenium可以让浏览器自动加载页面，获取需要的数据。selenium自己不带浏览器，可以使用第三方浏览器如Firefox，Chrome等，也可以使用headless浏览器如PhantomJS在后台执行。
在工作用遇到一个问题,当加载一个手机端的URL时候，会加载不上，需要我们在请求头中设置一个User-Agent，设置完以后就可以打开了（Windows下执行，linux下执行的话就不用加executable_path='C:\Python27\Scripts\phantomjs.exe'）
fromseleniumimportwebdriver
fromselenium.webdriver.common.desired_capabilitiesimportDesiredCapabilities
dcap=dict(DesiredCapabilities.PHANTOMJS)#设置userAgent
dcap["phantomjs.page.settings.userAgent"]=("Mozilla/5.0(Macintosh;IntelMacOSX10.9;rv:25.0)Gecko/20100101Firefox/25.0")
obj=webdriver.PhantomJS(executable_path='C:\Python27\Scripts\phantomjs.exe',desired_capabilities=dcap)#加载网址
obj.get('http://wap.95533pc.com')#打开网址
obj.save_screenshot("1.png")#截图保存
obj.quit()#关闭浏览器。当出现异常时记得在任务浏览器中关闭PhantomJS，因为会有多个PhantomJS在运行状态，影响电脑性能
一、超时设置
webdriver类中有三个和时间相关的方法：
1.pageLoadTimeout设置页面完全加载的超时时间，完全加载即完全渲染完成，同步和异步脚本都执行完
2.setScriptTimeout设置异步脚本的超时时间
3.implicitlyWait识别对象的智能等待时间
下面我们以获取校花网title为例来验证效果，因为校花网中图片比较多，所以加载的时间比较长，更能时间我们的效果（另一原因我就不说了，这样才能让我们学起来带劲，哈哈！！！）
fromseleniumimportwebdriver
obj=webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
obj.get('http://www.xiaohuar.com')
printobj.title
exceptExceptionase:
printe
二、元素的定位
对象的定位是通过属性定位来实现的，这种属性就像人的身份证信息一样，或是其他的一些信息来找到这个对象，那我们下面就介绍下Webdriver提供的几个常用的定位方法
<inputid="kw"name="wd"class="s_ipt"value=""maxlength="255"autocomplete="off">
上面这个是百度的输入框，我们可以发现我们可以用id来定位这个标签，然后就可以进行后面的操作了
更多具体关于XPath的信息，请具体参照http://www.cnblogs.com/hyddd/archive/2009/05/22/1487332.html
fromseleniumimportwebdriver
obj=webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
obj.get('http://www.baidu.com')
obj.find_element_by_id('kw')#通过ID定位
obj.find_element_by_class_name('s_ipt')#通过class属性定位
obj.find_element_by_name('wd')#通过标签name属性定位
obj.find_element_by_tag_name('input')#通过标签属性定位
obj.find_element_by_css_selector('#kw')#通过css方式定位
obj.find_element_by_xpath("//input[@id='kw']")#通过xpath方式定位
obj.find_element_by_link_text("贴吧")#通过xpath方式定位
printobj.find_element_by_id('kw').tag_name#获取标签的类型
exceptExceptionase:
printe
三、浏览器的操作
1、调用启动的浏览器不是全屏的，有时候会影响我们的某些操作，所以我们可以设置全屏
fromseleniumimportwebdriver
obj=webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
obj.maximize_window()#设置全屏
try:
obj.get('http://www.baidu.com')
obj.save_screenshot('11.png')#截取全屏，并保存
exceptExceptionase:
printe
2、设置浏览器宽、高
fromseleniumimportwebdriver
obj=webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
obj.set_window_size('480','800')#设置浏览器宽480，高800
try:
obj.get('http://www.baidu.com')
obj.save_screenshot('12.png')#截取全屏，并保存
exceptExceptionase:
printe
3、操作浏览器前进、后退
fromseleniumimportwebdriver
obj=webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
try:
obj.get('http://www.baidu.com')#访问百度首页
obj.save_screenshot('1.png')
obj.get('http://www.sina.com.cn')#访问新浪首页
obj.save_screenshot('2.png')
obj.back()#回退到百度首页
obj.save_screenshot('3.png')
obj.forward()#前进到新浪首页
obj.save_screenshot('4.png')
exceptExceptionase:
printe
四、操作测试对象
定位到元素以后，我们就应该对相应的对象进行某些操作，以达到我们某些特定的目的，那我们下面就介绍下Webdriver提供的几个常用的操作方法
fromseleniumimportwebdriver
obj=webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
obj.get('http://www.baidu.com')
printobj.find_element_by_id("cp").text#获取元素的文本信息
obj.find_element_by_id('kw').clear()#用于清除输入框的内容
obj.find_element_by_id('kw').send_keys('Hello')#在输入框内输入Hello
obj.find_element_by_id('su').click()#用于点击按钮
obj.find_element_by_id('su').submit()#用于提交表单内容
exceptExceptionase:
printe
五、键盘事件
1、键盘按键用法
fromselenium.webdriver.common.keysimportKeys
obj=webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
obj.get('http://www.baidu.com')
obj.find_element_by_id('kw').send_keys(Keys.TAB)#用于清除输入框的内容,相当于clear()
obj.find_element_by_id('kw').send_keys('Hello')#在输入框内输入Hello
obj.find_element_by_id('su').send_keys(Keys.ENTER)#通过定位按钮，通过enter（回车）代替click()
exceptExceptionase:
printe
2、键盘组合键使用
fromseleniumimportwebdriver
fromselenium.webdriver.common.keysimportKeys
obj=webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
obj.set_page_load_timeout(5)
try:
obj.get('http://www.baidu.com')
obj.find_element_by_id('kw').send_keys(Keys.TAB)#用于清除输入框的内容,相当于clear()
obj.find_element_by_id('kw').send_keys('Hello')#在输入框内输入Hello
obj.find_element_by_id('kw').send_keys(Keys.CONTROL,'a')#ctrl+a全选输入框内容
obj.find_element_by_id('kw').send_keys(Keys.CONTROL,'x')#ctrl+x剪切输入框内容
exceptExceptionase:
printe
六、中文乱码问题
selenium2在python的send_keys（）中输入中文会报错，其实在中文前面加一个u变成unicode就能搞定了
七、鼠标事件
1、鼠标右击
fromseleniumimportwebdriver
fromselenium.webdriver.common.action_chainsimportActionChains
obj=webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
try:
obj.get("http://pan.baidu.com")
obj.find_element_by_id('TANGRAM__PSP_4__userName').send_keys('13201392325')#定位并输入用户名
obj.find_element_by_id('TANGRAM__PSP_4__password').send_keys('18399565576lu')#定位并输入密码
obj.find_element_by_id('TANGRAM__PSP_4__submit').submit()#提交表单内容
f=obj.find_element_by_xpath('/html/body/div/div[2]/div[2]/....')#定位到要点击的标签
ActionChains(obj).context_click(f).perform()#对定位到的元素进行右键点击操作
exceptExceptionase:
printe
2、鼠标双击
fromseleniumimportwebdriver
fromselenium.webdriver.common.action_chainsimportActionChains
obj=webdriver.PhantomJS(executable_path="D:\Python27\Scripts\phantomjs.exe")
try:
obj.get("http://pan.baidu.com")
obj.find_element_by_id('TANGRAM__PSP_4__userName').send_keys('13201392325')#定位并输入用户名
obj.find_element_by_id('TANGRAM__PSP_4__password').send_keys('18399565576lu')#定位并输入密码
obj.find_element_by_id('TANGRAM__PSP_4__submit').submit()#提交表单内容
f=obj.find_element_by_xpath('/html/body/div/div[2]/div[2]/....')#定位到要点击的标签
ActionChains(obj).double_click(f).perform()#对定位到的元素进行双击操作
exceptExceptionase:
printe
八、cookie处理
本文内容总结：Selenium，Windows，Linux，PhantomJS，Windows，Linux，Selenium+PhantomJS+python简单实现爬虫的功能，一、超时设置，二、元素的定位，三、浏览器的操作，四、操作测试对象，五、键盘事件，六、中文乱码问题，七、鼠标事件，八、cookie处理，
原文链接：https://www.cnblogs.com/luxiaojun/p/6144748.html