登录采集——模拟浏览器登录QQ邮箱
网络爬虫学习中,简单的静态页面数据,难以满足我们的一颗好学之心,且现在我们好奇的数据往往藏得很深,要么需要登录,要么为动态加载……今天,就来分享一下模拟浏览器对QQ邮箱(我们只是学习、分享、交流)的登录操作!
1、前期准备
搞事情之前,我们需要先准备两个工具,分别是需要模拟浏览器登录的模块selenium和对应的驱动插件chromedriver.exe
这里,我们用了一个模拟浏览器登录的模块selenium
安装selenium模块:
pipinstall selenium
下载驱动插件chromedriver.exe,插件版本需与浏览器版本相同或相近,此处用的是谷歌浏览器,可在浏览器网页中输入地址chrome://version/,查看浏览器版本:
接着进入驱动下载页面http://chromedriver.storage.googleapis.com/index.html,下载相同或相近版本的chromedriver.exe:
解压后将放到指定位置(随便放哪里,只要你知道在哪里),此处放于F:\\PycharmProjects\\tensorflow文件路径下。
2、页面简析(如果着急看效果,跳过此步)
打开QQ邮箱官网(https://mail.qq.com/),得到如下界面,这里有几种登录方式,其中微信登录只能通过扫码实现,我们既然想用Python去自动化批量发送邮件,微信扫码登录自然不现实(若有高手可攻克此步,还望分享)。
QQ登录方式有两种,要么点击已登录的QQ头像(可通过cookie实现),要么直接密码登录,今天我们介绍后者。
点击账号密码登录,发现网址和之前没有变化,
抓包后看到,返回的Referer信息一长串,这难道就是登录页面的实际网址?
复制Referer里的连接信息到浏览器看看,果然!好,那我们就不去请求邮箱官网了,直接对这个连接下手。
但是这个连接信息还是有扫码登录或是之前的cookie信息,我们想要的是账号密码登录,点击密码登录后,进入一个很单纯的表单页面。不错,我们找的就是它,检查密码登录的元素,发现它在类名为switch_btn的a标签下。
3、完整代码
好了,QQ邮箱的密码登录方式大概就是这个意思,接下来我们直接上代码:
fromseleniumimportwebdriverfromselenium.webdriver.chrome.optionsimportOptionsimporttime初始化以及配置浏览器chrome_options = Options()1、添加user-agentchrome_options.add_argument(User-Agent="你自己的user-agent)2、禁止图片加载 数字1:可以加载图片 数字2:禁止加载图片No_Image_loading = {"profile.managed_default_content_settings.images":1}
chrome_options.add_experimental_option("prefs", No_Image_loading)
path =F:\\PycharmProjects\\tensorflow\\chromedriver.exe更改为你自己的插件路径driver = webdriver.Chrome(executable_path=path, chrome_options=chrome_options)登录页面driver.get(https://xui.ptlogin2.qq.com/cgi-bin/xlogin?appid=522005705&daid=4&s_url=https://mail.qq.com/cgi-bin/login?vt=passport%26vm=wpt%26ft=loginpage%26target=&style=25&low_login=1&proxy_url=https://mail.qq.com/proxy.html&need_qr=0&hide_border=1&border_radius=0&self_regurl=http://zc.qq.com/chs/index.html?type=1&app_id=11005?t=regist&pt_feedback_link=http://support.qq.com/discuss/350_1.shtml&css=https://res.mail.qq.com/zh_CN/htmledition/style/ptlogin_input_for_xmail440503.css)
time.sleep(2)切换进入账号密码登录driver.find_element_by_id(switcher_plogin).click()点击 输入账号信息driver.find_element_by_id(u).send_keys(你自己的QQ)
QQ邮箱的登录你掌握了,那其他网页的登录呢?赶快去试试吧!
——————————————————————————
-
上一篇
QQ浏览器(手机版)
【产品】
-
下一篇
UC浏览器(uc.cn)是全球主流的第三方手机浏览器,拥有独创的U3内核和云端技术,UC浏览器完美地支持HTML5应用,具有智能、极速、安全、易扩展等特性,让用户在阅资讯、读小说、看视频、上微博、玩游戏、网上购物等都能享受最流畅的移动互联网体验。
多御浏览器
多御浏览器(xduoyu.com)安卓版是普一科技推出的一个纯粹的手机浏览器。无广告无新闻无推送,几M大小而已,功能强大。支持长按图片读取文字信息,视频下载,无痕模式、密码锁屏、扫描二维码、多种引擎搜索等功能。看网页、刷视频不卡顿,给用户淋漓尽致的浏览体验,提供便捷的搜索和网址补全功能,帮用户快速定位想要找的东西,节省时间。
QQ浏览器
QQ浏览器(browser.qq.com)是腾讯公司推出的新一代手机浏览器,采用全新架构并对内核做了优化,打开速度超快,全新的设计更有安全保障。旨在为用户带来更快、更轻、更安全的浏览体验,给用户带来纯净简约的上网环境。全新主页,定制卡片,个性皮肤,清新简单,自主研发的X5内核,畅享极速上网体验。
UC、多御和QQ浏览器对比
设备数量和日均使用时长对比
手机浏览器哪个好用,UC、多御和QQ浏览器对比
随着移动智能设备的普及,以及WIFI覆盖范围的扩大,越来越多的人习惯通过移动网络访问互联网。现如今,各种各样的手机浏览器不断涌现,各大浏览器厂商在手机端的竞争十