python爬虫学习之路-抓包分析
利用浏览器抓包，是爬虫中的很实用的技能。在爬虫编程之前，我们要对抓取的目标页面有所了解，比如浏览器的这个请求这个页面中间都经历了什么，数据是怎么发送和返回的。
抓包的作用
我把抓包分析的作用简单列一下：
分析请求的headers等等，可以加载到你的爬虫中，伪装成浏览器。往往可以躲过简单的反扒策略登录状态获取，如果我们在浏览器中登录，抓包拿到cookies，加到我们的爬虫中，往往就可以绕过登录这道坎，爬虫直接登堂入室，抓取更有价值的数据post请求，例如页面中通过post提交的表单。我们就可以抓包看到请求是每个参数的key和value，key是什么、value有没有编码等等抓接口，抓包往往可以看到服务器返回到浏览器的的响应数据是什么，比如很多页面中的数据，其实是中间经过一次接口的，接口中往往是json数据。这样爬虫就可以直接抓接口，而不是原网页。json数据中比页面解析提取数据来的遍历抓包分析，有时可以绕过有些网站的反扒限制，甚至网站的验证码（极少其概况下啊）···
如何抓包
案例一
浏览器例如Chrome、Firfox都支持抓包，其中Firfox有一个开发者版本 firefox developer edition，更加专业一些，可以安装玩玩看。
我们以Chrome浏览器为例吧，要有一个抓包的页面啊
就这个链接啦：
http://baijiahao.baidu.com/builder/preview/s?id=1601067954790004275
浏览器中输入这个链接，页面空白处，右键“检查”，点击“network”，再次刷新页面，看到如下：
看似访问一个页面，其实中间经过这么多请求。
其中左侧，每一个请求的Headers标签中内容如下四个部分：
GeneralResponse HeaderRequest HeadersQuery其中重点在请求的headers，将里面的数据设置到你的爬虫，就可以伪装爬虫，通常设置Cookie、Host、User-Agent、Referer等。
案例二
post请求的抓包。
有表单的页面，点击提交，抓包可以查看post的数据有哪些，是否对数据编码等
案例三
抓包，获取接口。这个页面http://www.2345.com/corp.htm?innertab想要获取这个页面上的各个行业和相应网址。抓取这个链接，提取页面元素。不论是用正则、xpath、beautifulsoup等等。有更好的办法吗？抓包看看
通过抓包，我们得到接口：http://www.2345.com/js/nvaurllist1202.js?v=8.13.1抓取这个链接进行数据提取，不是比原页面简单些吗。
python爬虫学习之路-抓包分析 就到这里，下次开始初认python的urllib、urllib2、requests，理清楚三者的关系。这里是python2，学习了python2的爬虫开发，python3也不在话下
之前在某个网站发现有个粒子缓缓上升的特效，最近想用的时候发现找不到了找不到了找不到了。求助群里的大佬们，在大佬推荐的网站上找到了一样的特效。于是把特效顺带学习了波。
特效demo如下：
这里只取了Bubbles的特效。学习过程记录在代码注释中
css代码如下
html元素如下
js如下
好了，代码就学习到这里，实现原理已经明了啦。
最后预览下效果：
现在戒掉手机是不存在的，上课没带手机比没带书还着急~
那，手机除了淘宝王者，还有哪些生活小助手一样存在的app呢？校园体验者的小编来做下小推荐（自身收益，简单分享）。以下:
1、线上学习
a-虎课：
（电脑是网站，手机是APP）学习或者想拓展设计类领域如JS、AU、AE、界面设计等都可以。一天可以免费学习一个课程，很大学生！
b-网易云课堂：
网易打造的在线实用技能学习平台，内容涵盖办公系效率、职业发展、生活方式、语言学习等，有专业提升也有兴趣学习。免费收费都有，很大学生。
c-网易公开课：
网易为爱学习的网友打造的“随时随地上名校公开课”的免费课程平台，用户可以在线免费观看来自哈佛大学等时间级别的名校公开课程，内容涵盖人文、社会、科学、金融等领域。不是985名校也可以照样上名校课堂。
2、便签笔记
一般的，手机自带的便签软件就可以用起来，上课拿来做笔记、平时记下摘抄感悟类（小编一般用自带）。
其他还可以是印象笔记：（朋友使用后推荐）笔记中可以插入附件、音频、图片，便捷程度一级棒！
3、小工具
a-天眼查：
天眼查是一个企业信息查询系统，实现了企业背景、企业发展、司法风险、经营风险。经营状况等多种数据维度查询。在实习和找工作去面试之前，可以对该公司做一个考察和提前试探，避免被骗。
b-白描：
文件扫描与文字识别工具。扫一扫就能把书上的文字转化到手机的黑科技。识别准确率高、操作起来简单。
c-思维导图：
非常适合用来规划步骤或者记忆那些需要背诵的科目。直接上图：
d-滴答清单：
英国首相技术顾问都在推的任务管理神器。大学生可能上课、忙社团、开会和自己的小计划，这些交给滴答清单来记，按时提醒，简直就是健忘症和拖拉症的救星。
e-keep:
一块指导运动健身工具，适合没有报私教但是有健身卡的小伙伴（私教不太大学生，贵~）或者是假期在家想要塑身减肥的同学（某宝上买一块瑜伽垫就可以解决问题）
声明：本文来源于网络，如有侵权请联系客服删除
