第6章终端协议分析

教案

课程名称：Python网络爬虫技术

课程类别：必修

适用专业：大数据技术类相关专业

总学时：32学时（其中理论14学时，实验18学时）

总学分：2.0学分

本章学时：3学时

一、材料清单

（I ）《Python网络爬虫技术》教材。

（2）配套PPT。

（3）引导性提问。

（4）探究性问题。

（5）拓展性问题。

二、教学目标与基本要求

1.教学目标

学会使用HTTP Analyzer工具抓取在千千音乐PC客户端上抓取数据和接口。学会使用Fiddler I具抓取人民日报APP数据和接口。

2.基本要求

（1）使用Http Analyzer工具抓取PC客户端的包。

（2）使用Fiddler工具抓取人民日报手机APP的包。

（3）利用Fiddler I具抓取的包，爬取人民日报手机APP的数据。

三、问题

1.引导性提问

引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的C （1）平常的网页和PC客户端、APP传递数据的方法有什么区别？

（2）除了浏览器还可以同过其他方法获取连接吗？

（3 ）怎么爬取PC客户端、APP的数据？

2.探究性问题

探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。

（1）H ttp Analyzer 和Fiddler 怎么获取JSON 数据？

（2）Http Analyzer 和Fiddler 怎么获取Cookie 值？

拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。

（1）在使用两个工具后，你认为那个工具强大那个好用了？

（2）还有那些工具可以爬取PC客户端和APP?

（3）如何处理那些加密连接？

四、主要知识点、重点与难点

(3) (4) 了解Fiddler 软

(5) (1) 了解PC 客户(2)

T 解Http Analyzer 的一些基本功能。

(3)

(4)

了解Fiddler 软(5)

1.主要知识点

掌握利用Http Analyzer 进行抓包分析，得到一个标准的HTML 文档。

掌握使用Fiddler 软件抓取的包，对人民口报APP 新闻信息进行爬取。 2.重点

（1）掌握利用Http Analyzer 进行抓包分析，得到一个标准的HTML 文档。

（2）掌握使用Fiddler 软件抓取的包，对人民日报APP 新闻信息进行爬取。 3.难点

（1）掌握利用Http Analyzer 进行抓包分析，得到一个标准的HTML 文档。

（2）掌握使用Fiddler 软件抓取的包，对人民日报APP 新闻信息进行爬取。

五、教学过程设计

1.理论教学过程

掌握利用Http Analyzer 进行抓包分析，得到一个标准的HTML 文档。 掌握使用Fiddler 软件抓取的包，对人民日报APP 新闻信息进行爬

取。 2.实验教学过程

（1）利用Http Analyzer 进行抓包分析，得到一个标准的HTML 文档。

(2) 设置Fiddler 软件。

(1) 了解PC 客户(2)

T 解Http Analyzer 的一些基本功能。

(3)通过Fiddler得到人民日报APP的JSON格式的数据。

(4)利用Fiddler软件抓取的包，对人民日报APP新闻信息进行爬取。