课程大纲

【课程简介】

Python这门编程语言包罗万象，可以说掌握了python，除了一些特殊环境和高度的性能要求，你可以用它做任何事。

Python作为一门脚本语言，它灵活、易用、易学、适用场景多，实现程序快捷便利，早已经成为程序员们的一门编程利器。从小到服务器运维的脚本，到大型软件开发，使用python都能够很灵活的快速实现。python不但可以快速实现大型的web应用程序，在网络层的开发，以及工程计算、数学计算上都有方便的开发手段。Map&Reduce思想在python里面也有着非常方便的实现。甚至在一些嵌入式设备上，你也可以实现自己的python应用。诸如著名的云计算框架openstack之类很多编程应用，都能见到python的身影。

随着互联网的发展，网络信息呈现指数式增长，要在短时间内获取大量信息，网络爬虫无疑是一种更适合的方法。通过爬虫获取的海量信息，我们可以对其进行进一步的分析：市场预测、文本分析、机器学习方法等。

本课程讲会从爬虫的基本知识入手，使用Python作为实现工具，一步步地讲述网络爬虫的实现

【课程内容】

第1单元 网络爬虫初识与Python使用基础

第2单元 通用爬虫和聚焦爬虫介绍

第3单元 HTTP和HTTPS

第4单元 urllib2的urlopen()和Request()的使用

第5单元 Request响应呵呵User-agen

第6单元 add header和get header()

第7单元 urlencode和贴吧小爬虫案例

第8单元 POST请求的模拟案例

第9单元 ajax加载方式的数据获取

第10单元 利用Cookie模拟的登录

第11单元 Handle和opener以及开放代理和私密代理的使用

第12单元 代理和web客户端授权验证处理器的使用

第13单元 通过Cookie和HTTPCookiePricess模拟登录

第14单元 正则表达式re模块的使用

第15单元 使用正则的内涵段子爬虫案例

第16单元 xml库和贴吧图片下载案例