接着打开对应网页源码，就可以直接看到字段信息，内容如下，嵌套在各个标签中，后面就是解析这些标签提取数据基于上面网页内容，测试代码如下，非常简单，直接find对应标签，提取文本内容即可程序运行截图如下，已经成功抓取到网站数据至此，我们就完成了使用python来爬去静态网站总的来说，整个过程非常。

方法步骤 在做爬取数据之前，你需要下载安装两个东西，一个是urllib，另外一个是pythondocx请点击输入图片描述 然后在python的编辑器中输入import选项，提供这两个库的服务 请点击输入图片描述 urllib主要负责抓取网页的数据，单纯的抓取网页数据其实很简单，输入如图所示的命令，后面带链接即可请点击。

对应的网页源码如下，包含我们所需要的数据2对应网页结构，主要代码如下，很简单，主要用到requests+BeautifulSoup，其中requests用于请求页面，BeautifulSoup用于解析页面程序运行截图如下，已经成功爬取到数据抓取网站动态数据数据不在网页源码中，json等文件中以人人贷网站数据为例 1这里假设我们。

= zlibdecompressrespHtml， zlibMAX_WBITS return respHtml及示例代码url = quotrespHtml = getUrlRespHtmlurl完全库函数，自己搜crifanLibpy 关于抓取动态页面，详见Python专题教程抓取网站，模拟登陆，抓取动态网页 自己搜标题即可找到。

获取数据打开网站之后，就可以自动化的获取我们所需要的网站数据保存数据拿到数据之后，需要持久化到本地文件或者数据库等存储设备中那么我们该如何使用 Python 来编写自己的爬虫程序呢，在这里我要重点介绍一个 Python 库RequestsRequests 使用 Requests 库是 Python 中发起。

import requests url=‘’r = requestsgeturl，timeout=10rraise_for_statusrencoding = rapparent_encoding print rtext。

用Beautiful Soup这类解析模块Beautiful Soup 是用Python写的一个HTMLXML的解析器，它可以很好的处理不规范标记并生成剖析树parse tree它提供简单又常用的导航navigating，搜索以及修改剖析树的操作用urllib或者urllib2推荐将页面的html代码下载后，用beautifulsoup解析该html然后用beautifulsoup。

6 存储和分析数据将爬取到的数据存储到本地文件或数据库中，然后使用数据分析工具对数据进行处理和分析八爪鱼采集器可以帮助您快速上手Python爬虫技巧，提供了智能识别和灵活的自定义采集规则设置，让您无需编程和代码知识就能够轻松采集网页数据了解更多Python爬虫技巧和八爪鱼采集器的使用方法，请前往官网教程与帮助。

33 爬取步骤 具体步骤如下发送请求并获取响应，注重头部信息的设置 处理乱码，将响应文本转换为#39gbk#39编码 利用re模块解析数据，找到书籍链接 递归爬取每个书籍详情页，提取标题价格等信息4 爬虫代码示例 下面是一个完整的Python代码片段，展示了爬取过程import requestsimport reurl。

需要注意的是，在Python中，randomrandint 函数生成的随机整数是包含边界值的所以，上面的代码中，生成的随机整数可能包含1和100，也可能包含1和20总之，你可以使用 randomrandint 函数来随机生成指定范围内的整数pip install beautifulsoup4 然后，您可以使用以下代码来获取网页中的payload数据。