可以 Selenium是一个用于Web应用程序测试的工具Selenium测试直接运行在浏览器中，就像真正的用户在操作一样支持的浏览器包括IE7， 8， 9， 10， 11，Mozilla Firefox，Safari，GoogleChrome，Opera，Edge等这个工具的主。

您可以按照以下步骤来配置八爪鱼采集器进行数据采集1 打开八爪鱼采集器，并创建一个新的采集任务2 在任务设置中，输入要采集的网址作为采集的起始网址3 配置采集规则可以使用智能识别功能，让八爪鱼自动识别页面的。

设置代理的话，可以使用这种方式，代码是我刚才测试过的，亲测可用from selenium import webdriver chrome_options = webdriverChromeOptionschrome_optionsadd_argument#39proxyserver=。

但这个不难，用selenium就是要模拟人的操作的，真人操作的时候也不会直接输url来一页一页看，比如在线阅读的网站，一般都会有个目录页先爬取目录页面的信息，先将正文url列表保存下来，然后再遍历列表就行这里有个sleep。

二种方法1抓包，找到真正的url，模拟post或get 2用selenium+phantomjs 或firefox 或chrome。

用python写爬虫的时候，主要用的是selenium的Webdriver，我们可以通过下面的方式先看看SeleniumWebdriver支持哪些浏览器 执行结果如下，从结果中我们也可以看出基本山支持了常见的所有浏览器 这里要说一下比较重要的PhantomJS，PhantomJS是一个。

4 SeleniumSelenium是一个自动化测试工具，也可以用于爬虫开发它可以模拟浏览器的行为，支持JavaScript渲染，适用于需要执行JavaScript代码的网页采集任务5 PySpiderPySpider是一个轻量级的分布式爬虫框架，它基于Python 3。

2 Scrapy是一个用于爬取网站并提取结构化数据的Python框架它具有高度的可扩展性和灵活性，可以通过编写简单的代码来实现复杂的爬虫任务3 Selenium是一个自动化测试工具，也可以用于爬虫它可以模拟用户在浏览器中。

Python是一种广泛使用的编程语言，也是许多爬虫工具的基础Scrapy是一个基于Python的爬虫框架，能帮助我们快速构建爬虫BeautifulSoup是一个Python库，用于解析HTML和XML文档，能帮助我们快速提取网页数据Selenium是一个自动化测试。

在分析目标网站时，需要注意网站的反爬虫机制，例如IP封锁验证码等三模拟浏览器操作 有些网站会检测爬虫程序，例如通过检测。

动态网页抓取 解析真实地址 + selenium由于网易云跟帖停止服务，现在已经在此处中更新了新写的第四章请参照文章前面爬取的网页均为静态网页，这样的网页在浏览器中展示的内容都在HTML源代码中但是，由于主流网站都使用。

WebKit 是一个开源的浏览器引擎，python提供了许多库可以调用这个引擎，dryscrape便是其中之一，它调用webkit引擎来处理包含js等的网页2 selenium web测试框架 selenium是一个web测试框架，它允许调用本地的浏览器引擎发送网页。

Element is not clickable at point 939， 560 Other element would receive the click 英文不是很好，不过大概意思是元素所在的点point 939， 560不可点击，其他元素接收到点击信号了。

抓取动态页面有两种常用的方法，一是通过JavaScript逆向工程获取动态数据接口真实的访问路径，另一种是利用selenium库模拟真实浏览器，获取JavaScript渲染后的内容但selenium库用起来比较繁琐，抓取速度相对较慢，所以第一种。

Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与Python的对接，Python进行后期的处理ScrapyScrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架 可以应用。

网上抓取和解析html的框架一抓一大把，各种工具直接拿来用就行了，比较省心首先速度效率很成问题，有一次下载电影海报的时候，由于是crontab定期执行，也没做优化，开的php进程太多，直接把内存撑爆了。

做到可见即可爬对于一些JavaScript动态渲染的页面来说，这种爬取方式非常有效进入当当网的畅销图书网页，我们要利用Selenium抓取图书信息并用pyquery解析得到图书的排名图片名称价格评论等信息。