可以使用智能识别功能，让八爪鱼自动识别页面的数据结构，或者手动设置采集规则4 如果手动设置采集规则，可以通过鼠标选择页面上的数据元素，并设置相应的采集规则，以确保正确获取所需的数据5 设置翻页规则如果需要采集；一旦理清了这些信息的模式，Scrapy就可以协助使用者自动提取所需信息，并将其整理为表格或JSON格式的数据结构使用pip即可轻松安装Scrapy2 Selenium Selenium设计者的初衷是将其打造成一个自动网站测试框架，但开发者们发现将。

给它加个id在弄不就可以了如果本身页面就一个button，试试用这个find_element_by_css_selectorquotbuttonquotclick，多个的话就得一步一步定位了比如find_element_by_css_selector“html body buttonquot；1switchToframe是指切换到某一个iframe里面，中有切换到iframe里，才能对里面的内容进行操作2这个形参传的是iframe的序号 34例如一个页面有几个iframe，则每一个iframe都有默认的序号具体的序号排序规则没去。

selenium获取console内容

你可以用 CSS 选择器，然后根据其属性获取我把你这段拷贝下来放到完整 html 规范的 body 中在这里 CSS 选择器能通过指定第几个孩子来选择元素 body divnthchild2 pimport osfrom selenium import。

10测试脚本table标签用表格形式展现命令及参数source标签用原始方式展现，默认是HTML语言格式，也可以用其他语言展示11查看脚本运行通过失败的个数12当选中前命令对应参数13日志参考UI元素Rollup 日。

使用xpath=selectoption定位获取到一个元素集合，然后再取这个集合的个数就是option的个数。

实现对“查看更多”的自动点击，目标是获取2020年的文章相关数据蛋肥想法 36氪的数据很满足强迫症，没有空格换行，只需筛选出2020年的数据保存蛋肥想法 此次重点是学习selenium，所以只简单做一下数据可视化。

9 selenium 三种等待方式的原理及使用场景强制等待隐式等待显示等待时间同步机制10selenium等待条件，isEnabledisSelected源码分析比如在某些场景中，需要等待元素出现后才能操作它，这时需要的是等待。

max_row=sheetmax_row #统计测试用例的行数 returnmax_row importcsv # 导入scv库，可以读取csv文件 fromselenium importwebdriver importunittest fromtime importsleep importtime importos importHTMLTestRunner importcodecs importsys dr。

selenium获取select选中的值

先定位到，然后接上后面的get_property#39id或者name#39。

当你触发了某个事件之后，页面出现了弹窗提示，处理这个提示或者获取提示信息方法 # 跟frame一样的处理方式页面前进和后退 selenium 三大重要功能 三个可以同时使用 selenium的优缺点 #8226。

下面将演示Selenium的使用1安装Selenium IDE，Firebug2启动Selenium IDEIDE启动后，弹出如下对话框上图标明了一些Selenium IDE的主要功能其中，由Command，Target，Value组成的表格就是脚本，每个脚本都是由一条一条。

1可以通过浏览器的调试功能，例如Firefox按F12，点网络标签，然后就可以看到网页的所有数据信息，网页通过AJAX异步加载的数据也可以得到2使用抓包类的工具，如SmartSniff，经过分析也可以得到数据也可以得到数据。

如果以后抓取网页碰到动态加载的数据，可以考虑使用 phantomjs 如果想更暴力直接开出一个有界面的浏览器做各式各样的操作，达到ajax无阻碍的，可以用Selenium + Beautifulsoup。

可以采用先遍历F1和F2两个frame，在获取F2之后，使用switchTodefaultContent，之后再重新获取F1这种方式实现。