你可以用 CSS 选择器，然后根据其属性获取我把你这段拷贝下来放到完整 html 规范的 body 中在这里 CSS 选择器能通过指定第几个孩子来选择元素 body divnthchild2 pimport osfrom selenium import；网页抓取可以使用爬虫技术，以下是一些常用的网页抓取方法1 使用 Python 的 Requests 库请求网页，然后使用 Beautiful Soup 库进行页面解析，提取目标数据2 使用 Selenium 库模拟浏览器操作，通过 CSS Selector 或 XPath。

使用xpath=selectoption定位获取到一个元素集合，然后再取这个集合的个数就是option的个数。

selenium获取网页cookie

1、整个网页代码啥样的代码中只出现两个div那就用css选择器，看下面。

2、尝试每一个request都点开看一下 就是你要构造的数据 FormData就是你要构造的数据 把数据构造好然后使用post函数发送给网站 这个得到的是一个网页格式的数据而这个发放返回的是json数据，然后编码成dict格式 提取出数据就。

3、Js脚本写不对，你先在浏览器控制中调试js，正确后再粘贴到脚本中执行documentgetElementById方法返回的是一个element对象，我记得它好象没有value这个属性，你再查查DOM手册看看如果你要获取对象的内容，应该使用innerHTML。

4、执行js一般有两种场景一种是在页面上直接执行JS 另一种是在某个已经定位的元素上执行JS coding=utf8 from selenium import webdriver import time，os driver = webdriverFirefoxfile_path = #39file#39 + os。

5、1可以通过浏览器的调试功能，例如Firefox按F12，点网络标签，然后就可以看到网页的所有数据信息，网页通过AJAX异步加载的数据也可以得到2使用抓包类的工具，如SmartSniff，经过分析也可以得到数据也可以得到数据。

6、首先明确我指的动态数据是什么名词定义动态数据在这里指的是网页中由Javascript动态生成的页面内容，即网页源文件中没有，在页面加载到浏览器后动态生成的下面进入正题抓取静态页面很简单，通过Java获取到html源码，然后。

selenium获取页面的所有链接

实现对“查看更多”的自动点击，目标是获取2020年的文章相关数据蛋肥想法 36氪的数据很满足强迫症，没有空格换行，只需筛选出2020年的数据保存蛋肥想法 此次重点是学习selenium，所以只简单做一下数据可视化。

这个方法只是获取页面源码你的要求是获取DOM结构有一个方式，使用lxml库，先使用selenium获取整个html的DOM，再把Dom转存到lxml对象，这样的方式可以获取到正html Dom tree，下面例子def parse_from_unicodeunicode_str。

webdriver无法完成的操作，可以由JS配合完成示例参考JS获取标题documenttitle 弹出提示框alert#39我是一个弹框#39改变元素属性q=documentgetElementById#39kw#39=#39block#39SeleniumJS处理滚动条。

xpath定位，你用 chrome浏览器 ，在页面上右键审查元素 ，然后会弹出开发者工具，里面会显示你选中部分的页面源码并 高亮 你选择的地方，在源码里右键，选择copy xpath 用这个定位。

在Selenium中，可以使用getText方法来获取某个元素显示在网页上的文本。