寒假学习记录16_python学习3
对selenium的元素选择的基本方法做出如下总结。
如果想要爬取到指定页面里的指定内容,那么要能让程序找到要爬取的元素。如果想要操控某个元素,比如要在输入栏中输入关键字进行搜索或者实现一个点击的操作,那么首先也是要能找到需要操作的元素。
我们要能够告诉浏览器,需要寻找的元素的特征,这样才能让浏览器找到它。我们可以在浏览器中按F12,选择下图的按钮便可以对元素的信息进行查看 可以看到这个元素有一个id属性,根据规范,这个id必须是当前html中唯一的,因此我们可以在这个界面中通过这个id对输入框进行操作。

首先通过wd.get('https://www.baidu.com')打开指定的网址再通过element = wd.find_element_by_id('kw'),我们得到了该元素对应的WebElement对象。此时便可以对此元素进行操作,比如输入字符串到输入框里面,element.send_keys('测试\n')。在这行代码里面包含了回车的操作,因此会对输入的字符串进行搜索,得到对应的百度搜索结果。
除了id之外,我们还可以通过class属性来选择元素。
若在一个页面中有多个相同的class,我们则可以通过wd.find_elements_by_class_name('XXX')获取所有符合条件的元素如果我们使用wd.find_element_by_class_name('XXX')则只会获得第一个符合条件的元素。
我们可以通过element.text获取到元素的text属性,对信息进行爬取。
有一点需要注意的是,如果是这样的class——class="AAA BBB",那么这个元素有两个class属性分别是AAA和BBB,指定其中任意一个便可以对该元素进行获取,但不可以通过AAA BBB获取该元素。
浙公网安备 33010602011771号