Xpath的基本方法和使用详解 Python爬虫中最好用解析库

鳄鱼君

发表文章数:643

Vieu四代商业主题

高扩展、安全、稳定、响应式布局多功能模板。

¥69 现在购买
首页 » Python » Xpath的基本方法和使用详解 Python爬虫中最好用解析库

在爬虫开发的过程中还有一种解析html的方法,就是xpath,今天这篇文章就来详细介绍一下,至于你以后使用不使用呢就看你自己的个人爱好了。XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。在您继续学习之前,你应该了解HTML的基本知识。

什么是 XPath?

  • XPath 使用路径表达式在 XML 文档中进行导航
  • XPath 包含一个标准函数库
  • XPath 是 XSLT 中的主要元素
  • XPath 是一个 W3C 标准

XPath 术语

我们在使用的过程中需要知道下面的内容,使用xpath就是根据节点来提取自己想要的内容的。

  • 父(Parent):每个元素以及属性都有一个父。
  • 子(Children):元素节点可有零个、一个或多个子。
  • 同胞(Sibling):拥有相同的父的节点
  • 先辈(Ancestor):某节点的父、父的父,等等。
  • 后代(Descendant):某个节点的子,子的子,等等。

选取节点
常用的路劲表达式:

表达式 描述 实例  
nodename 选取nodename节点的所有子节点 xpath(‘//div’) 选取了div节点的所有子节点
/ 从根节点选取 xpath(‘/div’) 从根节点上选取div节点
// 选取所有的当前节点,不考虑他们的位置 xpath(‘//div’) 选取所有的div节点
. 选取当前节点 xpath(‘./div’) 选取当前节点下的div节点
.. 选取当前节点的父节点 xpath(‘..’) 回到上一个节点
@ 选取属性 xpath(’//@calss’) 选取所有的class属性

二、谓语

谓语被嵌在方括号内,用来查找某个特定的节点或包含某个制定的值的节点

表达式 结果
xpath(‘/body/div[1]’) 选取body下的第一个div节点
xpath(‘/body/div[last()]’) 选取body下最后一个div节点
xpath(‘/body/div[last()-1]’) 选取body下倒数第二个div节点
xpath(‘/body/div[positon()<3]’) 选取body下前两个div节点
xpath(‘/body/div[@class]’) 选取body下带有class属性的div节点
xpath(‘/body/div[@class=”main”]’) 选取body下class属性为main的div节点
xpath(‘/body/div[price>35.00]’) 选取body下price元素值大于35的div节点

 三、通配符

Xpath通过通配符来选取未知的XML元素

表达式 结果
xpath(’/div/*’) 选取div下的所有子节点
xpath(‘/div[@*]’) 选取所有带属性的div节点

取多个路径

使用“|”运算符可以选取多个路径

表达式 结果
xpath(‘//div|//table’) 选取所有的div和table节点

Xpath轴

轴可以定义相对于当前节点的节点集

轴名称 表达式 描述
ancestor xpath(‘./ancestor::*’) 选取当前节点的所有先辈节点(父、祖父)
ancestor-or-self xpath(‘./ancestor-or-self::*’) 选取当前节点的所有先辈节点以及节点本身
attribute xpath(‘./attribute::*’) 选取当前节点的所有属性
child xpath(‘./child::*’) 返回当前节点的所有子节点
descendant xpath(‘./descendant::*’) 返回当前节点的所有后代节点(子节点、孙节点)
following xpath(‘./following::*’) 选取文档中当前节点结束标签后的所有节点
following-sibing xpath(‘./following-sibing::*’) 选取当前节点之后的兄弟节点
parent xpath(‘./parent::*’) 选取当前节点的父节点
preceding xpath(‘./preceding::*’) 选取文档中当前节点开始标签前的所有节点
preceding-sibling xpath(‘./preceding-sibling::*’) 选取当前节点之前的兄弟节点
self xpath(‘./self::*’) 选取当前节点

功能函数

使用功能函数能够更好的进行模糊搜索

函数 用法 解释
starts-with xpath(‘//div[starts-with(@id,”ma”)]’) 选取id值以ma开头的div节点
contains xpath(‘//div[contains(@id,”ma”)]’) 选取id值包含ma的div节点
and xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]’) 选取id值包含ma和in的div节点
text() xpath(‘//div[contains(text(),”ma”)]’) 选取节点文本包含ma的div节点

xpath实例

from lxml import etree
#转解析类型
xpath_html=etree.HTML(html)
#调用xpath方法
result=xpath_html.xpath('/html/head/title') #返回的是标签对象,看不到我们所需要的内容的
result_text=xpath_html.xpath('/html/head/title/text()') #在后面加上text取文本
#print(result,result_text)
#xpath语法   1.节点 /  2.跨节点 // 3.精确查找://li[@属性="属性值"] 4.属性:@属性
#xpath返回结果为list类型  可以通过下标提取值
#xpath中[]下标从1开始,跨节点是不能按照[]方式提取 只能取 平级关系的标签
#//a[3] 跨节点取a标签 就不能使用[],因为有的a标签不是平级关系
result=xpath_html.xpath('//li') #你可以在后面加上text取文本
result=xpath_html.xpath('//li[@id="menu-item-1"]/text()') #按照属性值进行查找
result=xpath_html.xpath('//li[@id="menu-item-2"]/@href') #一般都是取出href属性
result=xpath_html.xpath('//a[1]/@href')[0] #取出第一个a标签的href属性 xpath[]下标从1开始
result=xpath_html.xpath('//a[2]')
result=xpath_html.xpath('//head/following-sibling::*[1]') #取head的平级标签,正常情况下是取head的子标签
print(result)

由于是演示每个语法的使用,出现先了多个变量名字相同,需要注意一下。基本上知道这些就没有问题了,我们来实战测试一下,随便找一个url,抓取相关内容,采用面向对象的代码格式。在解析数据的时候需要按照先抓大在抓小的原则,这样会减少一些困扰。一般来说web网页中的文章列表都是很有规律的,我们只需要先解析单个文章的标签,里面包含有相关的url,title,article等等一些我们想要的信息,如果你上去就解析url,title的话,就不能保证数据的一致性,两个是独立的信息,你需要另外拼接,可以使用enumerate方法来根据下标组合:

未经允许不得转载:作者:鳄鱼君, 转载或复制请以 超链接形式 并注明出处 鳄鱼君
原文地址:《Xpath的基本方法和使用详解 Python爬虫中最好用解析库》 发布于2020-01-23

分享到:
赞(1) 赏杯咖啡

评论 抢沙发

8 + 9 =


文章对你有帮助可赏作者一杯咖啡

支付宝扫一扫打赏

微信扫一扫打赏

Vieu4.6主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册