大家好,我是Python进阶者。
一、前言
前几天在Python最强王者交流群【黑科技·鼓包】问了一个Python网络爬虫处理的问题。问题如下:有没有大佬指点下怎么用xpath写drissionpage?或者用相对位置?我看了半天中文文档硬是写不出来。
这是xpath //*[@id=“ng-app”]/body/div/div/div[1]/div[2]/ul/li[2]/a
这是完整xpath /html/body/div/div/div[1]/div[2]/ul/li[2]/a
这是sel body > div > div > div.t2-header > div.t2_nav > ul > li:nth-child(2) > a
这是js document.querySelector(“body > div > div > div.t2-header > div.t2_nav > ul > li:nth-child(2) > a”)
这是co 实时监察
我更倾向于写 > >结构,但是看不懂drissionpage的说明…
二、实现过程
这里【隔壁😼山楂】给了一个指导,如下所示:直接ele2.ele(’.nav_li2’)能获取到吗?还是说你不仅要这个红款里的?
【黑科技·鼓包】:ele2.ele获取不到,想实现点击这个标签,红框里的就是我想点击的元素,山楂大佬说的我试过,为什么不行,是因为class不是首属性,首属性是class =才可以,首属性是a herf,用text找也试过,也不行,不知道为什么,后面这个文本搜索试过,也不行。
【吴超建】:检查下你的ele2是否正确呗,drssionpage也支持xpath写法,。
【郑煜哲·Xiaopang】:直接在你需要的元素上,右键,复制可以为xpath的,如果你找不到元素,有一种可能是,内嵌了iframe,需要先选择到iframe上。
【黑科技·鼓包】:我用的是免登陆跳转,所以,第一个标签虽然是**\的形式,但是运行完就是/mh,点击第一个标签的电子监察会新标签页到第二个标签页。不理解,完全不理解为什么顺序这么难懂。
【黑科技·鼓包】:经过中午无聊的开会,我突然领悟了山楂大佬的指点,学会了精准匹配。不用纠结顺序,直接匹配标题。不得不说drissionpage是个好用的东西。
不过后来他又遇到了另外一个小问题:有个新问题咨询下,pd read json 怎么读取嵌套?类似[词典与词典组成列表结构]结构的。
【瑜亮老师】:这个的确是处理某列内嵌套的字典形式数据的方法
顺利地解决了自己的问题。
如果你也有类似这种Python相关的小问题,欢迎随时来交流群学习交流哦,有问必答!
三、总结
大家好,我是Python进阶者。这篇文章主要盘点了一个Python网络爬虫处理的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。
最后感谢粉丝【黑科技·鼓包】提出的问题,感谢【隔壁😼山楂】、【瑜亮老师】给出的思路,感谢【冯诚】、【莫生气】等人参与学习交流。
【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。