爬虫 遇到了特殊情况

Question

https://www.lagou.com/gongsi/... 网址

我要提取这个标签下面的内容<div class="item_manager_content"

但是第一个没有p 其他都有p 遇到这种情况如何处理？

Answer 1

这种不完整的网页确实很坑，建议使用beautifulsoup的html5lib库来解析，它的容错性最好了，就是速度较慢