如何隔离网络抓取的分类区域？

Question

网络抓取新手，我使用 scrapy 和 python 从特定网站获取所有类别。包含网络源（网络源图片），我一直在尝试的代码如下。我试图隔离类别，这些类别位于“dropdown-submenu”类中每个项目的 href="/categories#" 之后。我试过了 category_urls = response.css("categories").xpath("@href").extract()

category_urls = response.css(".link-list-columns").xpath("@href").extract()

但我不断收到空列。

感谢您提供的任何帮助，谢谢！

Answer 1

我看不到任何名为“类别”的元素，也没有看到名为“链接列表列”的类，因此我不确定该图像是否真的是您正在抓取的页面。（顺便说一句，下次请不要发布图片，要么链接页面，要么复制并粘贴问题中的代码）假设打印正确，您可以尝试：response.xpath('//li[@class="dropdown-submenu"]/a/@href').getall()或者等效的 cssresponse.css('li.dropdown-submenu a::attr(href)').getall()