Xpath问题

来源:2-7 spider文件的编写(2)

Yelena_Nic

2018-10-21 11:36

Xpath 只能用在谷歌浏览器吗?微软自带的浏览器可以吗?没有安装这个插件,那么在pycharm中可以用  以下语句吗?

response.xpath("//div[@class='article']//ol[class='grid_view']/li")

我在 main.py中 运行之后,没有报错,但是什么都没有爬取出来??

https://img2.mukewang.com/5bcbf40b0001f97408510405.jpg

但是中间 有一个这样的 日志:哪位大神求解一下?有用的 百度浏览器的吗?

https://img4.mukewang.com/5bcbf42b0001a94117200032.jpg

写回答 关注

3回答

  • Yelena_Nic
    2018-10-22 09:50:38

    我写的没啥问题啊 ? 老师这点运行直接就 显示了 每个电影的名字不是吗?为什么我的不显示呢


  • weibo_瓦力Ty_04090737
    2018-10-22 09:49:34

    还有那个403我怀疑你是没有加user_agent

    Yelena...

    403的 问题 我改正过了

    2018-10-22 09:51:46

    共 1 条回复 >

  • weibo_瓦力Ty_04090737
    2018-10-22 09:46:30

    xPath工具应该只能在谷歌浏览器里用,你写的语句应该是没有问题,但是这是获取到了电影条目的列表,后续遍历每个条目,写每行数据相应的xpath然后导入到item里才行啊

Python最火爬虫框架Scrapy入门与实践

做为爬虫工程师Python Scrapy主流爬虫框架你必须要会!

67418 学习 · 223 问题

查看课程

相似问题