请教一下爬取数据时遇到的爬取数据的问题。

import requests
from lxml import html
import json

etree = html.etree

class BaoxiaoSpider:
    # url_list
    def __init__(self):
        self.url_temp = "http://www.2bmv.com/index_{}.html"
        self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"}

    # 获取url_list中的网址数据
    def get_url_list(self):
        # 返回的是网址后面index{}的页数的循环,共50页
        return [self.url_temp.format(i) for i in range(3)]

    # 发送请求,获取响应
    def parse_url(self,url):
        response = requests.get(url, headers=self.headers)
        return response.content

    # 提取数据
    def get_content_list(self,html_str):
        htmlDIV = etree.HTML(html_str)
        # 根据div分组
        div_list = htmlDIV.xpath("//div[@class='post']")
        content_list = []
        # 创建div的循环
        for div in div_list:
            # 如果每一个div下只有一个数据的话(如:发布者头像head_portrait),加上循环;如果每个div下含有多个数据(如:text),不加循环
            item = {}
            # 获取发布者的头像
            # item["head_portrait"] = div.xpath("./p/img/@src")[0] if len(div.xpath("./p/img/@src"))>0 else None
            # 发布时间和浏览数
            # item["time"] = div.xpath("./div/div/text()")[0] if len(div.xpath("./div/text()"))>0 else None
            # p标签下的文本
            item["text"] = div.xpath(".//div[contains(@class,'pic_text')]/p/text()")
            # 获取图片
            # item["img"] = div.xpath("./div/div/center/img/@src")

            content_list.append(item)
        return content_list

    # 保存数据
    def save_content_list(self,content_list):
        for i in content_list:
            print(i)

    # 实现主要逻辑
    def run(self):
        # 1. url_list
        url_list = self.get_url_list()
        # 2.遍历,发送请求,获取响应
        for url in url_list:
            html_str = self.parse_url(url)
        # 3.提取数据
        content_list = self.get_content_list(html_str)
        # 4.保存数据
        self.save_content_list(content_list)


if __name__ == '__main__':
    baoxiao = BaoxiaoSpider()
    baoxiao.run()

http://img1.mukewang.com/5d8b4b6e00017bff12600119.jpg

爬取的网站是:http://www.2bmv.com/index_1.html

http://img.mukewang.com/5d8b4ba1000117ff13460090.jpg

使用Xpath Helper工具查询,同样的路径下内容很多,但是爬取出来的内容就非常少。


希望老师和各位大神可以解答一下疑惑。


挣钱就完了
浏览 1000回答 2
2回答
打开App,查看更多内容
随时随地看视频慕课网APP