如何使用 Python 和 Beautiful-soup 从 Instagram 抓取标签

Question

我试图为 Instagram 上的热门标签找到相关标签，但在使用 BeautifulSoup 时却一无所获

import requests

import html5lib

import csv

from bs4 import BeautifulSoup

def list_of_tags(tags):

    related_tags = []

    tmp = []

    #for el in tags:

    url = "https://www.instagram.com/explore/tags/love/"

    req = requests.get(url)

    soup = BeautifulSoup(req.content, 'html5lib')

    print(soup)

    r_tag = soup.find('div', attrs = {'class' : 'WSpok'})

我已经在其他网站上使用类似的代码进行了抓取，并且取得了成功。但是在 Instagram 上尝试时，我没有得到任何 HTML 内容

我尝试调用特定的 div，但没有用。我还有其他使用 JSON 请求的方法，但我想知道如何改进这个版本。提前致谢

Answer 1

我终于用json做到了import requestsimport html5libimport jsonimport timeimport csvfrom bs4 import BeautifulSoupdef list_of_tags(tags):    related_tags = []    for el in tags:        url = "https://www.instagram.com/explore/tags/"+ el +"/?__a=1"        req = requests.get(url)        data = json.loads(req.text)        edges = data['graphql']['hashtag']['edge_hashtag_to_related_tags']['edges']        for item in edges:            related_tags.append(item['node']['name'])    print(related_tags)它将为您提供与您要查找的标签相关的所有标签希望对某人有帮助。