如何在Instagram上向下滚动到结尾

Question

我试图根据标签“foody”从instagram上抓取帖子的网址。使用硒和beautifulsoup，我可以抓取大约2，160个url的帖子。

但是，我无法超越这一点（有超过4，000，000个帖子）。有没有其他办法可以用“食物”标签来抓取整个帖子？或者至少是在2018-2019之间发布的帖子的网址？

以下是我的抓取代码。

谢谢！

    

    

    instagram_url = "https://www.instagram.com" 

    tag_url = "https://www.instagram.com/explore/tags"

    ads = "foody" # hashtag

    

    #pausetime

    pause_time = 2

    

    #driver

    driver = webdriver.Chrome("chromedriver.exe")

    

    #go to hashtag page

    driver.get(f"{tag_url}/{ads}")

    time.sleep(pause_time)

    #scroll down

    lenOfPage = driver.execute_script("window.scrollTo(0, document.body.scrollHeight);var lenOfPage=document.body.scrollHeight;return lenOfPage;")

    match=False

    i = 0

    while(match==False):

        #urls

        html = driver.page_source

        bs_html = BeautifulSoup(html, "lxml")

        for roots in bs_html.find_all(name="div", attrs={"class":"Nnq7C weEfm"}):

            for link in roots.select("a"):

                real = link.attrs["href"]

                if real not in reallink:

                    reallink.append(real)

        print("appendend data: ", len(reallink))

        

        #Scroll down   

        lastCount = lenOfPage

        print(f"scrolling down {i}")

        i += 1

        time.sleep(pause_time)

        lenOfPage = driver.execute_script("window.scrollTo(0, document.body.scrollHeight);var lenOfPage=document.body.scrollHeight;return lenOfPage;")

        if lastCount==lenOfPage:

            match=True

Answer 1

尝试社交滚动Instagram扩展（我知道它真的很基本，但它对我有用）。正如Alvaro Bataller所说，如果你写了一些脚本来向下滚动，那么在滚动几个帖子instagram系统之后，系统会在一段时间内原子地阻止你，认为你可以成为一个机器人。但是这个扩展有一个内置的冷却系统，它会暂停滚动，这样insta系统就不会把你误认为是一个机器人。而且它可以很容易地到达终点站，而不会被insta阻止时间。

Answer 2

使用Javascript，我能够向下滚动3176张图像，可以追溯到2年零4个月。我总共找到了3166张图片。之后，它显示“无法加载”。我再次尝试重复这个实验，现在似乎它不会让我向下滚动太多。我的猜测是，Instagram对你可以抓取多少有某种限制，这样人们就不会滥用他们的服务器。