如何使用 BeautifulSoup 从重定向网站获取 html 内容并提供保护?

我在尝试从网页获取 html 内容时遇到问题。


在本网站:https : //tmofans.com/library/manga/5763/nisekoi 当您在“Capitulo 230.00”中单击播放图标进行考试时,打开下一个链接:https ://tmofans.com/goto/347231重定向你到这个网站:https : //tmofans.com/viewer/5c187dcea0240/paginated


问题是当您直接在此链接上打开时:https : //tmofans.com/goto/347231该页面会显示 403 Forbidden 消息。重定向到最终页面的唯一方法是单击第一页的播放按钮。


我想仅使用 tmofans.com/goto 链接获取最终 url 内容


我尝试使用请求和 BeautifulSoup 获取 html 内容


import requests

from BeautifulSoup import BeautifulSoup


response = requests.get("https://tmofans.com/goto/347231") 

page = str(BeautifulSoup(response.content))


print page

当我使用https://tmofans.com/goto/347231执行此操作时,我只能获得 403 禁止页面的内容。


互换的青春
浏览 200回答 0
0回答
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Go