抓取网页内容

Question

我正在开发一个项目，为此，我想在后台抓取网站的内容并从抓取的网站中获取一些有限的内容。例如，在我的页面中，我具有“用户名”和“密码”字段，通过使用这些字段，我将访问我的邮件并抓取我的收件箱内容，并将其显示在我的页面中。

我通过单独使用javascript完成了上述操作。但是，当我单击登录按钮时，页面的URL（http：//localhost/web/Login.html）更改为URL（http://mail.in.com/mails/inbox.php?nomail= ....）我被刮了。但是我在不更改URL的情况下取消了细节。

Answer 1

您是否尝试过OutWit Hub？这是一个完整的抓取环境。您可以让它尝试猜测结构或开发自己的刮板。我真的建议您看看。它使我的生活变得简单得多。ZR