selenium + phantomjs +python网络抓取问题

在自己做的案例中,我提供了200个网站链接,然后进行网络抓取,每抓取一个网站就保存一个值,但是最后总有一个网站没有存值,我的分析可能是因为这个网站一直处于链接状态,

有没有什么方法可以判断链接网站的时候,如果超过多少秒还处于链接状态则退出并记录?


慕虎7371278
浏览 312回答 2
2回答

开心每一天1111

 from selenium import webdriver   d= webdriver.PhantomJS()   d.set_page_load_timeout(10)   d.set_script_timeout(10) try:       d.get(s)   except:       d.execute_script('window.stop()')
打开App,查看更多内容
随时随地看视频慕课网APP