为什么正确输入代码后运行结果是空白呢？
来源：3-5 获取维基百科词条信息
慕粉3878587
2016-09-01 10:19
from urllib.request import urlopen
from bs4 import BeautifulSoup as bs
import re
resp = urlopen("https://en.wikipedia.org/wiki/Main_Page").read().decode("utf-8")
soup = bs(resp,"html.parser")
listUrls = soup.findAll("a", herf=re.compile("^/wiki/"))
for url in listUrls:
print(url["herf"])
写回答
关注
4回答
-
- 秋名山车神
- 2016-09-01 13:52:37
最后一行 print(url["herf"])
里面的 herf 改成 href 试试看
-
- 秋名山车神
- 2016-09-03 18:17:46
没有写错的情况下，我还没有遇到过采集空白的问题，如果网站有防爬虫的机制，一般都是采集了一个错误页面，或者是和你使用浏览器看到的样子不一样的HTML代码。
网站是服务器来判断的，而服务器没有多么的聪明，能够区分人和爬虫，再精密的检查，也能够通过程序代码来破解，所以大部分网站防爬虫最简单的手段就是通过验证码和验证问题，就算是百度也是这么做的。
-
- 慕粉3878587
- 2016-09-03 00:43:35
老师，假如程序没写错的情况下采集结果空白，怎么判断网站反爬虫机制起作用了呢？有没有相关的课程学习下？
-
- 慕粉3878587
- 2016-09-03 00:41:16
真是打错了！汗颜，谢谢老师！
python遇见数据采集
本教程让你初步掌握Python进行数据采集，创造属于你的价值
59669 学习 · 200 问题
相似问题