python爬虫的问题

Question

import urllib.request
import re

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
url='http://waimai.baidu.com/waimai/shoplist/7ff6ee1800f46e66'
request=urllib.request.Request(url,headers=headers)
response=urllib.request.urlopen(request)
pagecode=response.read().decode('utf-8')
pattern=re.compile('<li class="list-item shopcard data.*?<div class="title" title=(.*?)</div>')
items=re.findall(pattern,pagecode)
for item in items:
    print(item[0])

目的是爬取外卖商家的名称，url在代码里了

不知道为什么爬取不到任何信息求解

Answer 1

有的网站是禁止爬取的。