为什么Python坚持使用ascii？

Question

使用“请求和精美的汤”解析HTML文件时，以下行在某些网页上引发异常：

if 'var' in str(tag.string):

这里是上下文：

response = requests.get(url)  

soup = bs4.BeautifulSoup(response.text.encode('utf-8'))

for tag in soup.findAll('script'):

    if 'var' in str(tag.string):    # This is the line throwing the exception

        print(tag.string)

这是例外：

UnicodeDecodeError：'ascii'编解码器无法解码位置15的字节0xc3：序数不在范围内（128）

我已经尝试过使用和不使用encode('utf-8')该BeautifulSoup行中的函数，这没有什么区别。我确实注意到，对于那些引发异常的页面Ã，即使response.encoding报告的编码为，但javascript的注释中还是有一个字符ISO-8859-1。我确实意识到我可以使用unicodedata.normalize删除有问题的字符，但是我更愿意将tag变量转换为utf-8并保留字符。以下方法均无法将变量更改为utf-8：

tag.encode('utf-8')

tag.decode('ISO-8859-1').encode('utf-8')

tag.decode(response.encoding).encode('utf-8')

为了将其转换为可用字符串，我必须怎么做utf-8？