行python爬虫时，MySQL版本是5.7，总是报错

Question

运行python爬虫时，MySQL版本是5.7，总是报错

C:\Python34\lib\site-packages\pymysql\cursors.py:166:
Warning: (1366, "Incorrect string value: '\\xD6\\xD0\\xB9\\xFA\\xB1\\xEA...' 
for column 'VARIABLE_VALUE' at row 480")
result = self._query(query)

数据库格式已经设置为utf8

问题出在什么地方？怎么解决呢？

Answer 1

你爬了gbk编码的内容，应该先判断页面的编码，如果是gbk编码的，就decode('gbk')再encode('utf-8')。>>> print '\xD6\xD0\xB9\xFA\xB1\xEA'.decode('gbk').encode('utf-8') 中国标至于怎么快速准确地判断页面的编码，这是技术活。