手记

python爬虫坑

错误提示如下:

'latin-1' codec can't encode character '\u014d'

问题原因:

爬取到的数据中含有特殊字符,存入数据库时出错。

解决办法:

connection = pymysql.connect(

            host = '1.1.1.1',#主机名

            user = 'xxx',#用户名

            password = 'xxx',#密码

            db = 'test',#数据库

            use_unicode = True,

            charset = 'utf8'#数据库字符集

        )

在使用pymysql连接数据库的过程中,connection配置中需要加入charset=utf8属性,否则爬取到的数据存入数据库时有字符集编码问题。

0人推荐
随时随地看视频
慕课网APP