Python3 | 解决UnicodeEncodeError: 'gbk' codec can't encode character .......

  • 内容
  • 相关

从网上抓了一些字节流,想打印出来结果发生了一下错误:

UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 8530: illegal multibyte sequence

的代码如下:

# coding=utf-8
import urllib.request 
with urllib.request.urlopen("http://www.baidu.com/") as response:
    data = response.read()
    html = data.decode()
    print(html)

错误信息让人很困惑,为什么用的是’utf-8’解码,错误信息却提示’gbk’错误呢?

不仅如此,从百度首页的html中发现以下代码:

<meta http-equiv="content-type" content="text/html;charset=utf-8">

这说明网页的确用的是utf-8,为什么会出现Error呢?

python3里,有几点关于编码的常识

1.字符就是unicode字符,字符串就是unicode字符数组

如果用以下代码测试,

print('a'=='\u0061')

会发现结果为True,足以说明两者的等价关系。

2.strbytesencodebytesstrdecode,如上面的代码就是将抓到的字节流给decodeunicode数组

我根据上面的错误信息分析了字节流中出现\xbb的地方,发现有个\xc2\xbb的特殊字符»,我怀疑是它无法被解码。

用以下代码测试后

print(b'\xc2\xbb'.decode('utf-8'))

它果然报错了:UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xbb’ in position 0: illegal multibyte sequence

上网找了下utf-8编码表,发现的确特殊字符»utf-8形式就是c2bb,unicode’\u00bb’,为什么无法解码呢?

仔细看看错误信息,它提示’gbk’无法encode,但是我的代码是utf-8无法decode,压根牛头不对马嘴,终于让我怀疑是print函数出错了!!!于是立即有了以下的测试

print('\u00bb')

结果报错了:UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xbb’ in position 0: illegal multibyte sequence

原来是print()函数自身有限制,不能完全打印所有的unicode字符。

知道原因后,google了一下解决方法,其实print()函数的局限就是Python默认编码的局限,因为系统是win7的,python的默认编码不是’utf-8’,改一下python的默认编码成’utf-8’下:

import io 
import sys 
import urllib.request 
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8') #改变标准输出的默认编码 
with urllib.request.urlopen("http://www.baidu.com/") as response:
    data = response.read()
    html = data.decode()
    print(html)

不报错了,但是居然有好多乱码(英文显示正常,中文则显示乱码)!!此时我换成“gb18030”,就能正常显示了:

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')
         # 改变标准输出的默认编码

最后,附上一些常用的和中文有关的编码的名称,分别赋值给encoding,就可以看到不同的效果了:

 您阅读这篇文章共花了:

上一篇:Python | 安装3.7后没有pip?

下一篇:PHP | notepad++快速利用网页打开PHP网页

本文标签:    

版权声明:本文依据CC-BY-NC-SA 3.0协议发布,若无特殊注明,本文皆为《fishyoung》原创,转载请保留文章出处。

本文链接:Python3 | 解决UnicodeEncodeError: 'gbk' codec can't encode character ....... - http://www.fishyoung.com/post-264.html

发表评论

用QQ号可快速填写资料,资料不会被公开。 必填项已用 * 标注

评论时请勿使用恶意语言,如恶意使用将禁封IP段,请知晓~