Python处理中文编码和判断编码

在开发自用爬虫过程中，有的网页是utf-8，有的是gb2312,有的是gbk，如果不加处理，采集到的都是乱码，解决的方法是将html处理成统一的utf-8编码

针对python2.7。

代码如下:

html = html_1
else :
html = html_1.decode('gbk','ignore').encode('utf-8')
#有以上处理，整个html就不会是乱码。