文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > utf8中文编码范围
侵权投诉

utf8中文编码范围

utf8中文编码范围

utf8中文编码范围

UTF-8有点类似于Haffman编码,它将Unicode编码为:

00000000-0000007F的字符,用单个字节来表示;

00000080-000007FF的字符用两个字节表示 (中文的编码范围)

00000800-0000FFFF的字符用3字节表示

编码转换:iconv -f “文件目前编码” -t “文件转换后的编码” -o “转换后生成的新文件名” “源文件名”temp = Iconv.conv("UTF-8","gb2312",a)

因为目前为止Unicode-16规范没有指定FFFF以上的字符,所以UTF-8最多是使用3个字节来表示一个字符。但理论上来说,UTF-8最多需要用6字节表示一个字符。

在UTF-8里,英文字符仍然跟ASCII编码一样,因此原先的函数库可以继续使用。而中文的编码范围是在0080-07FF之间,因此是2个字节表示(但这两个字节和GB编码的两个字节是不同的)。

0、big endian和little endian

big endian和little

endian是CPU处理多字节数的不同方式。例如“汉”字的Unicode编码是6C49。那么写到文件里时,究竟是将6C写在前面,还是将49写在前面?如果将6C写在前面,就是big endian。还是将49写在前面,就是little endian。

“endian”这个词出自《格列佛游记》。小人国的内战就源于吃鸡蛋时是究竟从大头

(Big-Endian)敲开还是从小头(Little-Endian)敲开,由此曾发生过六次叛乱,其中一个皇帝送了命,另一个丢了王位。

我们一般将endian翻译成“字节序”,将big endian和little

endian称作“大尾”和“小尾”。

4、UTF编码

UTF-8就是以8位为单元对UCS进行编码。从UCS-2到UTF-8的编码方式如下:

UCS-2编码(16进制) UTF-8 字节流(二进制)

0000 - 007F 0xxxxxxx

0080 - 07FF 110xxxxx 10xxxxxx

0800 - FFFF 1110xxxx 10xxxxxx 10xxxxxx

例如“汉”字的Unicode编码是6C49。6C49在0800-FFFF之间,所以肯定要用3字节模板了:1110xxxx

10xxxxxx 10xxxxxx。将6C49写成二进制是:0110 110001 001001,

用这个比特流依次代替模板中的x,得到:11100110 10110001 10001001,即E6 B1 89。

读者可以用记事本测试一下我们的编码是否正确。

第1页

你可能喜欢

热门文档

相关文档

  • utf8汉字编码对照表

    utf8汉字编码对照表_信息与通信_工程科技_专业资料。utf8汉字编码对照表史上最全UTF8编码表大全 Code code# Code (coded in UTF-8) D2BB 4E00 E4 B8 80 ...

  • utf8汉字编码16进制对照

    utf8汉字编码16进制对照_生活休闲 暂无评价0人阅读0次下载举报文档 utf8汉字编码16进制对照_生活休闲。utf8汉字编码16进制对照...

  • 各种编码定义(Unicode、UTF-8、UTF-32)

    各种编码定义(Unicode、UTF-8、UTF-32)_电脑基础...文字如中文, 日文和韩文 (CJK), 而 Unicode 2.0...0xFD 的范围里, 并指出这 个字符包含多少个字节. ...

  • 关于GBK、GB2312、UTF8

    为表达更多的文字,utf-8采用2/3混编的方式。目前容纳的汉字范围小于gbk编码。并且以 3字节的方式处理中文,带来了兼容性的问题,原有的gbk,G B2312,gb18030编码...

  • php中gbk和utf8编码处理

    GBK (GB2312/GB18030) x00-xff GBK 双字节编码范围 x20-x7f ASCII xa1-xff 中文 x80-xff 中文 2. UTF-8 (Unicode) u4e00-u9fa5 (中文) x3130-x318F...

  • MYSQL使用UTF8中文乱码终极解决办法

    (0.00 sec) 2、 MYSQL数据库的编码格式为utf8_general_ci ,表格式也是utf8_general_ci, 中文字段也是用utf8_general_ci 3、网页和PHP程序存为UTF-8格式 4...

  • UTF-8,GBK,GB2312网页编码的区别

    如,如果是UTF8编码,则在外国人的英文IE上也能显示中文,他们无需下载IE的中文...汉字区的内码范围高字节从B0-F7,低字节从A1-FE,占用的码位是72*94=6768。...

  • 字符编码(ucs2,+unicode,+utf8,+gb2312)

    从 U+E000 到 U+F8FF, 已经 BMP 以外的大范围的编码是为私用保留的. UCS...由此可见 UTF8 对英文来说是个非常诱人的方案, 但对中文来说则不太合算, 无...

  • GB2312、GBK与UTF-8的区别

    如,如果是 UTF8编码,则在外国人 的英文 IE 上也能显示中文,他们无需下载 ...GB2312编码大约包含6000多汉字(不包括特殊字符),编码范围为第一位 b0-f7,第...

  • Unicode、UTF-8 和 ISO8859-1到底有什么区别

    Unicode、UTF-8 和 ISO8859-1到底有什么区别_化学_自然科学_专业资料。本文...很明显,iso8859-1 编码表示的字符范围很窄,无法表示中文字符。但是,由于是单...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email