utf8中文编码范围
utf8中文编码范围
UTF-8有点类似于Haffman编码,它将Unicode编码为:
00000000-0000007F的字符,用单个字节来表示;
00000080-000007FF的字符用两个字节表示 (中文的编码范围)
00000800-0000FFFF的字符用3字节表示
编码转换:iconv -f “文件目前编码” -t “文件转换后的编码” -o “转换后生成的新文件名” “源文件名”temp = Iconv.conv("UTF-8","gb2312",a)
因为目前为止Unicode-16规范没有指定FFFF以上的字符,所以UTF-8最多是使用3个字节来表示一个字符。但理论上来说,UTF-8最多需要用6字节表示一个字符。
在UTF-8里,英文字符仍然跟ASCII编码一样,因此原先的函数库可以继续使用。而中文的编码范围是在0080-07FF之间,因此是2个字节表示(但这两个字节和GB编码的两个字节是不同的)。
0、big endian和little endian
big endian和little
endian是CPU处理多字节数的不同方式。例如“汉”字的Unicode编码是6C49。那么写到文件里时,究竟是将6C写在前面,还是将49写在前面?如果将6C写在前面,就是big endian。还是将49写在前面,就是little endian。
“endian”这个词出自《格列佛游记》。小人国的内战就源于吃鸡蛋时是究竟从大头
(Big-Endian)敲开还是从小头(Little-Endian)敲开,由此曾发生过六次叛乱,其中一个皇帝送了命,另一个丢了王位。
我们一般将endian翻译成“字节序”,将big endian和little
endian称作“大尾”和“小尾”。
4、UTF编码
UTF-8就是以8位为单元对UCS进行编码。从UCS-2到UTF-8的编码方式如下:
UCS-2编码(16进制) UTF-8 字节流(二进制)
0000 - 007F 0xxxxxxx
0080 - 07FF 110xxxxx 10xxxxxx
0800 - FFFF 1110xxxx 10xxxxxx 10xxxxxx
例如“汉”字的Unicode编码是6C49。6C49在0800-FFFF之间,所以肯定要用3字节模板了:1110xxxx
10xxxxxx 10xxxxxx。将6C49写成二进制是:0110 110001 001001,
用这个比特流依次代替模板中的x,得到:11100110 10110001 10001001,即E6 B1 89。
读者可以用记事本测试一下我们的编码是否正确。
utf8汉字编码对照表_信息与通信_工程科技_专业资料。utf8汉字编码对照表史上最全UTF8编码表大全 Code code# Code (coded in UTF-8) D2BB 4E00 E4 B8 80 ...
utf8汉字编码16进制对照_生活休闲 暂无评价0人阅读0次下载举报文档 utf8汉字编码16进制对照_生活休闲。utf8汉字编码16进制对照...
各种编码定义(Unicode、UTF-8、UTF-32)_电脑基础...文字如中文, 日文和韩文 (CJK), 而 Unicode 2.0...0xFD 的范围里, 并指出这 个字符包含多少个字节. ...
为表达更多的文字,utf-8采用2/3混编的方式。目前容纳的汉字范围小于gbk编码。并且以 3字节的方式处理中文,带来了兼容性的问题,原有的gbk,G B2312,gb18030编码...
GBK (GB2312/GB18030) x00-xff GBK 双字节编码范围 x20-x7f ASCII xa1-xff 中文 x80-xff 中文 2. UTF-8 (Unicode) u4e00-u9fa5 (中文) x3130-x318F...
(0.00 sec) 2、 MYSQL数据库的编码格式为utf8_general_ci ,表格式也是utf8_general_ci, 中文字段也是用utf8_general_ci 3、网页和PHP程序存为UTF-8格式 4...
如,如果是UTF8编码,则在外国人的英文IE上也能显示中文,他们无需下载IE的中文...汉字区的内码范围高字节从B0-F7,低字节从A1-FE,占用的码位是72*94=6768。...
从 U+E000 到 U+F8FF, 已经 BMP 以外的大范围的编码是为私用保留的. UCS...由此可见 UTF8 对英文来说是个非常诱人的方案, 但对中文来说则不太合算, 无...
如,如果是 UTF8编码,则在外国人 的英文 IE 上也能显示中文,他们无需下载 ...GB2312编码大约包含6000多汉字(不包括特殊字符),编码范围为第一位 b0-f7,第...
Unicode、UTF-8 和 ISO8859-1到底有什么区别_化学_自然科学_专业资料。本文...很明显,iso8859-1 编码表示的字符范围很窄,无法表示中文字符。但是,由于是单...
热门文档