主要是字符集及其相应的编码方式 讲了越南,韩国,日本等国际化
UTF-8:最广泛的使用的UTF方案,UTF-8使用可变长度字节来储存Unicode字符,例如ASCII字母继续使用1字节储存,重音文字、希腊字母或西里尔字母等使用2字节来储存,而常用的汉字就要使用3字节。辅助平面字符则使用4字节。UTF-8更便于在使用Unicode的系统与现存的单字节的系统进行数据传输和交换。与前两个方案不同:UTF-8以字节为编码单元,没有字节序的问题。
UTF有三种方案,那么如何在接收数据和存储数据时识别数据采用的是哪个方案呢?
Unicode(UCS)规范中推荐的标记字节顺序的方法是BOM。BOM不是“Bill Of Material”的BOM表,而是Byte order Mark。
在UCS编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"(零宽度非换行空格)的字符,它的编码是FEFF。而FFFE在UCS中是不存在的字符,所以不会出现在实际传输中。UCS规范建议我们在传输字节流前,先传输字符"ZERO WIDTH NO-BREAK SPACE"。这样如果接收者收到FEFF,就表明这个字节流是Big-Endian的;如果收到FFFE,就表明这个字节流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。
UTF-8不需要BOM来表明字节顺序,但可以用BOM来表明编码方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8编码是EF BB BF。所以如果接收者收到以EF BB BF开头的字节流,就知道这是UTF-8编码了。Windows就是使用BOM来标记文本文件的编码方式的。
这样根据识别前面的"ZERO WIDTH NO-BREAK SPACE"字符即可识别编码方案,字节流中前几个字节所表示的编码方式如下:
EF BB BF UTF-8
FE FF UTF-16/UCS-2, little endian
FF FE UTF-16/UCS-2, big endian
FE FF 00 00 UTF-32/UCS-4, little endian.
00 00 FF FE UTF-32/UCS-4, big-endian.
在微软公司Windows XP操作系统附带的记事本中,“另存为”对话框可以选择的四种编码方式除去非 Unicode 编码的 ANSI 外,其余三种“Unicode” 、“Unicode big endian” 和 “UTF-8” 分别对应UTF-16小端(BOM)、UTF-16大端(BOM)和 UTF-8这三种实现方式。 另外,内码是指操作系统内部的字符编码。早期操作系统的内码是与语言相关的。目前Windows的内核已经支持Unicode字符集,这样在内核上可以支持全世界所有的语言文字。但是由于现有的大量程序和文档都采用了某种特定语言的编码,例如GBK,Windows不可能不支持现有的编码,而全部改用Unicode。于是Windows就使用代码页(code page)来适应各个国家和地区不同的字符集。
字符集和编码方式2009-06-01 10:23 A.M. 搞清常用编码特性是解决字符集编码问题的基础。字符集编码的识别与转换、分析各种乱码产生的原因、编程操作各种编码字符...
常用字符集编码 3页 免费 字符集及其编码方式 10页 2财富值 常用字符集编码详解 4页 1财富值 字符集与编码 3页 2财富值 java字符集编码 2页 1财富值...
中英文以及数字都是以 2 字节的 GBK 编码存在的, 当通过 Javac 进行编译时, 它根据操作系统的字符集设定, 将 2 字节 GBK 编码转化成 utf8 编码形式保存在 ...
字符集及其编码方式 10页 2财富值喜欢此文档的还喜欢 字符集处理 15页 2财富值 各种字符编码介绍 Unicode... 6页 免费 字符编码 32页 免费 字符编码详解 15...
关于字符集与字符编码_IT/计算机_专业资料。关于字符集与字符编码的介绍。...如何让计算机存储一个字符呢,方式是制定一个字符表,将数字与 字符一一对应,在...
ASCII 编码: 将 ASCII 字符集转换为计算机可以接受的数字系统的数的规则。 使用 7 位(bits)表示一个字符,共 128 字符;但是 7 位编码的字符集只能支持 128 个...
UTF是Unicode/UCS Transformation Format (统一字符集/统一字符编码转换格式)的缩 写,UTF就是Unicode的一种字符编码(转换)方法。Unicode组织推荐使用的是UTF-8和 ...
BIG5 字符集&编码 3.伟大的创想 Unicode o 3.1.UCS & UNICODE o 3.2....通俗的说,按照 何种规则将字符存储在计 算机中,如'a'用什么表示,称为"编码...
常用字符集编码的概要特性--推荐_IT/计算机_专业资料。计算机字符集与编码知识...ASCII 编编 ,为 了传 传 中文邮 件必须 使用 BASE64 或者其他编 编 方式...
热门文档