空间  购物  百科  知道  词典  美女  繁体  小说

上一篇《Web Service随笔1》

字体: 小|中|大

　　一）需求
　　很多情况下我们需要知道字节流的编码，比如
　　1) 使用编辑器打开文本文件的时候，编辑器需要识别文本文件的各种编码
　　2) 上传文件后，分析上传文件字节流需要知道它的编码
　　二）探讨
　　不过C#目前还没有现成的函数能够获取，经过和同事的探讨，发现UTF8文件都有一个3字节的头，为“EF BB BF”(称为BOM--Byte Order Mark)，判断这个头信息不就可以解决了吗？代码如下：
　　//判断上传的文件的编码是否是UTF8，buff为上传文件的字节流
　　 enc = Encoding.UTF8;
　　 testencbuff = enc.GetPreamble();
　　 if(fileLength>testencbuff.Length && testencbuff[0] == buff[0] && testencbuff[1]==buff[1] && testencbuff[2]==buff[2])
　　 {
　　 // 是 UTF8编码
　　 string buffString = enc.GetString(buff);
　　 }
　　不过后来发现，不是所有的UTF8编码的文件都有BOM信息，那如何解决呢？
　　三）最终的方案
　　没有BOM信息只有通过逐个字节比较的方式才能解决。幸好已经有人解决这个问题了。推荐大家看：
　　http://dev.csdn.net/Develop/article/10/10961.shtm
　　http://dev.csdn.net/Develop/article/10/10962.shtm
　　这里判断所有的编码，基本上都是通过字节比较的方式。java代码很容易移植到.NET上，下面是UTF8判断部分的C#代码：
　　 int utf8_probability(byte[] rawtext)
　　 {
　　 int score = 0;
　　 int i, rawtextlen = 0;
　　 int goodbytes = 0, asciibytes = 0;
　　 // Maybe also use UTF8 Byte Order Mark: EF BB BF
　　 // Check to see if characters fit into acceptable ranges
　　 rawtextlen = rawtext.Length;
　　 for (i = 0; i < rawtextlen; i++)
　　 {
　　 if ((rawtext[i] & (byte)0x7F) == rawtext[i])
　　 { // One byte
　　 asciibytes++;
　　 // Ignore ASCII, can throw off count
　　 }
　　 else
　　 {
　　 int m_rawInt0 = Convert.ToInt16(rawtext[i]);
　　 int m_rawInt1 = Convert.ToInt16(rawtext[i+1]);
　　 int m_rawInt2 = Convert.ToInt16(rawtext[i+2]);
　　 if (256-64 <= m_rawInt0 && m_rawInt0 <= 256-33 && // Two bytes
　　 i+1 < rawtextlen &&
　　 256-128 <= m_rawInt1 && m_rawInt1 <= 256-65)
　　 {
　　 goodbytes += 2;
　　 i++;
　　 }
　　 else if (256-32 <= m_rawInt0 && m_rawInt0 <= 256-17 && // Three bytes
　　 i+2 < rawtextlen &&
　　 256-128 <= m_rawInt1 && m_rawInt1 <= 256-65 &&
　　 256-128 <= m_rawInt2 && m_rawInt2 <= 256-65)
　　 {
　　 goodbytes += 3;
　　 i+=2;
　　 }
　　 }
　　 }
　　 if (asciibytes == rawtextlen) { return 0; }
　　 score = (int)(100 * ((float)goodbytes/(float)(rawtextlen-asciibytes)));
　　 // If not above 98, reduce to zero to prevent coincidental matches
　　 // Allows for some (few) bad formed sequences
　　 if (score > 98)
　　 {
　　 return score;
　　 }
　　 else if (score > 95 && goodbytes > 30)
　　 {
　　 return score;
　　 }
　　 else
　　 {
　　 return 0;
　　 }
　　 }
　　参考资料：
　　字符检测程序（上） 检测GB2312、BIG5...
　　http://dev.csdn.net/Develop/article/10/article/10/10961.shtm
　　Hello Unicode ——JAVA的中文处理学习笔记
　　http://www.chedong.com/tech/hello_unicode.html(王朝网络 wangchao.net.cn)

 

标签: 原来  复杂  字节  编码  获取  这么  

一）需求 很多情况下我们需要知道字节流的编码，比如 1) 使用编辑器打开文本文件的时候，编辑器需要识别文本文件的各种编码 2) 上传文件后，分析上传文件字节流需要知道它的编码 二）探讨 不过C#目前还没有现成的函数能够获取，经过和同事的探讨，发现UTF8文件都有一个3字节的头，为“EF BB BF”(称为BOM--Byte Order Mark)，判断这个头信息不就可以解决了吗？代码如下： //判断上传的文件的编码是否是UTF8，buff为上传文件的字节流 enc = Encoding.UTF8; testencbuff = enc.GetPreamble(); if(fileLength>testencbuff.Length && testencbuff[0] == buff[0] && testencbuff[1]==buff[1] && testencbuff[2]==buff[2]) { // 是 UTF8编码 string buffString = enc.GetString(buff); } 不过后来发现，不是所有的UTF8编码的文件都有BOM信息，那如何解决呢？ 三）最终的方案 没有BOM信息只有通过逐个字节比较的方式才能解决。幸好已经有人解决这个问题了。推荐大家看： http://dev.csdn.net/Develop/article/10/10961.shtm http://dev.csdn.net/Develop/article/10/10962.shtm 这里判断所有的编码，基本上都是通过字节比较的方式。java代码很容易移植到.NET上，下面是UTF8判断部分的C#代码： int utf8_probability(byte[] rawtext) { int score = 0; int i, rawtextlen = 0; int goodbytes = 0, asciibytes = 0; // Maybe also use UTF8 Byte Order Mark: EF BB BF // Check to see if characters fit into acceptable ranges rawtextlen = rawtext.Length; for (i = 0; i < rawtextlen; i++) { if ((rawtext[i] & (byte)0x7F) == rawtext[i]) { // One byte asciibytes++; // Ignore ASCII, can throw off count } else { int m_rawInt0 = Convert.ToInt16(rawtext[i]); int m_rawInt1 = Convert.ToInt16(rawtext[i+1]); int m_rawInt2 = Convert.ToInt16(rawtext[i+2]); if (256-64 <= m_rawInt0 && m_rawInt0 <= 256-33 && // Two bytes i+1 < rawtextlen && 256-128 <= m_rawInt1 && m_rawInt1 <= 256-65) { goodbytes += 2; i++; } else if (256-32 <= m_rawInt0 && m_rawInt0 <= 256-17 && // Three bytes i+2 < rawtextlen && 256-128 <= m_rawInt1 && m_rawInt1 <= 256-65 && 256-128 <= m_rawInt2 && m_rawInt2 <= 256-65) { goodbytes += 3; i+=2; } } } if (asciibytes == rawtextlen) { return 0; } score = (int)(100 * ((float)goodbytes/(float)(rawtextlen-asciibytes))); // If not above 98, reduce to zero to prevent coincidental matches // Allows for some (few) bad formed sequences if (score > 98) { return score; } else if (score > 95 && goodbytes > 30) { return score; } else { return 0; } } 参考资料： 字符检测程序（上） 检测GB2312、BIG5... http://dev.csdn.net/Develop/article/10/article/10/10961.shtm Hello Unicode ——JAVA的中文处理学习笔记 http://www.chedong.com/tech/hello_unicode.html

 

声明：王朝网络登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述，文章内容仅供参考。

 

网友评论 查看所有评论

 

 

 

网络 商业价值杂志：HTML5将带来什么
母婴 国内外给宝宝补钙有啥区别
健康 北京海鲜去哪里吃
旅游 欧洲自助游如何办签证
数码 印度暂缓封锁黑莓 紧盯网密服务密钥－安全资讯
游戏 短暂的歇息 多玩编辑部外出旅游三天
学院 摩托罗拉XT701手机使用的感觉
家饰 富安娜指控罗莱流氓链接 后者应诉坚称无辜
家电 中国小家电交易会9天创造逾10亿签单额
女性 “奋斗男”坚守婚姻保卫第一线
汽车 国内SUV销量三甲过人之处解析
珠宝 中国珠宝内销市场一枝独秀
军事 简氏：中国正为泰国研制新型火箭炮及导弹
美女 蓝色湖边的靓丽少女
探索 月球地名首次有了标准中文译名