『实用』过滤字符串中的幽灵字符

背景:

一段明显的字符串,可能潜伏着看不见 的 幽灵字符。

某些字符 比较常见、常用,比如: \r  \n  \t  

但是,有些 幽灵字符(保守估计 >200~1000个),不仅不常见,而且基本没价值。

这些幽灵字符,潜伏在 正常字符串中,有的伪装成空格符,有的直接隐形。

当你要 处理字符串时,这些幽灵字符 的 恶意可能就开始显现 : 部分字符串函数 会因此引发BUG。

 

PS. 本文看似简单,实际上好像确实很简单 —— 百毒相关知识点,可用信息 并不多。

       幽灵字符 不常见,即便檫肩而过 往往都没啥影响 —— 可一旦幽灵字符作恶起来,似乎都只能用 “诡异” 来形容。

 

举例 1:

如下代码,你看得出BUG么?

//将一个字符串中的 连续空格 替换成 单空格 
//【 隐形的幽灵字符 如果介于两个空格之间,本函数就会发生 死循环。】
//【 即:string.IndexOf() 函数忽略了 隐形幽灵字符, 但 string.Replace() 函数却要求严格。】
public static void FormatString(string sValue) { while (sValue.IndexOf(" ") >= 0) sValue = sValue.Replace(" ", " "); return sValue; }

2012年的一个 BUG,几万个网页HTML 格式化,意外引发BUG,我才第一次见识到 幽灵字符 的厉害。

 

举例 2:

复制如下SQL脚本,到 SQLServer 中执行一下 —— 幽灵字符 显形了。

1    SELECT '4  k×4  k' 

 

如何剔除掉幽灵字符:

正则表达式: \s   (匹配字符串中的 空白字符,包括 空格 \r \n \t ... 也包括 幽灵字符)

 

用正则替换幽灵字符:

 1         private static readonly  Regex m_RegSpace = new Regex(@"\s", RegexOptions.Compiled | RegexOptions.IgnoreCase);
 2         /// <summary>
 3         /// 用正则表达式替换出 不常见、不常用 的幽灵字符
 4         /// </summary>
 5         public static string FormatStringByRegex(string str)
 6         {
 7             return m_RegSpace.Replace(str, m =>
 8             {
 9                 if (m.Value == " " || m.Value == "\r" || m.Value == "\n" || m.Value == "\t") return m.Value;
10                 return " ";
11             });
12         }

 

性能问题:

正则 \s 确实是 万能的。

但在 某些情况下,正则效率 很低 —— 即便我 启用了 编译模式  RegexOptions.Compiled

 

于是,就有了下面的 最终代码,纯原生代码:支持 .Net 2.0 ~ .Net 4.6

经过测试,使用 下面的 替换函数 比 使用正则 替换 效率快 10倍整。 

而且:

正则 \s 无法有效区分:哪些 幽灵字符 是 隐形的,哪些 幽灵字符 是伪装成空格的。

而我们想要的:隐形的幽灵字符 直接剔除,伪装成空格的幽灵字符 用 真正的空格代替。

 

最终代码:

 1         /// <summary>
 2         /// 格式化一段字符串, 将字符串中的 非预期的 幽灵字符 删除.
 3         /// <para>本函数将保留 空白符 \r 回车(CR) \n 换行(LF) \t 水平制表(HT) 这几个常用字符</para>
 4         /// <para>其他未知的 幽灵字符 将直接剔除. 极少使用的 幽灵字符 也会被剔除</para>
 5         /// </summary>
 6         public static string FormatString(string str)
 7         {
 8             return FormatString(str, false);
 9         }
10         /// <summary>
11         /// 格式化一段字符串, 将字符串中的 非预期的 幽灵字符 删除.
12         /// <para>本函数将保留 空白符 \r 回车(CR) \n 换行(LF) \t 水平制表(HT) 这几个常用字符</para>
13         /// <para>preserveRare 参数决定如下字符是否保留(true: 保留, false 剔除, 默认 false剔除): \a 响铃(BEL) \b 退格(BS) \f 换页(FF) \v 垂直制表(VT) \0 空字符(一般C++标识字符串结束) </para>
14         /// <para>其他根本没见过的 幽灵字符 将直接剔除.</para>
15         /// </summary>
16         public static string FormatString(string str, bool preserveRare)
17         {
18             if (string.IsNullOrEmpty(str)) return string.Empty;
19 
20             StringBuilder sb = new StringBuilder();
21             foreach (char c in str)
22             {
23                 if (c == ' ' || c == '\r' || c == '\n' || c == '\t') { sb.Append(c); continue; }
24                 if (c == '\a' || c == '\b' || c == '\f' || c == '\v' || c == '\0') { if (preserveRare) { sb.Append(c); } continue; }  //这段代码感觉有性能问题,但细品之下却发现:毫无破绽
25                 if (!char.IsWhiteSpace(c)) { sb.Append(c); continue; }
26 
27                 //剩下的 幽灵字符 特殊处理:
28                 //经过测试: 0x0 - 0xFFFFFF 的 char 字符中, 幽灵字符 要么是 控制符, 要么是分割符.
29                 //如果是 分隔符, 我们将其替换成空格
30                 //如果是 控制符, 我们将其直接剔除, 
31                 if (char.IsSeparator(c)) { sb.Append(' '); continue; }
32                 //if (char.IsControl(c)) continue; //无意义代码,不需要执行:剩下的字符 通通过滤掉
33             }
34 
35             return sb.ToString();
36         }

 

 

                                                                                                                                                                                      InkFx

                                                                                                                                                                              2017-11-17 23:46

 

posted on 2017-11-17 23:47  InkFx  阅读(3523)  评论(5编辑  收藏  举报