2.9Unicode 文本标准化

2022-02-21 14:00:09 阅读：161 来源： 互联网

标签：normalize 字符 unicodedata Spicy s1 2.9 Unicode print 文本

问题

你正在处理Unicode字符串，需要确保所有字符串在底层有相同的表示。

解决方案

在Unicode中，某些字符能够用多个合法的编码表示。为了说明，考虑下面的这个列子：

s1='Spicy Jalape\u00f1o'
s2='Spicy Jalapen\u0303o'
print(s1) # ->Spicy Jalapeño
print(s2)   # ->Spicy Jalapeño

print(len(s1))  # ->14
print(len(s2))  # ->15
print(s1==s2)   # ->False

这里的文本Spicy Jalapeño使用了两种形式来显示。第一种使用整数字符“ñ”（U+00F1)，第二种使用拉丁文字母“n”后面跟一个“~”的组合字符（U+0303)。

在需要比较字符串的程度中使用字符的多种表示会产生问题。为了修正这个问题，你可以使用unicodedata模块先将文本标准化：

import unicodedata

t1=unicodedata.normalize('NFC',s1)
t2=unicodedata.normalize('NFC',s2)
print(t1==t2) # ->True
print(ascii(t1))  # ->'Spicy Jalape\xf1o'
t3=unicodedata.normalize('NFD',s1)
t4=unicodedata.normalize('NFD',s2)
print(t3==t4)  # ->True

normalize（）第一个参数指定字符串标准化的方式。NFC表示字符应该是整体组成（比如可能的话就使用单一的编码），而NFD表示字符应该分解为多个组合字符表示。

python同样支持扩展的标准化形式NFKC和NFKD，它们在处理某些字符的时候增加看额外的兼容特性。比如：

s='\ufb01'
print(s) #->fi
print(unicodedata.normalize('NFD',s))  # ->ﬁ
print(unicodedata.normalize('NFKD',s))  # ->fi
print(unicodedata.normalize('NFKC',s))  # ->fi

讨论

标准化对于任何需要以一致的方式处理Unicode文本的程序都是非常重要的。当处理来自用户输入的字符串而你很难去控制编码的时候尤其如此。

在清理和过滤文本的时候字符的标准化也是很重要的。比如，假设你想清楚掉一些文本上面的变音符的时候（可能是为了搜索和匹配）：

t1=unicodedata.normalize('NFD',s1)
print(''.join(c for c in t1 if not unicodedata.combining(c)))  # ->Spicy Jalapeno

最后一个例子展示了unicodedata模块的另一个重要方面，也就是测试字符类的工具函数。combining（）函数可以测试一个字符是否为和音字符。在这个模块中还有其他函数用于查找字符类别。测试是否为数字字符等等。

标签：normalize,字符,unicodedata,Spicy,s1,2.9,Unicode,print,文本
来源： https://www.cnblogs.com/ye-peng/p/15918548.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

2.9Unicode 文本标准化