我想在NLTK的CategorizedPlainCorpusReader中阅读孟加拉语文本.对于我在gedit文本编辑器中的孟加拉语文本文件的快照：
崇高文本编辑器中文件的快照：
从快照中您可以看到问题.问题是Unicode组成问题(虚线环已死).这是用于阅读文本的代码段：
>>> path = os.path.expanduser('~/nltk_data/corpora/Bangla')
>>> from nltk.corpus.reader import CategorizedPlaintextCorpusReader
>>> from nltk import RegexpTokenizer
>>> word_tokenize = RegexpTokenizer("[\w']+")
>>> reader = CategorizedPlaintextCorpusReader(path,r'.*\.txt',cat_pattern=r'(.*)_.*',word_tokenizer=word_tokenize)
>>> reader.sents(categories='pos')
输出为：
输出应为“একবার”而不是“একব”“র”.可以做什么？提前致谢.
解决方法:
您需要提供Bengali characters的Unicode范围.
采用
word_tokenize = RegexpTokenizer("[\u0980-\u09FF']+")
撇号可以原样保留在字符类中.
标签：nlp,text-processing,python 来源： https://codeday.me/bug/20191026/1934430.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。