标签：python nltk pos-tagger nltk-trainer

我编写了一个Python代码,用于从NLTK库中训练Brill Tagger大约8000个英语句子并标记大约2000个句子.

Brill Tagger需要花费很多时间来训练,最后当它完成训练时,程序的最后一个语句有一些微小的语法错误,因此代码没有返回输出.

是否可以将标记器保持在训练状态,同时纠正错误并使程序运行而无需等待几个小时才能对标记器进行相同数据的培训？

解决方法:

是!你有几个选择.我经常使用的一件快速而又脏的东西就是掉到控制台.将其添加到脚本的末尾(训练结束后)：

model = train_for_hours_and_hours()

import code
code.interact(local=locals())

这与您运行python3时获得的REPL完全相同,除了所有变量(包括您的训练模型)都可用：

$python3 script.py
[ ... THREE HOURS LATER ... ]
> print(model)
<NLTK.Model ...>

一个更永久的解决方案是序列化您的模型并在培训结束后立即将其保存到文件中.为此,您可以使用pickle：

import pickle
MODEL_FILE = 'model.pickle'

try:
    # Try to load the model from disk
    with open(MODEL_FILE, 'rb') as f:
        model = pickle.load(f)
except FileNotFoundError:
    # Train the model if it doesn't exist yet
    model = train_for_hours_and_hours()
    with open(MODEL_FILE, 'wb') as f:
        pickle.dump(f, model)

# now use `model` here

标签：python,nltk,pos-tagger,nltk-trainer
来源： https://codeday.me/bug/20190828/1748827.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。