ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

Python中调用自然语言处理工具HanLP手记--学习笔记手册(3)

2020-11-26 11:35:20  阅读:237  来源: 互联网

标签:.# Python 30 -- 算法 70 print HanLP


HanLP方法封装类:
1. # -*- coding:utf-8 -*-
2. # Filename: main.py
3.
4.from jpype import *
5. 
5.startJVM(getDefaultJVMPath(), "-Djava.class.path=C:\hanlp\hanlp-1.3.2.jar;C:\hanlp", "-Xms1g", "-Xmx1g") # 启动JVM,Linux需替换分号;为冒号:
7.
8.print("="*30+"HanLP分词"+"="*30)
9.HanLP = JClass('com.hankcs.hanlp.HanLP')
10.# 中文分词
11.print(HanLP.segment('你好,欢迎在Python中调用HanLP的API'))
12.print("-"*70)
13. 
14.  print("="*30+"标准分词"+"="*30)
15. StandardTokenizer = JClass('com.hankcs.hanlp.tokenizer.StandardTokenizer')
16. print(StandardTokenizer.segment('你好,欢迎在Python中调用HanLP的API'))
17. print("-"*70)
18. 
19.# NLP分词NLPTokenizer会执行全部命名实体识别和词性标注
20.print("="*30+"NLP分词"+"="*30)
21.NLPTokenizer = JClass('com.hankcs.hanlp.tokenizer.NLPTokenizer')
22.print(NLPTokenizer.segment('***计算技术研究所的宗成庆教授正在教授自然语言处理课程'))
23.print("-"*70)
24.
25.  print("="*30+"索引分词"+"="*30)
26. IndexTokenizer = JClass('com.hankcs.hanlp.tokenizer.IndexTokenizer')
27. termList= IndexTokenizer.segment("主副食品");
28. for term in termList :
29.  print(str(term) + " [" + str(term.offset) + ":" + str(term.offset + len(term.word)) + "]")
30. print("-"*70)
31.
32. 
33.print("="*30+" N-最短路径分词"+"="*30)
34.# CRFSegment = JClass('com.hankcs.hanlp.seg.CRF.CRFSegment')
35.# segment=CRFSegment()
36.# testCase ="今天,刘志军案的关键人物,山西女商人丁书苗在市二中院出庭受审。"
37.# print(segment.seg("你看过穆赫兰道吗"))
38.print("-"*70)
39.
40.
41.print("="*30+" CRF分词"+"="*30)
42.print("-"*70)
43.
44.  print("="*30+" 极速词典分词"+"="*30)
45. SpeedTokenizer = JClass('com.hankcs.hanlp.tokenizer.SpeedTokenizer')
46. print(NLPTokenizer.segment('江西鄱阳湖干枯,中国最大淡水湖变成大草原'))
47. print("-"*70)
48. 
49.print("="*30+" 自定义分词"+"="*30)
50.CustomDictionary = JClass('com.hankcs.hanlp.dictionary.CustomDictionary')
51.CustomDictionary.add('攻城狮')
52.CustomDictionary.add('单身狗')
53.HanLP = JClass('com.hankcs.hanlp.HanLP')
54.print(HanLP.segment('攻城狮逆袭单身狗,迎娶白富美,走上人生巅峰'))
55.print("-"*70)
56. 
57 . print("="*20+"命名实体识别与词性标注"+"="*30)
58.NLPTokenizer = JClass('com.hankcs.hanlp.tokenizer.NLPTokenizer')
59.print(NLPTokenizer.segment('***计算技术研究所的宗成庆教授正在教授自然语言处理课程'))
60.print("-"*70)
61. 
62. 
63.document = "水利部水资源司司长陈明忠9月29日在***新闻办举行的新闻发布会上透露," \
64.           "根据刚刚完成了水资源管理制度的考核,有部分省接近了红线的指标," \
65.           "有部分省超过红线的指标。对一些超过红线的地方,陈明忠表示,对一些取用水项目进行区域的限批," \
66.           "严格地进行水资源论证和取水许可的批准。"
67. print("="*30+"关键词提取"+"="*30)
68. print(HanLP.extractKeyword(document, 8))
69. print("-"*70)
70. 
71. 
72.print("="*30+"自动摘要"+"="*30)
73.print(HanLP.extractSummary(document, 3))
74.print("-"*70)
75. 
76. 
77.# print("="*30+"地名识别"+"="*30)
78.# HanLP = JClass('com.hankcs.hanlp.HanLP')
79.# segment = HanLP.newSegment().enablePlaceRecognize(true)
80.# testCase=["武胜县新学乡政府大楼门前锣鼓喧天",
81.#         "蓝翔给宁夏固原市彭阳县红河镇黑牛沟村捐赠了挖掘机"]
82.# for sentence in testCase :
83.#   print(HanLP.segment(sentence))
84.# print("-"*70)
85. 
86.  # print("="*30+"依存句法分析"+"="*30)
87. # print(HanLP.parseDependency("徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。"))
88. # print("-"*70)
89.
90.
91.
92. 
93.text =r"算法工程师\n 算法(Algorithm)是一系列解决问题的清晰指令,也就是说,能够对一定规范的输入,在有限时间内获得所要求的输出。如果一个算法有缺陷,或不适合于某个问题,执行这个算法将不会解决这个问题。不同的算法可能用不同的时间、空间或效率来完成同样的任务。一个算法的优劣可以用空间复杂度与时间复杂度来衡量。算法工程师就是利用算法处理事物的人。\n \n 1职位简介\n 算法工程师是一个非常高端的职位;\n 专业要求:计算机、电子、通信、数学等相关专业;\n 学历要求:本科及其以上的学历,大多数是硕士学历及其以上;\n 语言要求:英语要求是熟练,基本上能阅读国外专业书刊;\n 必须掌握计算机相关知识,熟练使用仿真工具MATLAB等,必须会一门编程语言。\n\n2研究方向\n 视频算法工程师、图像处理算法工程师、音频算法工程师 通信基带算法工程师\n \n 3目前国内外状况\n 目前国内从事算法研究的工程师不少,但是高级算法工程师却很少,是一个非常紧缺的专业工程师。算法工程师根据研究领域来分主要有音频/视频算法处理、图像技术方面的二维信息算法处理和通信物理层、雷达信号处理、生物医学信号处理等领域的一维信息算法处理。\n 在计算机音视频和图形图像技术等二维信息算法处理方面目前比较先进的视频处理算法:机器视觉成为此类算法研究的核心;另外还有2D转3D算法(2D-to-3D conversion),去隔行算法(de-interlacing),运动估计运动补偿算法(Motion estimation/Motion Compensation),去噪算法(Noise Reduction),缩放算法(scaling),锐化处理算法(Sharpness),超分辨率算法(Super Resolution),手势识别(gesture recognition),人脸识别(face recognition)。\n 在通信物理层等一维信息领域目前常用的算法:无线领域的RRM、RTT,传送领域的调制解调、信道均衡、信号检测、网络优化、信号分解等。\n 另外数据挖掘、互联网搜索算法也成为当今的热门方向。\n"
94.print("="*30+"短语提取"+"="*30)
95. 
96.  print(HanLP.extractPhrase(text, 10))
97. print("-"*70)
98. 
99.shutdownJVM()

HanLP运行结果:

标签:.#,Python,30,--,算法,70,print,HanLP
来源: https://www.cnblogs.com/a1988/p/14041375.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有