标签：pipeline return string 处理 详解 elasticsearch input

一.  pipeline设计模式简介

pipeline模式又称为流水线模式，pipeline又称为管道，是一种在计算机普遍使用的技术，举个最普遍的例子，如下图所示cpu流水线，一个流水线分为4个部分，每个部分可以独立工作，于是可以处理多个数据流。linux管道也是一个常用的管道技术，其字符处理功能十分强大，在面试过程中长被问到。在分布处理领域，由于管道模式是数据驱动，而目前流行的spark分布式处理平台也是数据驱动的，两者非常合拍，于是在park的新的api里面pipeline模式得到了广泛的应用。还有java web中的struct的filter,netty的pipeline, 无处不见的pipeline模式。
解决的问题： 
有时一些线程的步骤比较冗长，而且由于每个阶段的结果与下阶段的执行有关系，又不能分开
解决思路
可以将任务的处理分解为若干个处理阶段，上一个阶段任务的结果交给下一个阶段来处理，这样每个线程的处理是并行的，可以充分利用资源提高计算效率

二.  相关概念

管道模型包含两个部分： pipeline管道，valve阀门(也称为hander)
pipeline管道，可以比作生产车间生产线，在这里可以认为是容器的逻辑处理总线
valve 阀门，可以比作生产线上的工人，负责完成各自的部分工作。阀门也可以叫做handler处理者

三.  python开发pipeline功能

使用python 开发pipeline功能，用fastcore模块

学习连接：http://www.coolpython.net/informal_essay/21-03/py-pipeline.html
#####################################

from fastcore.transform import Pipeline

def lower(string_input):
    """
    大写转小写
    :param string_input:
    :return:
    """
    return string_input.lower()

def remove_(string_input):
    """
    去除空格
    :param string_input:
    :return:
    """
    return string_input.replace("-", " ")


def strip(string_input):
    """
    去除回车字符
    :param string_input:
    :return:
    """
    return string_input.strip("\n")

input_string = "IT-is-a-test\n"
pipe = Pipeline([lower, remove_, strip])
output = pipe(input_string)
print(output)

四.  jenkins中的pipeline

jenkins中的pipeline使用groovy语言来开发
groovy教程：https://www.w3cschool.cn/groovy/groovy_basic_syntax.html

五.  elasticsearch中的pipeline

elasticsearch是java语言开发的，elasticsearch的pipeline的使用实际上是调用elasticsearch的接口，pipeline功能也是java开发的


elasticsearch的各种processor的用法
https://www.elastic.co/guide/en/elasticsearch/reference/7.5/ingest-processors.html

标签：pipeline,return,string,处理,详解,elasticsearch,input
来源： https://www.cnblogs.com/zhuhaofeng/p/16296791.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。