ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

第八章_函数【UDF 自定义函数】

2022-02-03 11:33:29  阅读:126  来源: 互联网

标签:函数 自定义 示例 hive UDF udf org


1. 自定义函数的类型

名称 特点 示例

UDF (User-Defined-Function)

一进一出

示例 : like、rlike、if、upper

UDAF (User-Defined-Aggregation-Function)

聚合函数,多进一出

示例 : max、min、count、arg

UDTF (User-Defined-Table-Generating-Function)

遍历函数,一进多出

示例 : lateral view explode()

2. 编写UDF函数步骤

  1. 构建maven 项目,导入jar 依赖

<dependencies>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>3.1.2</version>
        </dependency>
</dependencies>

  2. 构建 UDF类

    1. 继承 GenericUDF类

       UDF继承 : org.apache.hadoop.hive.ql.udf.generic.GenericUDF 

       UDAF继承 : org.apache.hadoop.hive.ql.udf.generic.GenericUDAFResolver

                   UDTF继承 : org.apache.hadoop.hive.ql.udf.generic.GenericUDTF

      2. 实现 抽象方法

      1. initialize (初始化方法) :

        1. 对 函数参数的 个数和数据类型 进行校验

        2. 指定 函数的 返回值类型 

      2. evaluate (求值方法) :  逻辑处理方法

      3. getDisplayString :  函数说明方法

  3. 打包

    Maven Projects -> package

  4. 上传jar

    scp hive-udf-1.0-SNAPSHOT.jar root@gaocun:/root

 

标签:函数,自定义,示例,hive,UDF,udf,org
来源: https://www.cnblogs.com/bajiaotai/p/15861277.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有