标签：f1 f2 aaa 自定义 df UDF ws spark sqarkSQL
sqarkSQL中的UDF用户自定义函数理解及应用
sqarksql不是万能的有一些功能无法实现所以我们需要自定义函数
例如 sqarksql中的 concat_ws(",",“A”,“B”)=>将两个字段合并成一个字段中间用,隔开
输入一行返回一行的就叫做udf
输入一行返回多行的就叫做udtf
输入多行返回一行的就叫做udaf
例如需求:
你输入一个id让他给你返回一个省市区,
在sql中是无法实现的,我们可以将他封装成为一个函数,我们以后再调的时候我可以调自己封装好的函数就可以了
代码实现:
创建一个spark环境
val spark: SparkSession = SparkSession.builder().master("local[*]")
.appName(this.getClass.getSimpleName)
.getOrCreate()
import spark.implicits._
创建一个list集合:
val tp: Dataset[(String, String)] = spark.createDataset(List(("aaa","bbb"),("aaa","ccc"),("aaa","ddd")))
val df: DataFrame = tp.toDF("f1","f2").show()
表格实现:
+---+---+
| f1| f2|
+---+---+
|aaa|bbb|
|aaa|ccc|
|aaa|ddd|
+---+---+
方式一:DSL风格创建一个df.selectExpr(“表达式”)
df.selectExpr("concat_ws('---',f1,f2) as f3").show()
代码实现:
+---------+
| f3|
+---------+
|aaa---bbb|
|aaa---ccc|
|aaa---ddd|
+---------+
方式二:你如果想用df.select(concat_ws())你就必须导入spark中的sql函数
import org.apache.spark.sql.functions._
df.select(concat_ws("|||",$"f1",'f2)as "f3")
代码实现:
+---------+
| f3|
+---------+
|aaa|||bbb|
|aaa|||ccc|
|aaa|||ddd|
+---------+
方式三:注册成视图写sql语句
df.createTempView("data")
spark.sql(
"""
|
|select
|concat_ws("_",f1,f2)as da
|from
|data
|
""".stripMargin).show()
代码实现:
+---------+
| da|
+---------+
|aaa///bbb|
|aaa///ccc|
|aaa///ddd|
+---------+
方式四:利用DUF的方法自定义函数
首先先注册一个udf传入三个参数1.函数名字,2.需要传入的可变参数们
spark.udf.register("Myconcat_ws",(s:String,a:String,b:String)=>{
a+s+b+a+b+s
})
df.selectExpr("Myconcat_ws('/-/-/-/',f1,f2) as f3").show()
代码实现:
+--------------------------+
|f3 |
+--------------------------+
|aaa/-/-/-/bbbaaabbb/-/-/-/|
|aaa/-/-/-/cccaaaccc/-/-/-/|
|aaa/-/-/-/dddaaaddd/-/-/-/|
+--------------------------+
spark.stop()
}
}
北京小峻
发布了48 篇原创文章 · 获赞 11 · 访问量 1486
私信
关注
标签：f1,f2,aaa,自定义,df,UDF,ws,spark,sqarkSQL 来源： https://blog.csdn.net/weixin_45896475/article/details/104428804
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。