您现在的位置是:课程
【赵强老师】Hive的自定义函数
2023-06-29 21:13课程 人已围观
Hive中为我们提供了很多的内置函数,但是在实际工作中,有些情况下hive提供的内置函数无法满足我们的需求,就需要我们自己来自定义函数。Hive自定义函数的本质其实就是一个Java类。我们可以在这个Java类中封装自己的业务逻辑,从而简化SQL。
这里我们还是通过一个原创视频来学习一下,如何去开发Hive的自定义函数。具体的步骤是什么?开发完成以后,如何去部署和调用Hive的自定义函数。
创建Hive的UDF的步骤
-
编写java类,继承UDF,注意方法名需要覆盖evaluate方法
-
打成jar包上传到Linux
-
启动hive后进行关联
-
创建函数
create temporary function test as "类的全路径";
as之后是你编写的类的全限定名称 -
删除临时函数 drop temporary function xxx;
UDF分为三种,分别如下:
-
UDF(User-Defined-Function),一进一出(输入一行,输出一行),比如:upper()、lowser()等。
-
UDAF(User-Defined Aggregation Funcation),多进一出(输入多行,输出一行),比如:avg()、sum()等。
-
UDTF(User-Defined Table-Generating Functions),一进多出(输入一行,输出多行),比如:collect_set()、collect_list()等。
上一篇:ETL
下一篇:Python爬虫大数据采集与挖掘