二维码

hive永久注册udf函数小例子 - 数据结构 - 机器学习

1192 人阅读 | 时间:2021年01月15日 01:22


hive永久注册udf函数小例子

2705 人参与  2019年02月01日 09:23  分类 : 大数据精品文章  评论

注册UDF函数

1helloUDF.javapackage信息需要修改,代码如下:

/*package com.maven.udf;*/

package org.apache.hadoop.hive.ql.udf;

import org.apache.hadoop.hive.ql.exec.Description;

import org.apache.hadoop.hive.ql.exec.UDF;

import org.apache.hadoop.io.Text;

/**

 * 一个UDF: helloUDF

 */

public class helloUDF extends UDF {

    public Text evaluate( Text input){

        return new Text("Hello: "+input);

    }

}

2)将helloUDF.java文件上传到编译环境指定目录linux使用scp命令windows使用rz命令

hive永久注册udf函数小例子 - 数据结构 - 机器学习 

cd /home/gaof20/v_11/hive/hive-1.1.0-cdh5.7.0/ql/src/java/org/apache/hadoop/hive/ql/udf

3)修改UDF函数注册文件

hive永久注册udf函数小例子 - 数据结构 - 机器学习 

vim /home/gaof20/v_11/hive/hive-1.1.0-cdh5.7.0/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java

添加两行信息:

hive永久注册udf函数小例子 - 数据结构 - 机器学习 

hive永久注册udf函数小例子 - 数据结构 - 机器学习 

4)重新编译hive并将编译后的.jar拷贝hive服务节点,重启hive

scp /home/gaof20/v_11/hive/BUILD_INDEPENDENT_WORKING_DIR/BUILD/hive-1.1.0-cdh5.7.0/ql/target/hive-exec-1.1.0-cdh5.7.0.jar root@10.110.181.40:/usr/leap/3.4.4.0/hive/usr/lib/hive/lib 

(5)测试永久注册UDF有效性

hive节点上,进入beeline

beeline --silent -u "jdbc:hive2://10.110.181.40:10000" -n hive

hive永久注册udf函数小例子 - 数据结构 - 机器学习 

hive永久注册udf函数小例子 - 数据结构 - 机器学习 

创建一个hive,然后测试UDF函数

create table flow(phoneNum string, upflow int, downflow int) row format delimited fields terminated by '\t';

load data local inpath '/tmp/flow.data' into table flow;

hive永久注册udf函数小例子 - 数据结构 - 机器学习 

hive永久注册udf函数小例子 - 数据结构 - 机器学习 

测试成功。


来源:我是码农,转载请保留出处和链接!


©著作权归作者所有:来自ZhiKuGroup博客作者没文化的原创作品,如需转载,请注明出处,否则将追究法律责任 来源:ZhiKuGroup博客,欢迎分享。

评论专区
  • 昵 称必填
  • 邮 箱选填
  • 网 址选填
◎已有 0 人评论
搜索
作者介绍
30天热门
×
×
本站会员尊享VIP特权,现在就加入我们吧!登录注册×
»
会员登录
新用户注册
×
会员注册
已有账号登录
×