【赵强老师】在Hive中使用Load语句执行数据的导入

Apache Hive数据仓库软件设施，可以读、写和管理分布式存储上的大数据集(large datasets)，并且可以通过SQL去查询数据集。

 

在Apache Hadoop之上构建的Hive，有如下的特性：

• 提供了通过SQL就可以轻松访问数据的工具集，因此可以实现诸如抽取/转换/装载（ETL）任务、报表任务、数据分析这些数据仓库任务提供了一个机制，可以在各种数据格式上创建结构（为数据赋予表结构）

• 可以直接访问HDFS上的数据文件，或者访问其他存储系统上的文件，比如HBase

• 查询通过Apache Tez或者Apache Spark或者MapReduce引擎执行

• HPL-SQL是一个从Hive2.0.0开始为Hive实现的过程SQL工具)提供了过程语言

• 通过Hive LLAP，Apache YARN和Apache Slider可以实现亚秒级数据查询

Hive提供了标准的SQL功能，Hive的SQL也可以根据用户提供的代码扩展，比如用户定义函数(user-defined-functions,UDFs)，用户定义聚合(user-defined-aggregates,UDAFs)还有用户定义表级函数(user-defined-table-functions,UDTFs)。

 

Hive没有强调数据必须存储成什么格式的。Hive自带了一些连接器，支持逗号(comma separated values,CSV)和制表符(table separated values,TSV)分割的文本文件，还有Apache Parquet，Apache ORC等等格式。

内容版权声明：除非注明，否则皆为本站转载文章。文章及图片版权归原作者所有，如有侵权请联系我们，我们立刻删除。