04 2023 档案

hive RegexSerDe
摘要：CREATE TABLE IF NOT EXISTS tab_name (element element_type,...) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe' WITH SERDEPROPERTIES ("inpu 阅读全文
posted @ 2023-04-07 11:02 lyw2004 阅读(30) 评论(0) 推荐(0)
hive OpenCSVSerde
摘要：OpenCSVSerDe 1.如果数据包含使用双引号 (") 括起的值(如果你的数据不含有“”中的值，那么可以使用row format delimited ,即默认的 LazySimpleSerDe） 2.您的数据具有 UNIX 数字 TIMESTAMP 值 (时间戳) create table t 阅读全文
posted @ 2023-04-07 10:50 lyw2004 阅读(339) 评论(0) 推荐(0)
hive Serde(默认)
摘要：Hive 读文件机制 首先调用InputFormat(默认TextFormat),返回一条一条的键值对记录（默认是一行对一行键值对）。然后用Serde（默认为LazySimpleSerde）的Deserializer,将一条记录的value根据分隔符切分为各个字段。 | HDFS files | I 阅读全文
posted @ 2023-04-06 14:41 lyw2004 阅读(115) 评论(0) 推荐(0)
Hadoop搭建（集群）
摘要：| core-site.xml | | | | | | hadoop.tmp.dir | /opt/hadoop/tmp | | fs.defaultFS | hdfs://master:9000 | | hdfs-site.xml | | | | | | hadoop.namenode.name. 阅读全文
posted @ 2023-04-05 19:53 lyw2004 阅读(12) 评论(0) 推荐(0)