摘要：
1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2）避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法）3）创建一个数据库，指定数据库 阅读全文
posted @ 2019-11-27 22:22
大数据-云计算
阅读(132)
评论(0)
推荐(0)
摘要：
类型转化Hive的原子数据类型是可以进行隐式转换的，类似于Java的类型转换，例如某表达式使用INT类型，TINYINT会自动转换为INT类型，但是Hive不会进行反向转化，例如，某表达式使用TINYINT类型，INT不会自动转换为TINYINT类型，它会返回错误，除非使用CAST操作。1．隐式类型 阅读全文
posted @ 2019-11-27 22:21
大数据-云计算
阅读(108)
评论(0)
推荐(0)
摘要：
（新API） package com.hadoop.kafka; import java.util.Properties; import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.produ 阅读全文
posted @ 2019-11-27 19:04
大数据-云计算
阅读(72)
评论(0)
推荐(0)
摘要：
创建生产者（过时的API） package com.hadoop.kafka; import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; impor 阅读全文
posted @ 2019-11-27 19:03
大数据-云计算
阅读(115)
评论(0)
推荐(0)
摘要：
1）在eclipse中创建一个java工程 2）在工程的根目录创建一个lib文件夹 3）解压kafka安装包，将安装包libs目录下的jar包拷贝到工程的lib目录下，并build path。 4）启动zk和kafka集群，在kafka集群中打开一个消费者 [hadoop@masterkafka]$ 阅读全文
posted @ 2019-11-27 19:00
大数据-云计算
阅读(74)
评论(0)
推荐(0)
摘要：
1）基本语法 bin/hadoop fs 具体命令 2）参数大全 bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] G 阅读全文
posted @ 2019-11-27 18:54
大数据-云计算
阅读(171)
评论(0)
推荐(0)
摘要：
HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。如果块设置得足够大，从磁盘传输数据的时间会明显大于定位这个块开始位置 阅读全文
posted @ 2019-11-27 18:53
大数据-云计算
阅读(621)
评论(0)
推荐(0)
摘要：
1> 概念 HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。 2> 组成 1）HDFS集群包括 阅读全文
posted @ 2019-11-27 18:52
大数据-云计算
阅读(296)
评论(0)
推荐(0)
浙公网安备 33010602011771号