2019年11月29日
hive数据库hql语句操作-悟空智慧教育
摘要： 显示数据库信息 hive> desc database db_hive; OK db_hive hdfs://master:9000/user/hive/warehouse/db_hive.db hadoopUSER 显示数据库详细信息，extended hive> desc database ex 阅读全文
posted @ 2019-11-29 08:28 大数据-云计算 阅读(255) 评论(0) 推荐(0)
2019年11月27日
创建数据库—悟空智慧教育
摘要： 1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2）避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法）3）创建一个数据库，指定数据库 阅读全文
posted @ 2019-11-27 22:22 大数据-云计算 阅读(130) 评论(0) 推荐(0)
类型转化—悟空智慧教育
摘要： 类型转化Hive的原子数据类型是可以进行隐式转换的，类似于Java的类型转换，例如某表达式使用INT类型，TINYINT会自动转换为INT类型，但是Hive不会进行反向转化，例如，某表达式使用TINYINT类型，INT不会自动转换为TINYINT类型，它会返回错误，除非使用CAST操作。1．隐式类型 阅读全文
posted @ 2019-11-27 22:21 大数据-云计算 阅读(108) 评论(0) 推荐(0)
2019年11月26日
Hive常用交互命令—悟空智慧教育
摘要： 1．“-e”不进入hive的交互窗口执行sql语句$ bin/hive -e "select id from student;"2．“-f”执行脚本中sql语句 （1）在/opt/module/datas目录下创建hivef.sql文件[hadoop@master datas]$ touch hiv 阅读全文
posted @ 2019-11-26 21:35 大数据-云计算 阅读(132) 评论(0) 推荐(0)
Hive启动的三种方式 —悟空智慧教育
摘要： 1. Hive命令行模式 进入Hive安装目录，输入bin/hive的执行程序，或者输入hive –-service cli用于linux平台命令行查询，查询语句基本跟mysql查询语句类似。 2. Hive Web界面的启动方式 bin/hive –-service hwi & （&表示后台运行） 阅读全文
posted @ 2019-11-26 21:33 大数据-云计算 阅读(1481) 评论(0) 推荐(0)
2019年11月22日
Kafka消费过程分析-悟空智慧教育
摘要： kafka提供了两套consumer API：高级Consumer API和低级API。 高级API 1）高级API优点 高级API 写起来简单 不需要去自行去管理offset，系统通过zookeeper自行管理 不需要管理分区，副本等情况，系统自动管理 消费者断线会自动根据上一次记录在zookee 阅读全文
posted @ 2019-11-22 10:49 大数据-云计算 阅读(183) 评论(0) 推荐(0)
broker 保存消息-悟空智慧教育
摘要： 存储方式 物理上把topic分成一个或多个patition（对应 server.properties 中的num.partitions=3配置），每个patition物理上对应一个文件夹（该文件夹存储该patition的所有消息和索引文件），如下： [hadoop@masterlogs]$ ll d 阅读全文
posted @ 2019-11-22 10:47 大数据-云计算 阅读(101) 评论(0) 推荐(0)
执行-悟空智慧教育
摘要： Hive中大多数查询的执行是通过 Hadoop 提供的 MapReduce 来实现的。而数据库通常有自己的执行引擎。 以上文章内容来源于《悟空智慧教育》：www.wukongone.com，《悟空智慧教育》是一家专业的大数据视频教学网，专属定制您的未来。 阅读全文
posted @ 2019-11-22 10:36 大数据-云计算 阅读(130) 评论(0) 推荐(0)
Kafka生产过程分析-悟空智慧教育
摘要： 3.1.1 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。 3.1.2 分区（Partition） 消息发送时都被发送到一个topic，其 阅读全文
posted @ 2019-11-22 10:34 大数据-云计算 阅读(114) 评论(0) 推荐(0)
Kafka命令行操作-悟空智慧教育
摘要： 1）查看当前服务器中的所有topic [hadoop@masterkafka]$ bin/kafka-topics.sh --list --zookeeper master:2181 2）创建topic [hadoop@masterkafka]$ ./kafka-topics.sh --create 阅读全文
posted @ 2019-11-22 10:32 大数据-云计算 阅读(122) 评论(0) 推荐(0)