摘要: 一:hive概述 Apache Hive™数据仓库软件有助于使用SQL读取,编写和管理驻留在分布式存储中的大型数据集。 可以将结构投影到已存储的数据中。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。 数据计算:mapreduce分布式计算­>难度大 hive­>SQL语句 mysql 简 阅读全文
posted @ 2019-05-20 15:21 大魔王阿黎 阅读(193) 评论(0) 推荐(0)
摘要: centOS安装MySQL 安装包地址: 链接:https://pan.baidu.com/s/1hnKnadoPUOex1-uJUR3Yug 提取码:0rxm 1:解压MySQL安装包 2:安装MySQL(直接粘贴这些命令就行了。So easy) yum remove mysql-libs rpm 阅读全文
posted @ 2019-05-18 18:34 大魔王阿黎 阅读(149) 评论(0) 推荐(0)
摘要: 需求? 某分布式系统当中,主节点有多台,可以进行动态上下线,当有任何一台机器发生了动态的上下线 任何一台客户端都能感知得到。 思路? (1)创建客户端与服务端 (2)启动client端 监听 (3)启动server端 注册 (4)当server端 发生上下线 (5)client端都能感知的到 代码编 阅读全文
posted @ 2019-05-17 23:26 大魔王阿黎 阅读(233) 评论(0) 推荐(0)
摘要: 九:客服端的命令行操作 (1)启动客户端 zkCli.sh (1)查看帮助 help (3)查看当前znode所包含的内容 ls / (4)创建节点 create /hunterhenshuai 18 (5)创建短暂znode create -e /itstar hunter (6)创建带序号zno 阅读全文
posted @ 2019-05-17 17:15 大魔王阿黎 阅读(138) 评论(0) 推荐(0)
摘要: zookeeper 一:Zookeeper(动物管理员)简介 整个大数据生态圈就是一个动物园。Hadoop就是小象,hive就是一个小蜜蜂,hbase图标就是一个鲸鱼。等等都是用动物来作为图标,zookeeper的图标就是一个管理员。所以顾名思义,zookeeper就是管理他们的嘛!嘻嘻嘻嘻 Apa 阅读全文
posted @ 2019-05-17 17:05 大魔王阿黎 阅读(1383) 评论(0) 推荐(0)
摘要: hadoop优化 1)mr程序的效率瓶颈 功能:分布式离线计算 ->计算机性能 CPU、内存、磁盘、网络 ->I/O操作优化 (1)数据倾斜(代码优化) (2)map和reduce数设置不合理 (3)map运行时间太长,导致reduce等待过久 (4)小文件过多(combineTextInputFo 阅读全文
posted @ 2019-05-15 12:24 大魔王阿黎 阅读(173) 评论(0) 推荐(0)
摘要: 三:压缩与解压 1:Hadoop数据压缩 MR操作过程中进行大量数据传输。 压缩技术能够有效的减少底层存储(HDFS)读写字节数。 压缩提高了网络带宽和磁盘空间的效率。 数据压缩能够邮箱的节省资源! 压缩是mr程序的优化策略! 通过压缩编码对mapper或者reducer数据传输进行数据的压缩,以减 阅读全文
posted @ 2019-05-14 23:15 大魔王阿黎 阅读(248) 评论(0) 推荐(0)
摘要: 一:mapjoin(Map端的Join操作): 任务?将商品表和订单表进行关联起来(相当于MySQL中的等值连接) 提示:这里其实是对2个表进行操作。我们这里其实运用到了分布式缓存,将商品表进行了缓存 数据预览: Step1:在Order表中对应的01 Id和 商品的01 id和商品名表关联起来, 阅读全文
posted @ 2019-05-14 09:13 大魔王阿黎 阅读(224) 评论(0) 推荐(0)
摘要: 1:根据数据类型,后推前,还帮你命名!!! 快捷键组合:Ctrl+1(数字键1) 然后回车,自动就出现了String类型,变量名string(用我的颜值发誓不是我自己敲的前面这断代码,而是编译器自动生成的): 阅读全文
posted @ 2019-05-12 01:01 大魔王阿黎 阅读(113) 评论(0) 推荐(0)
摘要: 二:自定义输出 自定义输出 需求:过滤日志文件 把包含itstaredu的放在一个文件中 d:/itstaredu.log 把不包含itstaredu的放在另外一个文件 d:/other.log 1:自定义编写FileOutputFormate 2 : 自定义编写FileRecordWriter类 阅读全文
posted @ 2019-05-12 00:47 大魔王阿黎 阅读(244) 评论(0) 推荐(0)