摘要：
一：hive概述 Apache Hive™数据仓库软件有助于使用SQL读取，编写和管理驻留在分布式存储中的大型数据集。 可以将结构投影到已存储的数据中。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。 数据计算：mapreduce分布式计算>难度大 hive>SQL语句 mysql 简 阅读全文
posted @ 2019-05-20 15:21
大魔王阿黎
阅读(193)
评论(0)
推荐(0)
摘要：
centOS安装MySQL 安装包地址： 链接：https://pan.baidu.com/s/1hnKnadoPUOex1-uJUR3Yug 提取码：0rxm 1：解压MySQL安装包 2：安装MySQL（直接粘贴这些命令就行了。So easy） yum remove mysql-libs rpm 阅读全文
posted @ 2019-05-18 18:34
大魔王阿黎
阅读(149)
评论(0)
推荐(0)
摘要：
需求？ 某分布式系统当中，主节点有多台，可以进行动态上下线，当有任何一台机器发生了动态的上下线 任何一台客户端都能感知得到。 思路？ （1）创建客户端与服务端 （2）启动client端 监听 （3）启动server端 注册 （4）当server端 发生上下线 （5）client端都能感知的到 代码编 阅读全文
posted @ 2019-05-17 23:26
大魔王阿黎
阅读(233)
评论(0)
推荐(0)
摘要：
九：客服端的命令行操作 （1）启动客户端 zkCli.sh （1）查看帮助 help （3）查看当前znode所包含的内容 ls / （4）创建节点 create /hunterhenshuai 18 （5）创建短暂znode create -e /itstar hunter （6）创建带序号zno 阅读全文
posted @ 2019-05-17 17:15
大魔王阿黎
阅读(138)
评论(0)
推荐(0)
摘要：
zookeeper 一：Zookeeper（动物管理员）简介 整个大数据生态圈就是一个动物园。Hadoop就是小象，hive就是一个小蜜蜂，hbase图标就是一个鲸鱼。等等都是用动物来作为图标，zookeeper的图标就是一个管理员。所以顾名思义，zookeeper就是管理他们的嘛！嘻嘻嘻嘻 Apa 阅读全文
posted @ 2019-05-17 17:05
大魔王阿黎
阅读(1383)
评论(0)
推荐(0)
摘要：
hadoop优化 1）mr程序的效率瓶颈 功能：分布式离线计算 ->计算机性能 CPU、内存、磁盘、网络 ->I/O操作优化 （1）数据倾斜（代码优化） （2）map和reduce数设置不合理 （3）map运行时间太长，导致reduce等待过久 （4）小文件过多（combineTextInputFo 阅读全文
posted @ 2019-05-15 12:24
大魔王阿黎
阅读(173)
评论(0)
推荐(0)
摘要：
三：压缩与解压 1：Hadoop数据压缩 MR操作过程中进行大量数据传输。 压缩技术能够有效的减少底层存储（HDFS）读写字节数。 压缩提高了网络带宽和磁盘空间的效率。 数据压缩能够邮箱的节省资源！ 压缩是mr程序的优化策略！ 通过压缩编码对mapper或者reducer数据传输进行数据的压缩，以减 阅读全文
posted @ 2019-05-14 23:15
大魔王阿黎
阅读(248)
评论(0)
推荐(0)
摘要：
一：mapjoin（Map端的Join操作）： 任务？将商品表和订单表进行关联起来（相当于MySQL中的等值连接） 提示：这里其实是对2个表进行操作。我们这里其实运用到了分布式缓存，将商品表进行了缓存 数据预览： Step1：在Order表中对应的01 Id和 商品的01 id和商品名表关联起来， 阅读全文
posted @ 2019-05-14 09:13
大魔王阿黎
阅读(224)
评论(0)
推荐(0)
摘要：
1：根据数据类型，后推前，还帮你命名！！！ 快捷键组合：Ctrl+1（数字键1） 然后回车，自动就出现了String类型，变量名string（用我的颜值发誓不是我自己敲的前面这断代码，而是编译器自动生成的）： 阅读全文
posted @ 2019-05-12 01:01
大魔王阿黎
阅读(113)
评论(0)
推荐(0)
摘要：
二：自定义输出 自定义输出 需求:过滤日志文件 把包含itstaredu的放在一个文件中 d:/itstaredu.log 把不包含itstaredu的放在另外一个文件 d:/other.log 1：自定义编写FileOutputFormate 2 : 自定义编写FileRecordWriter类 阅读全文
posted @ 2019-05-12 00:47
大魔王阿黎
阅读(244)
评论(0)
推荐(0)
浙公网安备 33010602011771号