会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
大魔王阿黎
博客园
首页
新随笔
联系
管理
订阅
上一页
1
2
3
4
5
6
7
8
下一页
2019年5月20日
大数据学习之Hive数据仓库 20
摘要: 一:hive概述 Apache Hive™数据仓库软件有助于使用SQL读取,编写和管理驻留在分布式存储中的大型数据集。 可以将结构投影到已存储的数据中。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。 数据计算:mapreduce分布式计算>难度大 hive>SQL语句 mysql 简
阅读全文
posted @ 2019-05-20 15:21 大魔王阿黎
阅读(193)
评论(0)
推荐(0)
2019年5月18日
centOS中安装MySQL超级方便简单的方法
摘要: centOS安装MySQL 安装包地址: 链接:https://pan.baidu.com/s/1hnKnadoPUOex1-uJUR3Yug 提取码:0rxm 1:解压MySQL安装包 2:安装MySQL(直接粘贴这些命令就行了。So easy) yum remove mysql-libs rpm
阅读全文
posted @ 2019-05-18 18:34 大魔王阿黎
阅读(149)
评论(0)
推荐(0)
2019年5月17日
大数据学习之zookeeper案例节点动态上下线感知19
摘要: 需求? 某分布式系统当中,主节点有多台,可以进行动态上下线,当有任何一台机器发生了动态的上下线 任何一台客户端都能感知得到。 思路? (1)创建客户端与服务端 (2)启动client端 监听 (3)启动server端 注册 (4)当server端 发生上下线 (5)client端都能感知的到 代码编
阅读全文
posted @ 2019-05-17 23:26 大魔王阿黎
阅读(233)
评论(0)
推荐(0)
大数据学习之zookeeper客户端的命令行及API操作18
摘要: 九:客服端的命令行操作 (1)启动客户端 zkCli.sh (1)查看帮助 help (3)查看当前znode所包含的内容 ls / (4)创建节点 create /hunterhenshuai 18 (5)创建短暂znode create -e /itstar hunter (6)创建带序号zno
阅读全文
posted @ 2019-05-17 17:15 大魔王阿黎
阅读(138)
评论(0)
推荐(0)
大数据学习之zookeeper组件基本原理17
摘要: zookeeper 一:Zookeeper(动物管理员)简介 整个大数据生态圈就是一个动物园。Hadoop就是小象,hive就是一个小蜜蜂,hbase图标就是一个鲸鱼。等等都是用动物来作为图标,zookeeper的图标就是一个管理员。所以顾名思义,zookeeper就是管理他们的嘛!嘻嘻嘻嘻 Apa
阅读全文
posted @ 2019-05-17 17:05 大魔王阿黎
阅读(1383)
评论(0)
推荐(0)
2019年5月15日
大数据学习之hadoop的优化16
摘要: hadoop优化 1)mr程序的效率瓶颈 功能:分布式离线计算 ->计算机性能 CPU、内存、磁盘、网络 ->I/O操作优化 (1)数据倾斜(代码优化) (2)map和reduce数设置不合理 (3)map运行时间太长,导致reduce等待过久 (4)小文件过多(combineTextInputFo
阅读全文
posted @ 2019-05-15 12:24 大魔王阿黎
阅读(173)
评论(0)
推荐(0)
2019年5月14日
大数据学习之编程案例压缩解压操作 15
摘要: 三:压缩与解压 1:Hadoop数据压缩 MR操作过程中进行大量数据传输。 压缩技术能够有效的减少底层存储(HDFS)读写字节数。 压缩提高了网络带宽和磁盘空间的效率。 数据压缩能够邮箱的节省资源! 压缩是mr程序的优化策略! 通过压缩编码对mapper或者reducer数据传输进行数据的压缩,以减
阅读全文
posted @ 2019-05-14 23:15 大魔王阿黎
阅读(248)
评论(0)
推荐(0)
大数据学习之编程案例Join操作14
摘要: 一:mapjoin(Map端的Join操作): 任务?将商品表和订单表进行关联起来(相当于MySQL中的等值连接) 提示:这里其实是对2个表进行操作。我们这里其实运用到了分布式缓存,将商品表进行了缓存 数据预览: Step1:在Order表中对应的01 Id和 商品的01 id和商品名表关联起来,
阅读全文
posted @ 2019-05-14 09:13 大魔王阿黎
阅读(224)
评论(0)
推荐(0)
2019年5月12日
eclipse中比较好用的快捷键
摘要: 1:根据数据类型,后推前,还帮你命名!!! 快捷键组合:Ctrl+1(数字键1) 然后回车,自动就出现了String类型,变量名string(用我的颜值发誓不是我自己敲的前面这断代码,而是编译器自动生成的):
阅读全文
posted @ 2019-05-12 01:01 大魔王阿黎
阅读(113)
评论(0)
推荐(0)
大数据学习之自定义输出 13
摘要: 二:自定义输出 自定义输出 需求:过滤日志文件 把包含itstaredu的放在一个文件中 d:/itstaredu.log 把不包含itstaredu的放在另外一个文件 d:/other.log 1:自定义编写FileOutputFormate 2 : 自定义编写FileRecordWriter类
阅读全文
posted @ 2019-05-12 00:47 大魔王阿黎
阅读(244)
评论(0)
推荐(0)
上一页
1
2
3
4
5
6
7
8
下一页
公告