Hadoop01 - 随笔分类 - lilixia

摘要：MR-join连接阅读全文

posted @ 2019-04-24 21:39 lilixia 阅读(236) 评论(0) 推荐(0)

MR 实例

摘要：二次排序点击复制代码：https://www.cnblogs.com/JBLi/p/10764535.html 将上面的代码改成两个分区展示的数据相同的不在一个分区怎么解决点击查看没有解决代码让系统把相同的数据放在一个分区解决办法看代码阅读全文

posted @ 2019-04-24 15:19 lilixia 阅读(339) 评论(0) 推荐(0)

用eclipce编写 MR程序 MapReduce

摘要：package com.bw.mr; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.m... 阅读全文

posted @ 2019-04-20 21:11 lilixia 阅读(243) 评论(0) 推荐(0)

RPC----Hadoop核心协议

摘要：什么是RPC RPC设计的目的 RPC的作用远程过程调用（RPC）是一个协议，程序可以使用这个协议请求网络中另一台计算机上某程序的服务而不需要知道网络细节。必备知识：网络七层模型网络四层模型点击参考资料 https://www.cnblogs.com/qishui/p/5428938.ht 阅读全文

posted @ 2019-04-18 19:33 lilixia 阅读(269) 评论(0) 推荐(0)

NIO原理及案例使用

摘要：什么是NIO Java提供了一个叫作NIO(New I/O)的第二个I/O系统，NIO提供了与标准I/O API不同的I/O处理方式。它是Java用来替代传统I/O API(自Java 1.4以来)。它支持面向缓冲的，基于通道的I/O操作方法。随着JDK 7的推出，NIO系统得到了扩展，统功能和阅读全文

posted @ 2019-04-18 17:11 lilixia 阅读(1111) 评论(1) 推荐(0)

监听3

摘要：阅读全文

posted @ 2019-04-18 08:18 lilixia 阅读(82) 评论(0) 推荐(0)

监听2

摘要：代码如下：阅读全文

posted @ 2019-04-17 22:46 lilixia 阅读(148) 评论(0) 推荐(0)

监听在xshell中

摘要：阅读全文

posted @ 2019-04-17 20:33 lilixia 阅读(425) 评论(0) 推荐(0)

Zookeeper连接eclipse

摘要：package com.bw.ZK; import java.io.IOException; import org.apache.zookeeper.CreateMode; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.Watcher; import org.apache.zookeeper.ZooD... 阅读全文

posted @ 2019-04-17 19:17 lilixia 阅读(538) 评论(0) 推荐(0)

Zookeeper 客户端命令

摘要：阅读全文

posted @ 2019-04-16 21:21 lilixia 阅读(148) 评论(0) 推荐(0)

修改eclipce操作权限

摘要：jdk.tools jdk.tools 1.8 system ${JAVA_HOME}/lib/tools.jar org.apache.hadoop hadoop-co... 阅读全文

posted @ 2019-04-16 20:09 lilixia 阅读(168) 评论(0) 推荐(0)

Zookeeper

摘要：https://www.jianshu.com/p/75e48405d678 Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：集群管理、统一命名服务、分布式配置管理、分布式消息队列jmq active am 阅读全文

posted @ 2019-04-16 19:45 lilixia 阅读(351) 评论(0) 推荐(0)

Zk搭建（Zookeeper）

摘要：第一步：上传解压 tar -zxvf zookeeper-3.4.5.tar.gz 配置zk的环境变量配置源码 vim /etc/profile source /etc/profile 第二步：在zktar包路径下： 1. 创建data文件在data下创建myid给各个机器编号 mkdir 阅读全文

posted @ 2019-04-16 16:46 lilixia 阅读(889) 评论(0) 推荐(0)

awk+sed编程

摘要：阅读全文

posted @ 2019-04-15 13:09 lilixia 阅读(168) 评论(0) 推荐(0)

Shell脚本命令图片

摘要：查看相关文档：shell脚本1 shell脚本2 阅读全文

posted @ 2019-04-12 18:48 lilixia 阅读(894) 评论(0) 推荐(0)

集群的高级设定集群时间设置

摘要：1 时间同步 2 历史服务器 3 日志合并时间同步 b.注释a的上面将内容写入注：和主节点时间一样分发给其他节点 restrict default ignore restrict　192.168.10.0 mask 255.255.255.0 nomodify notrap c. 注释a的下面写阅读全文

posted @ 2019-04-11 19:12 lilixia 阅读(549) 评论(0) 推荐(0)

Notepad++远程连接Linux系统

摘要：打开Notepad++的插件管理搜索NppFTP，安装NppFTP，打开NppFTP。 5.打开连接Linux系统的窗口 6. 打开Notepad++配置文件，使配置Linux操作系统连接信息。点击配置，选择Profile settings. 7. 填写配置Notepad++文件，先添加点击Add 阅读全文

posted @ 2019-04-11 18:31 lilixia 阅读(1951) 评论(0) 推荐(1)

Shell脚本2

摘要：5 Shell传递参数我们可以在执行 Shell 脚本时，向脚本传递参数，脚本内获取参数的格式为：$n。n 代表一个数字，1 为执行脚本的第一个参数，2 为执行脚本的第二个参数，以此类推…… 1.1 实例以下实例我们阅读全文

posted @ 2019-04-11 14:30 lilixia 阅读(384) 评论(0) 推荐(0)

hadoop：如何运行自带wordcount

摘要：1.在linux系统创建文件 vi aa.txt i 进行编辑输入内容（多个单词例如：aa bb cc aa） 2.在HDFS上面创建文件夹 hdfs dfs -mkdir /cc hdfs dfs -ls 3.将本地文件放到hdfs上面 hdfs dfs -put aa.txt /cc hdf 阅读全文

posted @ 2019-04-10 20:00 lilixia 阅读(368) 评论(0) 推荐(0)

Shell脚本1

摘要：Shell 编程跟 java、php 编程一样，只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。(Linux系统中自带编译器) .java >javac xx.java java Linux 的 Shell 编程解析器种类众多，常见的有： l Bourne Shell（/usr 阅读全文

posted @ 2019-04-10 15:44 lilixia 阅读(471) 评论(0) 推荐(0)

lilixia

随笔分类 - Hadoop01

公告