摘要：
1. MapReduce使用 MapReduce是Hadoop中的分布式运算编程框架，只要按照其编程规范，只需要编写少量的业务逻辑代码即可实现 一个强大的海量数据并发处理程序 2. 运行Hadoop自带的MapReduce程序（word count单词统计功能） 1.在HDFS中创建层级目录，并且上 阅读全文
posted @ 2018-06-16 08:59
QueryMarsBo
阅读(2488)
评论(0)
推荐(0)
摘要：
1.Hdfs shell客户端命令操作： 1.1.查看命令列表：hadoop fs 1.1.1.查看文件列表：hadoop fs -ls / （/：HDFS文件系统的根目录） 1.1.2.上传文件：hadoop fs -put canglao.avi / 注意：真实的数据文件路径在DataNode节 阅读全文
posted @ 2018-06-15 18:07
QueryMarsBo
阅读(1245)
评论(0)
推荐(0)
摘要：
一：Hadoop集群简介： Hadoop 集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起； HDFS集群：负责海量数据的存储，集群中的角色主要有： NameNode、DataNode、SecondaryNameNode； YARN集群：负责海量数据运算时的资源 阅读全文
posted @ 2018-06-15 08:05
QueryMarsBo
阅读(265)
评论(0)
推荐(0)
摘要：
1.参考文档：Netty实战精髓篇 2.Netty介绍： Netty是基于Java NIO的网络应用框架. Netty是一个NIO client-server(客户端服务器)框架，使用Netty可以快速开发网络应用，例如服务器和客户端协议。Netty提供了一种新的方式来 开发网络应用程序，这种新的方 阅读全文
posted @ 2018-06-13 14:27
QueryMarsBo
阅读(254)
评论(0)
推荐(0)
摘要：
1.Netty发送对象简介： Netty中，通讯的双方建立连接后，会把数据按照ByteBuf的方式进行传输，例如http协议中，就是通过HttpRequestDecoder对 ByteBuf数 据流进行处理，转换成http的对象。基于这个思路，自定义一种通讯协议：Server 和 客户端直接传输 j 阅读全文
posted @ 2018-06-13 11:34
QueryMarsBo
阅读(468)
评论(0)
推荐(0)
摘要：
1.Netty中handler的执行顺序 Handler在Netty中，无疑占据着非常重要的地位。Handler与Servlet中的filter很像，通过Handler可以完成通讯报文的解码编码、拦截指定的报文、 统一对日志错误进行处理、统一对请求进行计数、控制Handler执行与否。一句话，没有它 阅读全文
posted @ 2018-06-13 11:05
QueryMarsBo
阅读(6683)
评论(0)
推荐(1)
摘要：
1.Netty简介： Netty是基于Java NIO的网络应用框架 Netty是一个NIO client-server(客户端服务器)框架，使用Netty可以快速开发网络应用，例如服务器和客户端协议。Netty 提供了一种新的方式来开发网络应用程序，这种新的方式使得它很容易使用和有很强的扩展性。N 阅读全文
posted @ 2018-06-13 10:15
QueryMarsBo
阅读(461)
评论(0)
推荐(0)
摘要：
1.阻塞与非阻塞 传统的 IO 流都是阻塞式的。也就是说，当一个线程调用 read() 或 write() 时，该线程被阻塞，直到有一些数据被读取或写入， 该线程在此期间不能执行其他任务因此，在完成网络通信进行 IO 操作时，由于线程会阻塞，所以服务器端必须为每个客户端都提供 一个独立的线程进行处理 阅读全文
posted @ 2018-06-12 17:36
QueryMarsBo
阅读(188)
评论(0)
推荐(0)
摘要：
1.通道（Channel） 由 java.nio.channels 包定义的。Channel 表示 IO 源与目标打开的连接。Channel 类似于传统的“流”。只不过 Channel 本身不能直接访问数据，Channel 只能与Buffer 进行交互 Java 为 java.nio.channel 阅读全文
posted @ 2018-06-12 11:56
QueryMarsBo
阅读(190)
评论(0)
推荐(0)
摘要：
1.缓冲区（Buffer） 一个用于特定基本数据类型的容器。由 java.nio 包定义的，所有缓冲区都是 Buffer 抽象类的子类，任何时候访问 NIO 中 的数据，都是通过缓冲区进行操作 在 Java NIO 中负责数据的存取。缓冲区就是数组。用于存储不同数据类型的数据，据数据类型不同(boo 阅读全文
posted @ 2018-06-12 11:16
QueryMarsBo
阅读(146)
评论(0)
推荐(0)
浙公网安备 33010602011771号