摘要: https://github.com/apache/spark/tree/master/core/src/main/scala/org/apache/spark/network https://github.com/apache/spark/blob/master/core/src/main/sca 阅读全文
posted @ 2017-11-20 19:39 papering 阅读(439) 评论(0) 推荐(0)
摘要: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html 通讯协议 所有的HDFS通讯协议都是建立在TCP/IP协议之上。客户端通过一个可配置的TCP端口连接到Namenode,通过ClientProtocol协议与Namenode交互。而Da 阅读全文
posted @ 2017-11-20 18:55 papering 阅读(2627) 评论(0) 推荐(0)
摘要: HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块,除了最后一个,所有的数据块都是同样大小的。为了容错,文件的所有数据块都会有副本。每个文件的数据块大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定,也可以在之后 阅读全文
posted @ 2017-11-20 18:52 papering 阅读(432) 评论(0) 推荐(0)
摘要: NameNode实现了三个接口 阅读全文
posted @ 2017-11-20 18:15 papering 阅读(189) 评论(0) 推荐(0)
摘要: https://github.com/mongodb/mongo-hadoop https://github.com/mongodb/mongo-hadoop/wiki/Spark-Usage 阅读全文
posted @ 2017-11-20 17:22 papering 阅读(166) 评论(0) 推荐(0)
摘要: Apache Spark is built around a distributed collection of immutable Java Virtual Machine (JVM) objects called Resilient Distributed Datasets (RDDs for 阅读全文
posted @ 2017-11-20 17:12 papering 阅读(239) 评论(0) 推荐(0)
摘要: https://github.com/google/protobuf/ 阅读全文
posted @ 2017-11-20 13:46 papering 阅读(358) 评论(0) 推荐(0)
摘要: cat /proc/versionLinux version 3.10.0-327.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.3 20140911 (Red Hat 4.8.3-9) (GCC) ) #1 SMP Th 阅读全文
posted @ 2017-11-20 12:49 papering 阅读(869) 评论(0) 推荐(0)
摘要: Java Virtual Machine Process Status Tool 阅读全文
posted @ 2017-11-20 11:28 papering 阅读(180) 评论(0) 推荐(0)
摘要: If the port is "0", then the OS is looking for any free port -so the port-in-use and port-below-1024 problems are highly unlikely to be the cause of t 阅读全文
posted @ 2017-11-20 02:01 papering 阅读(1674) 评论(1) 推荐(0)