摘要: /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding co... 阅读全文
posted @ 2018-06-22 16:07 山清水秀ysu 阅读(1550) 评论(0) 推荐(0) 编辑
摘要: 6.5 memoryMode 阅读全文
posted @ 2018-06-22 16:02 山清水秀ysu 阅读(177) 评论(0) 推荐(0) 编辑
摘要: 6.1 block存储体系 存储体系架构图 6.2 block 信息信息管理器 6.2.2 bock锁的实现 6.3 磁盘block管理 阅读全文
posted @ 2018-06-22 13:52 山清水秀ysu 阅读(416) 评论(0) 推荐(0) 编辑
摘要: Linux 不同用户环境变量 修改所有用户的环境变量:/etc/profile文件 只修改root用户的环境变量:~/.bashrc文件 只修改某个非root用户的环境变量:/home/非root用户名/.bashrc文件 修改所有用户的环境变量:/etc/profile文件 只修改root用户的环 阅读全文
posted @ 2018-05-31 09:51 山清水秀ysu 阅读(148) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2018-05-22 16:00 山清水秀ysu 阅读(84) 评论(0) 推荐(0) 编辑
摘要: ThreadSafeRpcEndpoint对消息的处理都是串行的,即前一条消息处理完才能接着处理下一条消息。ThreadSafeRpcEndpoint的继承体系如图5-3所示。 5.3.2 RPC端点引用RpcEndpointRef 3.Inbox的消息来源 MessageLoop线程的执行逻辑是不 阅读全文
posted @ 2018-05-21 18:53 山清水秀ysu 阅读(383) 评论(0) 推荐(0) 编辑
摘要: addJar方法是做什么的呢?它用于将Jar文件添加到Driver的RPC环境中。 通过addJar和addFile可以将各种任务执行所依赖的文件添加到Driver的RPC环境中, •小结 伴生对象是Scala语言的语法特性。Scala中的伴生对象可以提供类似于Java中的静态方法、静态属性等的定义 阅读全文
posted @ 2018-05-18 19:08 山清水秀ysu 阅读(116) 评论(0) 推荐(0) 编辑
摘要: 实现的HttpFileServer,但在Spark 2.0.0版本中它也被废弃了,现在使用的是基于Spark内置RPC框架的NettyStreamManager。节点间的Shuffle过程和Block数的复制与备份这两个部分在Spark 2.0.0版本中依然沿用了Netty,通过对接口和程序进行重新 阅读全文
posted @ 2018-05-18 15:45 山清水秀ysu 阅读(278) 评论(0) 推荐(0) 编辑
摘要: 一般情况下,如果有些代码必须在项目启动的时候就执行的时候,需要使用静态代码块,这种代码是主动执行的;需要在项目启动的时候就初始化,在不创建对象的情况下,其他程序来调用的时候,需要使用静态方法,这种代码是被动执行的. 静态方法在类加载的时候 就已经加载 可以用类名直接调用 比如main方法就必须是静态 阅读全文
posted @ 2017-06-20 15:29 山清水秀ysu 阅读(235) 评论(0) 推荐(0) 编辑
摘要: hbase性能调优 标签: hbase 性能调优 | 发表时间:2014-05-17 15:10 | 作者:无尘道长 分享到: 出处:http://www.iteye.com 分享到: 一、服务端调优 1、参数配置 1)、hbase.regionserver.handler.count:该设置决定了 阅读全文
posted @ 2017-03-23 19:34 山清水秀ysu 阅读(256) 评论(0) 推荐(0) 编辑