大葱拌豆腐 - 博客园

2017年6月9日

Hadoop NameNode 高可用 (High Availability) 实现解析

摘要：转载自：http://reb12345reb.iteye.com/blog/2306818 在 Hadoop 的整个生态系统中，HDFS NameNode 处于核心地位，NameNode 的可用性直接决定了 Hadoop 整个软件体系的可用性。本文尝试从内部实现的角度对 NameNode 的高可用机阅读全文

posted @ 2017-06-09 10:53 大葱拌豆腐阅读(437) 评论(0) 推荐(0)

hadoop2.x Federation

摘要：单Active NN的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NN进程使用的内存可能会达到上百G，NN成为了性能的瓶颈常用的估算公式为1G对应1百万个块，按缺省块大小计算的话，大概是64T (这个估算比例是有比较大的富裕的，其实，即使是每个文件只有一个块，所有元数阅读全文

posted @ 2017-06-09 10:34 大葱拌豆腐阅读(167) 评论(0) 推荐(0)

hdfs HA原理

摘要：早期的hadoop版本，NN是HDFS集群的单点故障点，每一个集群只有一个NN,如果这个机器或进程不可用，整个集群就无法使用。为了解决这个问题，出现了一堆针对HDFS HA的解决方案（如：Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quo 阅读全文

posted @ 2017-06-09 10:33 大葱拌豆腐阅读(754) 评论(0) 推荐(0)

2017年6月8日

使用JSONObject生成和解析json

摘要：使用JSONObject生成和解析json 1. json数据类型类型描述 Number 数字型 String 字符串型 Boolean 布尔型 Array 数组 Object 对象 null 空值（1）json中不区分整数、小数等类型，而统一使用Number来存储数字。（2）Array表示数阅读全文

posted @ 2017-06-08 00:28 大葱拌豆腐阅读(1908) 评论(0) 推荐(0)

2017年6月7日

Ambari Rest api 使用

摘要：最近由于项目的需要在看一些Ambari的api去获取集群的一些信息，获取集群节点的状态信息以及各个服务和组件的信息。然后在我们的数据服务管理平台上去做一些监控运维，现在把一些使用总结一下：官网rest api地址： https://cwiki.apache.org/confluence/displa 阅读全文

posted @ 2017-06-07 23:48 大葱拌豆腐阅读(3610) 评论(0) 推荐(0)

2017年5月22日

本地项目提交到github或者gitlab

摘要：在 gitlab中创建新项目创建好之后会生成一个.Git路径切换回本地工程文件目录添加远程关联推送到远程仓库上面都完成后会得到如下： 1 产生本地分支master 2.与本地仓库关联的远程仓库origin 3.与本地分支关联的远程分支master 4.本地代码全部提交到了远程仓库，其他人可阅读全文

posted @ 2017-05-22 23:58 大葱拌豆腐阅读(452) 评论(0) 推荐(0)

2017年5月16日

运行HBase应用开发程序产生异常，提示信息包含org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory的解决办法

摘要： Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Exception in thread "main" java.io.IOException: java.lang.reflect.Invo 阅读全文

posted @ 2017-05-16 17:12 大葱拌豆腐阅读(4718) 评论(0) 推荐(0)

Spark中ml和mllib的区别

摘要：转载自：https://vimsky.com/article/3403.html Spark中ml和mllib的主要区别和联系如下： ml和mllib都是Spark中的机器学习库，目前常用的机器学习功能2个库都能满足需求。 spark官方推荐使用ml, 因为ml功能更全面更灵活，未来会主要支持ml，阅读全文

posted @ 2017-05-16 13:39 大葱拌豆腐阅读(10884) 评论(0) 推荐(0)

spark mllib和ml类里面的区别

摘要： mllib是老的api，里面的模型都是基于RDD的，模型使用的时候api也是有变化的(model这里是naiveBayes)，（1：在模型训练的时候是naiveBayes.run(data: RDD[LabeledPoint])来训练的，run之后的返回值是一个NaiveBayesModel对象，阅读全文

posted @ 2017-05-16 12:48 大葱拌豆腐阅读(1584) 评论(0) 推荐(0)

Spark Streaming带状态更新

摘要：带状态的更新是使用的updateStateByKey方法，里面传入一个函数，函数要自己写，注意需要设置checkpoint 阅读全文

posted @ 2017-05-16 12:44 大葱拌豆腐阅读(507) 评论(0) 推荐(0)

公告