随笔列表第9页 - Evil_XJZ

2016年9月5日

摘要： Hadoop 和 MRv1 简单介绍 Hadoop 集群可从单一节点（其中所有 Hadoop 实体都在同一个节点上运行）扩展到数千个节点（其中的功能分散在各个节点之间，以增加并行处理活动）。图 1 演示了一个 Hadoop 集群的高级组件。图 1. Hadoop 集群架构的简单演示一个 Hado 阅读全文

posted @ 2016-09-05 20:32 Evil_XJZ 阅读(217) 评论(0) 推荐(0) 编辑

hadoop yarn

摘要：简介：本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。读者通过本文阅读全文

posted @ 2016-09-05 20:04 Evil_XJZ 阅读(204) 评论(0) 推荐(0) 编辑

Mesos架构简介

摘要： 1. 前言同其他大部分分布式系统一样，Apache Mesos为了简化设计，也是采用了master/slave结构，为了解决master单点故障，将master做得尽可能地轻量级，其上面所有的元数据可以通过各个slave重新注册而进行重构，故很容易通过zookeeper解决该单点故障问题。（什么阅读全文

posted @ 2016-09-05 19:49 Evil_XJZ 阅读(835) 评论(0) 推荐(0) 编辑

2016年9月2日

eclipse 配置scala问题-More than one scala library found in the build path

摘要：配置eclipse出错解决山重水复疑无路，柳暗花明又一村！经过大量的验证。。。终于make it。参考博客：http://blog.csdn.net/wankunde/article/details/41843217 其中四个步骤： Scala 工程版本该方法和Java 工程类似。新建sca 阅读全文

posted @ 2016-09-02 16:53 Evil_XJZ 阅读(1184) 评论(0) 推荐(0) 编辑

2016年8月28日

spark中groupByKey与reducByKey

摘要：【译】避免使用GroupByKey Scala Spark 技术 Scala Spark Scala Spark 技术 by:leotse 原文：Avoid GroupByKey 译文让我们来看两个wordcount的例子，一个使用了reduceByKey，而另一个使用groupByKey: 12 阅读全文

posted @ 2016-08-28 21:25 Evil_XJZ 阅读(7152) 评论(0) 推荐(0) 编辑

PageRank算法

摘要： 1. PageRank算法概述 PageRank,即网页排名，又称网页级别、Google左侧排名或佩奇排名。是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法，自从Google在商业上获得空前的成功后，该算法也成为其他搜索引擎和学术界十分关注的计算模阅读全文

posted @ 2016-08-28 20:44 Evil_XJZ 阅读(240) 评论(0) 推荐(0) 编辑

2016年8月22日

隐马尔科夫模型详解

摘要：转载请注明地址（http://blog.csdn.net/xinzhangyanxiang/article/details/8522078）学习概率的时候，大家一定都学过马尔科夫模型吧，当时就觉得很有意思，后来看了数学之美之隐马模型在自然语言处理中的应用后，看到隐马尔科夫模型竟然能有这么多的应用，阅读全文

posted @ 2016-08-22 15:39 Evil_XJZ 阅读(3327) 评论(1) 推荐(0) 编辑

2016年8月21日

java Future模式

摘要： Java多线程编程中，常用的多线程设计模式包括：Future模式、Master-Worker模式、Guarded Suspeionsion模式、不变模式和生产者-消费者模式等。这篇文章主要讲述Future模式，关于其他多线程设计模式的地址如下：关于其他多线程设计模式的地址如下：关于Master-Wo 阅读全文

posted @ 2016-08-21 21:33 Evil_XJZ 阅读(219) 评论(0) 推荐(0) 编辑

scala模式匹配与样例类

摘要：样本类：添加了case的类便是样本类。这种修饰符可以让Scala编译器自动为这个类添加一些语法上的便捷设定。如下： 1.添加与类名一致的工厂方法。也就是说，可以写成Var("x")来构造Var对象。 2.样本类参数列表中的所有参数隐式获得了val前缀，因此它被当作字段维护。 3.编译器为这个类添加了阅读全文

posted @ 2016-08-21 19:29 Evil_XJZ 阅读(395) 评论(0) 推荐(0) 编辑

2016年8月20日

Java中的逆变与协变

摘要：看下面一段代码 Number num = new Integer(1); ArrayList<Number> list = new ArrayList<Integer>(); //type mismatch List<? extends Number> list = new ArrayList<Nu 阅读全文

posted @ 2016-08-20 10:27 Evil_XJZ 阅读(150) 评论(0) 推荐(0) 编辑

Evil_XJZ

公告