xingoo

摘要： Spark相比于Mapreduce的一大优势就是提供了很多的方法，可以直接使用；另一个优势就是执行速度快，这要得益于DAG的调度，想要理解这个调度规则，还要理解函数之间的依赖关系。 本篇就着重描述下Spark提供的Transformations方法. 依赖关系 宽依赖和窄依赖 窄依赖(narrow 阅读全文

摘要： 说个题外话，我觉得一篇技术文章设计的技术很新颖、很广泛都不能算是好的技术文章，要让每个层次的人都能看懂、都有所收获才算是好的文章（我正在努力写出这样的文章....）。 而一本好书，是应该让所不同领域的人都能看懂，都能被故事情节吸引才行。—— 但是这本书，我给出的评价就是宏观的预谋+专业名词的累积.. 阅读全文

摘要： 这本书断断续续看了八个月左右，准确的说是八个上班的路上听完的。对战国时的合纵连横也有了更深刻的理解.... 从鬼谷四子入谷求学，到庞涓名震列国，张仪出山先灭越，后灭巴蜀，再到苏秦合纵六国，张仪破纵，孙膑围魏救赵，庞涓败走马陵道......真是听的心潮澎湃，在此特别安利一下《懒人听书》周建龙的《鬼谷子 阅读全文

摘要： 介绍 sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。sqoop通过Hadoop的MapReduce导入导出，因此提供了很高的并行性能以及良好的容错 阅读全文

摘要： 本节主要涉及Object中通用的一些方法，比如 ,`hashCode toString clone finalize`等等 覆盖equals时请遵守通用约定 equals方法实现的等价关系： 自反性：对于所有的非null，a=a 对称性：a=b,则b=a 传递性：a=b,b=c,则a=c 一致性：对 阅读全文

摘要： 本篇主要总结的是《Effecticve Java》中关于创建和销毁对象的内容。 比如： 何时以及如何创建对象 何时以及如何避免创建对象 如何确保及时销毁 如何管理对象销毁前的清理动作 考虑用静态工厂方法代替构造器 使用静态工厂的优势： 有名称 不必每次调用的时候都创建一个新的对象 返回原返回类型的任 阅读全文

摘要： 如果直接使用Elasticsearch的朋友在处理中文内容的搜索时，肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字，当用Kibana作图的时候，按照term来分组，结果一个汉字被分成了一组。 这是因为使用了Elasticsearch中默认的标准分词器，这个分词器在处理中文的时候会把中文单词 阅读全文

摘要： 这本书在Java开发的行业里，颇有名气。今天总算是粗略的看完了...后面线程部分和序列化部分由于心浮气躁看的不仔细。这个月还剩下一周，慢慢总结消化。 阅读全文

摘要： 先说说需求的背景，由于业务数据都在Oracle数据库中，想要对它进行数据的分析会非常非常慢，用传统的数据仓库 数据集市这种方式，集市层表会非常大，查询的时候如果再做一些group的操作，一个访问需要一分钟甚至更久才能响应。 为了解决这个问题，就想把业务库的数据迁移到Elasticsearch中，然后 阅读全文

摘要： 设想一下，当你的系统引入了spark或者hadoop以后，基于Spark和Hadoop已经做了一些任务，比如一连串的Map Reduce任务，但是他们之间彼此右前后依赖的顺序，因此你必须要等一个任务执行成功后，再手动执行第二个任务。是不是很烦！ 这个时候Oozie（驯象人，典故来自评论一楼）就派上用 阅读全文