yuerspring

摘要：原文地址http://blog.itpub.net/23659908/viewspace-1118762/ Thank you .数据仓库的模型设计A. 数据建模方法论数据仓库模型设计遵循“自顶向下、逐步求精”的设计原则。模型设计分为三个阶段：1，概念模型对业务的范围... 阅读全文

posted @ 2016-11-10 17:05 yuerspring 阅读(282) 评论(0) 推荐(0)

摘要： Lucene 概念，定义应用场景阅读全文

posted @ 2016-11-05 09:24 yuerspring 阅读(103) 评论(0) 推荐(0)

摘要： package com.ibm.enums;public class TestEnum { public enum ColorEnums{ red ,green ,yellow,blue; } public enum Male{ ForMale("gi... 阅读全文

posted @ 2016-10-21 10:13 yuerspring 阅读(100) 评论(0) 推荐(0)

摘要： package com.ibm.dg;public class Main { public static void main(String[] args) { // TODO Auto-generated method stub ... 阅读全文

posted @ 2016-10-20 17:58 yuerspring 阅读(336) 评论(0) 推荐(0)

摘要：这2个概念很容易混淆，需要写一遍文章梳理spark的 DAGschedule & task schedule 区别以及相互联系在我们的应用程序的mian 方法中我们定义了sparkcontext ，sparcontext 会帮我们生成这两个调度器 DAGschedul... 阅读全文

posted @ 2016-10-16 20:38 yuerspring 阅读(362) 评论(0) 推荐(0)

摘要：这几个概念很容易混淆，需要写一遍文章梳理Spark的stage & job & task 到底是什么 ,以及划分原理Stage 是spark 中一个非常重要的概念，在一个job 中划分stage 的一个重要依据是否有shuflle 发生，也就是是否会发生数据的重组... 阅读全文

posted @ 2016-10-16 20:36 yuerspring 阅读(770) 评论(0) 推荐(0)

摘要： java 基本数据类型Java基本类型共有八种，基本类型可以分为三类，字符类型char，布尔类型boolean以及数值类型byte、short、int、long、float、double。数值类型又可以分为整数类型byte、short、int、long和浮点数类型fl... 阅读全文

posted @ 2016-10-15 22:01 yuerspring 阅读(203) 评论(0) 推荐(0)

摘要：算子优化 MapPartitionsspark中，最基本的原则，就是每个task处理一个RDD的partition。MapPartitions操作的优点：如果是普通的map，比如一个partition中有1万条数据；ok，那么你的function要执行和计算1万次。但... 阅读全文

posted @ 2016-10-15 19:37 yuerspring 阅读(144) 评论(0) 推荐(0)

摘要： 1.列举spark 比hadoop 快的原因，以及现在存在的主要问题2.描述下使用spark streaming 和 GraphX实现实时计算的可行性，以及可能会遇到的问题3.GraphX的Pregel API 只支持有向图遍历，如何实现无xiang 遍历，描... 阅读全文

posted @ 2016-10-15 13:37 yuerspring 阅读(131) 评论(0) 推荐(0)

摘要：数据仓库工程师-战略(J11666)工作地点：北京市职位类别：技术类招聘人数：若干职位描述：1. 负责业务相关数据指标的计算挖掘；2. 负责数据建模以及数据仓库应用产品的设计和开发；3. 负责数据仓库ETL流程的优化及解决ETL相关技术问题。任职要求：1、本科及... 阅读全文

posted @ 2016-10-14 23:06 yuerspring 阅读(121) 评论(0) 推荐(0)