07 2016 档案

实践和感悟 - scala向下转型和减少穷举
摘要：工作中的问题总结： 问题一：scala 之向下转型 引言:假如在复杂的业务逻辑中，变量的类型不能确认，只能给个接口类型，这样数据类型推导不会错误，但是后面要使用实现类的类型时，你却发现转不过来了？ 对于这样的一个问题，scala可以这样解决： 首先建造一个接口，People： 这样定义了一个接口，接 阅读全文
posted @ 2016-07-19 00:46 舆 阅读(1363) 评论(0) 推荐(0)
企业级大数据处理方案03-数据流程
摘要：数据处理过程分为数据挖掘和数据分析，广义上说数据分析泛指整个过程，然而数据分析大的流程大致相同，如图： 数据挖掘一般都要经过过滤、漂洗、匹配三个过程： 1.过滤:主要将数据中的不适合分析的数据过滤掉，就好比产品流水线的残次品一样，对数据进行组粒度的过滤，其规则可按数据大小，字符长短； 2.漂洗：也称 阅读全文
posted @ 2016-07-09 13:37 舆 阅读(1368) 评论(0) 推荐(0)
scala数据库工具类
摘要：scala的数据库连接池，基于mysql 配置文件 dao类 阅读全文
posted @ 2016-07-09 12:01 舆 阅读(4317) 评论(0) 推荐(0)
企业生产环境集群稳定性-HA就行吗？
摘要：在企业生产中，集群一旦运行，是要尽可能的将损失降到最低，现在所有的大数据技术都有HA，spark的、Hadoop的、HBase的等等， HA分冷备和热备，热备是集群自带的，冷备就是硬件的。 这样一种情况：晚上了，人睡着了，突然的大数据量来了，nameNode、master崩了，HA启动了另一台备用节 阅读全文
posted @ 2016-07-07 19:05 舆 阅读(697) 评论(1) 推荐(1)
企业级大数据处理方案-02.环境决定需求、性能决定选型
摘要：上讲，讲述了大概九种的技术种类以及他们的领域。那么既然有吃饭的，那就必须有做饭的。因此大数据技术结构的选型，必须有的组成部分至少三种（来源、计算、存储） 最简单的数据处理架构： 最少单元的数据处理方案，当然这个不是最好的，为什么呢，问题： 1.流式处理数据（Streaming）时，数据量小时，数据存 阅读全文
posted @ 2016-07-05 21:08 舆 阅读(822) 评论(1) 推荐(0)
Scala编程之访问修饰符
摘要：private ，protected，public，在不加前两者声明时为public为公共式访问； private为私有式访问；protected为家族式访问，与Java一致。 object Outer { class Inner{ def f(){//若该方法是私有属性 private 则不能被外 阅读全文
posted @ 2016-07-05 14:52 舆 阅读(373) 评论(0) 推荐(0)
spark-submit提交参数设置
摘要：/apps/app/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --class com.zdhy.zoc2.sparksql.core.JavaSparkSqlLogRegularApp --files /apps/app/apache-hive-1.2.1 阅读全文
posted @ 2016-07-05 14:45 舆 阅读(52231) 评论(0) 推荐(0)
scala构造器实战
摘要：父类 子类 再子类 执行结果： 2,1,0,3,4,5,6,7,9,80,8,00 scala语言的父类继承和重载，toString的继承重载，靠super 子类中的构造器不能够super，报错 阅读全文
posted @ 2016-07-05 14:27 舆 阅读(292) 评论(0) 推荐(0)
scala抽象类实战
摘要：实战一： 声明一个抽象类（SuperTeacher）：（超级老师） 一个不可变属性，和两个可变属性（主键和年龄），一个未实现方法（教书） 声明一个子类（TeacherForMaths）： 抽象类的测试类 实战二： 抽象事件类：event，对于一个事件来说，事件名称决定他的不同，所以名称是不可变的，可 阅读全文
posted @ 2016-07-05 11:31 舆 阅读(2638) 评论(0) 推荐(1)
企业级大数据处理方案-01
摘要：企业级大数据处理方案有三种业务场景： 1.离线处理；（mapreduce（第一代）、sparksql（第二代）） 2.实时处理；（数据库操作、storm） 3.准实时处理。（spark Streaming） mapreduce与spark对比 mr与spark优缺点对比：（一） a.mapreduc 阅读全文
posted @ 2016-07-05 09:18 舆 阅读(815) 评论(0) 推荐(1)
Scala编写的打印乘法口诀和金字塔
摘要：刚开始接触scala，觉得语法简单，一时兴起就写了两个简单的例子 public class Calculate { public static void test1(){ for(int i=1;i<10;i++){ for(int j=1;j<=i;j++){ System.out.print(j 阅读全文
posted @ 2016-07-04 16:39 舆 阅读(1104) 评论(0) 推荐(0)