摘要: 1、查找员工的编号、姓名、部门和出生日期,如果出生日期为空值,显示日期不详,并按部门排序输出,日期格式为yyyy mm dd。 select emp_no,emp_name,dept,isnull(convert(char(10),birthday,120),'日期不详') birthday fro 阅读全文
posted @ 2016-05-10 23:36 唐予之 阅读(945) 评论(0) 推荐(0) 编辑
摘要: 概要 本节主要讲解在开发环境中编写SparkStreaming代码监控hdfs目录,实现实时wordCount计算。 先通过Java方式演示过程,并在文末提供Scala版本代码。 一、环境准备 1.启动Hadoop集群 2.启动Spark集群 二、代码实战 1.定义成员变量 2.配置SparkCon 阅读全文
posted @ 2016-05-10 10:31 唐予之 阅读(2119) 评论(1) 推荐(0) 编辑
摘要: RSA是一种双向加密的算法,它是第一个既能用于数据加密也能用于数字签名的算法。它易于理解和操作,也很流行。算法的名字以发明者的名字命名:Ron Rivest, Adi Shamir 和Leonard Adleman。但RSA的安全性一直未能得到理论上的证明。它经历了各种攻击,至今未被完全攻破。 该算 阅读全文
posted @ 2016-05-10 10:30 唐予之 阅读(589) 评论(0) 推荐(0) 编辑
摘要: 一、Java方式开发 1、开发前准备 假定您以搭建好了Spark集群。 2、开发环境采用eclipse maven工程,需要添加Spark Streaming依赖。 3、Spark streaming 基于Spark Core进行计算,需要注意事项: 设置本地master,如果指定local的话,必 阅读全文
posted @ 2016-05-10 10:22 唐予之 阅读(8662) 评论(0) 推荐(0) 编辑
摘要: 名词解释: 【Client】:客户端进程,负责提交作业到Master。 【Master】:Standalone模式中主控节点,负责接收Client提交的作业,管理Worker,并命令Worker启动Driver和Executor。 Master.scala 【Worker】:Standalone模式 阅读全文
posted @ 2016-05-10 10:19 唐予之 阅读(588) 评论(0) 推荐(0) 编辑