摘要: 一、校验数字的表达式1 数字:^[0-9]*$2 n位的数字:^\d{n}$3 至少n位的数字:^\d{n,}$4 m-n位的数字:^\d{m,n}$5 零和非零开头的数字:^(0|[1-9][0-9]*)$6 非零开头的最多带两位小数的数字:^([1-9][0-9]*)+(.[0-9]{1,2}) 阅读全文
posted @ 2017-09-25 16:58 lixin1101 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 1,新建azkaban目录,用于安置azkaban程序 2,azkaban web服务器安装 解压 azkaban-web-server-2.5.0.tar.gz tar -zvxf azkaban-web-server-2.5.0.tar.gz -C ../../apps/azkaban/ 重命名 阅读全文
posted @ 2017-09-14 16:08 lixin1101 阅读(267) 评论(0) 推荐(0) 编辑
摘要: 前言 Spark的rdd之间的关系需要通过一些特定的操作来实现, 操作比较多也,特别是一堆JOIN也挺容易让人产生混乱的。 因此做了下小结梳理一下。 准备数据 var rdd1 = sc.makeRDD(Array(("A","a1"),("C","c1"),("D","d1"),("F","f1" 阅读全文
posted @ 2017-08-09 11:35 lixin1101 阅读(6140) 评论(0) 推荐(0) 编辑
摘要: 概述 Spark Streaming 支持多种实时输入源数据的读取,其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源,由于我们的业务场景没有涉及,在此将不会讨论。本篇文章主要着眼于我们目前的业务场景,只关注Spark Streaming读取Kafka数据的方式。 S 阅读全文
posted @ 2017-08-08 13:37 lixin1101 阅读(380) 评论(0) 推荐(0) 编辑
摘要: post={"title":"my Blog post","content":"Here's my blog post","date":new Date()} sudo yum install -y gccsudo yum install -y glibc-headerssudo yum insta 阅读全文
posted @ 2017-07-31 14:52 lixin1101 阅读(353) 评论(0) 推荐(0) 编辑
摘要: 1.索引作用在索引列上,除了上面提到的有序查找之外,数据库利用各种各样的快速定位技术,能够大大提高查询效率。特别是当数据量非常大,查询涉及多个表时,使用索引往往能使查询速度加快成千上万倍。例如,有3个未索引的表t1、t2、t3,分别只包含列c1、c2、c3,每个表分别含有1000行数据组成,指为1~ 阅读全文
posted @ 2017-07-31 13:49 lixin1101 阅读(97) 评论(0) 推荐(0) 编辑
摘要: 到kafka目录下面执行命令:nohup /usr/soft/kafka/kafka-server-start.sh /usr/soft/kafka/config/server.properties & 注意:会把生成的日志存放在nohup.out下面 下面的这种方式更好: /usr/soft/ka 阅读全文
posted @ 2017-06-20 21:25 lixin1101 阅读(125) 评论(0) 推荐(0) 编辑
摘要: 一、shell概念 Shell 是一个用C语言编写的程序,它是用户使用Linux的桥梁。 Shell 脚本(shell script),是一种为shell编写的脚本程序。 二、Shell运行环境 Linux系统上有运行shell的解释器的环境下都可以运行shell脚本 前市面上较知名的发行版有:Ub 阅读全文
posted @ 2017-06-20 21:23 lixin1101 阅读(353) 评论(0) 推荐(0) 编辑