Riordon - 博客园

代码片段2

摘要： package com.glsx.main; import com.glsx.constants.Constant; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase. ; import org.a 阅读全文

posted @ 2019-11-12 19:54 Riordon 阅读(71) 评论(0) 推荐(0)

代码片段3

摘要： package com.glsx.main; import com.glsx.constants.Constant; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase. ; import org.a 阅读全文

posted @ 2019-11-12 19:54 Riordon 阅读(85) 评论(0) 推荐(0)

代码片段1

摘要： package com.glsx.conf; import java.io.IOException; import java.io.InputStream; import java.util.Properties; public class ConfigurationManager { privat 阅读全文

posted @ 2019-11-12 07:17 Riordon 阅读(97) 评论(0) 推荐(0)

古往今来，凡大才者，无不深思熟虑

摘要：古往今来，凡大才者，无不深思熟虑！阅读全文

posted @ 2016-10-08 13:59 Riordon 阅读(134) 评论(0) 推荐(0)

MYSQL数据去重与外表填充

摘要：经常要对数据库中的数据进行去重，有时还需要使用外部表填冲数据，本文档记录数据去重与外表填充数据。 date：2016/8/17 author:wangxl 1 需求对user_info1表去重，并添加age项。 2 表数据 user_info1: + + + + + | id | name | s 阅读全文

posted @ 2016-08-17 23:03 Riordon 阅读(304) 评论(0) 推荐(0)

Java线程状态：BLOCKED与WAITING的区别

摘要： Doc说明： / Thread state for a thread blocked waiting for a monitor lock. A thread in the blocked state is waiting for a monitor lock to enter a synchron 阅读全文

posted @ 2016-08-16 09:52 Riordon 阅读(2136) 评论(0) 推荐(0)

HBase配置&启动脚本分析

摘要：本文档基于hbase 0.96.1.1 cdh5.0.2,对HBase配置&启动脚本进行分析 date：2016/8/4 author:wangxl HBase配置&启动脚本分析剔除window相关脚本，我们主要分析配置文件与.sh文件 1 文件概览 conf ├── hadoop metrics 阅读全文

posted @ 2016-08-05 09:26 Riordon 阅读(4542) 评论(0) 推荐(0)

Spark RDD设计学习笔记

摘要：本文档是学习RDD经典论文《Resilient Distributed Datasets: A Fault Tolerant Abstraction for In Memory Cluster Computing》的学习笔记。 date：2016/8/3 author：wangxl 1 引言一种分阅读全文

posted @ 2016-08-03 18:30 Riordon 阅读(629) 评论(0) 推荐(0)

经典译文收集

摘要：本文档主要收集大数据技术相关经典文章(译文)，经典读10遍胜于普通文章读千万篇。 "1.RDD：基于内存的集群计算容错抽象" "2.大型集群上的快速和通用数据处理架构" 阅读全文

posted @ 2016-08-03 15:30 Riordon 阅读(200) 评论(0) 推荐(0)

Spark配置&启动脚本分析

摘要：本文档基于Spark2.0，对spark启动脚本进行分析。 date：2016/8/3 author:wangxl Spark配置&启动脚本分析我们主要关注3类文件，配置文件，启动脚本文件以及自带shell。 1 文件概览 conf/ ├── docker.properties.template 阅读全文

posted @ 2016-08-03 11:39 Riordon 阅读(8473) 评论(0) 推荐(0)

Spark IDEA开发环境构建

摘要：本文档基于IEDA构建spark maven应用。 date： 2016/8/1 author: wangxl 1.下载IDEA https://www.jetbrains.com/idea/ 2.安装Scala插件 Plugins Scala Install Plugin 3.生成骨架 3.1 m 阅读全文

posted @ 2016-08-01 12:32 Riordon 阅读(584) 评论(0) 推荐(1)

Spark学习计划

摘要：本文档综合现在市面上的各类spark书籍，概括spark技术核心，“要事第一”原则，只抓核心，才能领悟实质。 spark核心分类： 1.环境配置相关(编译、搭建、配置、启动脚本) 1.1 源码编译 1.2 集群搭建 1.3 集群配置，脚本分析 1.4 IDE环境构建 2.Spark基础 2.1 RD 阅读全文

posted @ 2016-07-31 14:11 Riordon 阅读(466) 评论(0) 推荐(0)

Spark2.0编译

摘要： Spark2.0编译 1 前言 Spark2.0正式版于今天正式发布，本文基于CDH5.0.2的Spark编译。 2 编译步骤 2.1 下载源码 wget https://github.com/apache/spark/archive/v2.0.0.tar.gz 2.2 解压配置基于CDH5.0. 阅读全文

posted @ 2016-07-27 18:48 Riordon 阅读(709) 评论(0) 推荐(0)

scala maven pom文件

摘要：老司机的spark maven pom文件 pom文件一： 4.0.0 com.glsx spark demo 1.0 SNAPSHOT jar spark demo http://maven.apache.org UTF 8 1.7 2.10.5 ${artifactId} <! 构建JDK ma 阅读全文

posted @ 2016-07-27 18:36 Riordon 阅读(791) 评论(0) 推荐(0)

Linux脚本中使用特定JDK

摘要：有时linux系统中装了很多应用，我们又不能覆盖系统中设置的版本，此时我们就需要在脚本文件中设置特定版本。 export JAVA_HOME= export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH= 阅读全文

posted @ 2016-07-27 10:55 Riordon 阅读(1377) 评论(0) 推荐(0)