摘要：
http://blog.csdn.net/lujinhong2/ 请继续关注 阅读全文
摘要：
Java多线程基础 @(博客文章)[java] 一、基础内容 1、线程的基本概念 （1）一个线程是一个程序内部的顺序控制流。 （2）线程和进程
–每个进程都有独立的代码和数据空间(进程上下文)，进程切换的开销大。 –线程：轻量的进程，同一类线程共享代码和数据空间，每个线程有独立... 阅读全文
摘要：
#storm-kafka编程指南@(博客文章)[kafka|大数据|storm][toc]#一、原理及关键步骤介绍storm中的storm-kafka组件提供了storm与kafka交互的所需的所有功能，请参考其官方文档：https://github.com/apache/storm/tree/ma... 阅读全文
摘要：
#storm原理介绍@(博客文章)[storm|大数据] [toc]#一、原理介绍待补充#二、配置完整的默认配置文件见下面defaluts.yaml，若需要修改，则在storm.yaml中修改。重要参数如下：1、storm.zookeeper.servers：指定使用哪个zookeeper集群```... 阅读全文
摘要：
#storm集群操作指南@(博客文章)[storm|大数据] [toc]#一、storm伪分布式安装##（一）环境准备1、OS：debian 72、JDK 7.0##（二）安装zookeeper1、下载zookeeper并解压 wget http://mirror.bit.edu.cn/apache... 阅读全文
摘要：
#storm编程指南@(博客文章)[storm|大数据][toc]本文介绍了storm的基本编程，关于trident的编程，请见？？？本示例使用storm运行经典的wordcount程序，拓扑如下：sentence-spout—>split-bolt—>count-bolt—>report-bolt... 阅读全文
摘要：
#trident原理及编程指南@(博客文章)[storm|大数据][toc]#一、理论介绍##1、trident是什么？Trident is a high-level abstraction for doing realtime computing on top of Storm. It allow... 阅读全文
摘要：
#kafka集群原理介绍@(博客文章)[kafka|大数据] [toc] 本系统文章共三篇，分别为1、kafka集群原理介绍了以下几个方面的内容：（1）kafka基础理论（2）参数配置（3）错误处理（4）kafka集群在zookeeper集群中的内容2、kafka集群操作介绍了kafka集群的安装与... 阅读全文
摘要：
#kafka集群操作指南@(博客文章)[kafka|大数据][toc]本系统文章共三篇，分别为1、kafka集群原理介绍了以下几个方面的内容：（1）kafka基础理论（2）参数配置（3）错误处理（4）kafka集群在zookeeper集群中的内容2、kafka集群操作介绍了kafka集群的安装与操作... 阅读全文
摘要：
[转载请注明作者和原文链接, 如有谬误, 欢迎在评论中指正. ]ZooKeeper的数据结构, 与普通的文件系统极为类似. 见下图:图片引用自developerworks图中的每个节点称为一个znode. 每个znode由3部分组成:stat. 此为状态信息, 描述该znode的版本, 权限等信息.... 阅读全文
摘要：
java.util.logging是java自带的日志处理系统，其功能不如log4j/logback强大，但可以完成基本的日志需求。另外，如果在一个项目中使用log4j, 而这个项目引用的第3方包也使用了log4j，它们之间的配置文件会互相覆盖，导致不可预知的结果。如果第3方包将配置文件公开了，可以通过修改log4j.properties来满足自己的需求（如hadoop），如果没有公开，而是打包... 阅读全文
摘要：
参考自：https://spark.apache.org/docs/latest/submitting-applications.html常见的语法：./bin/spark-submit\--class--master\--deploy-mode\--conf=\...#otheroptions\[application-arguments]举几... 阅读全文
摘要：
英文原文地址：https://spark.apache.org/docs/latest/cluster-overview.html集群模式概述本文档简单介绍了spark如何在集群中运行，它使得你更容易理解spark相关的组件。关于如何在一个集群中运行spark，请参考application subm... 阅读全文
摘要：
参考：英文：https://spark.apache.org/docs/latest/programming-guide.html中文：http://www.cnblogs.com/lujinhong2/p/4651025.html1.2.1版本的（一）快速入门老规矩，先看一个简单示例，有个认识。这个示例来自官方example的SparkPi：package org.lujinhong.de... 阅读全文
摘要：
（一）官方入门示例废话不说，先来个示例，有个感性认识再介绍。这个示例来自spark自带的example，基本步骤如下：（1）使用以下命令输入流消息：$ nc -lk 9999（2）在一个新的终端中运行NetworkWordCount，统计上面的词语数量并输出：$ bin/run-example streaming.NetworkWordCount localhost 9999（3）在第一步创建的... 阅读全文
摘要：
参考：http://wenku.baidu.com/link?url=hi0nlkIp17HnQQpCkUr3KacZOOVGMOYKYbWzjX_HKJZNZpiRxfGPLuwvUydOVxeZM10e7TiDknWCj2i6qUW1Kzu-GWHL_WPYYSCuBBxDhxqhttp://www.docin.com/p-888648541.html以上是同一篇文章：GitHub+mark... 阅读全文
摘要：
参考：英文：https://spark.apache.org/docs/latest/programming-guide.html中文：http://www.cnblogs.com/lujinhong2/p/4651025.html1.2.1版本的（一）快速入门老规矩，先看一个简单示例，有个认识。这个示例来自官方example的SparkPi：package org.lujinhong.de... 阅读全文
摘要：
转载自：http://blog.csdn.net/sdujava2011/article/details/46878153?utm_source=tuicool英文地址：https://spark.apache.org/docs/latest/programming-guide.htmlSpark编... 阅读全文
摘要：
（一）基本操作1、创建用户使用的数据库mysql -u root -p#然后输入密码mysql> create database filter_conf;Query OK, 1 row affected (0.08 sec)mysql> show databases;+---------------... 阅读全文
摘要：
详细代码请见https://github.com/lujinhong/scalademo在scala中调用java代替非常非常简单，直接调用即可（一）一个简单示例1、创建一个java类package com.lujinhong.demo.scala;public class MyJavaClass { public int adder(int a, int b){ return a+b; }... 阅读全文
摘要：
完整代码请见：https://github.com/lujinhong/scalademo本示例完成了Scala文件中的一些常见操作，包括读取文件并输出，把内容写入一个文件等。直接上代码：package org.lujinhong.demo.scalaimport scala.io.Sourceim... 阅读全文
摘要：
更详细内容请见：http://www.scala-sbt.org/0.13/tutorial/Basic-Def.html或者http://wenku.baidu.com/link?url=oKjFBumGoaqqUS7CEnTJdgEYK5r7rdsoT6367ZICG7isAtJKd3NRyawqq-seZuUf8jIwRbCojzBwMSRF4Rm4qFKWEWD9JTeUC90_Vin... 阅读全文
摘要：
转自：http://www.cnblogs.com/xiaosilent/p/3470858.html开始用MarsEdit来写博文，客户端的，毕竟是要方便的多啊。遇到的第一个问题就是：MarsEdit没有提供快速插入源代码的工具，而对于我这枚码农而言，这个就有点太杯具了。简单研究了一下，发现Mar... 阅读全文
摘要：
废话不说，先来个示例，有个感性认识再介绍。这个示例来自spark自带的example，基本步骤如下：（1）使用以下命令输入流消息：$ nc -lk 9999（2）在一个新的终端中运行NetworkWordCount，统计上面的词语数量并输出：$ bin/run-example streaming.NetworkWordCount localhost 9999（3）在第一步创建的输入流程中敲入一些... 阅读全文
摘要：
一、理论概述0、参考资料入门资料：https://developers.google.com/protocol-buffers/docs/javatutorial更详细的资料：For more detailed reference information, see the Protocol Buffer Language Guide, the Java API Reference, the Jav... 阅读全文
摘要：
一、快速入门（一）下载安装1、下载并解压wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gztar -zxvf sqoop-1.4.4-cdh5.1.2.tar.gz2、将sqoop中的命令添加至$PATH中e... 阅读全文
摘要：
hadoop集群中主要进程有master: NameNode, ResourceManager,slaves: DataNode, NodeManager, RunJar, MRAppMaster,YarnChild其中 RunJar, MRAppMaster,YarnChild与随着某个job的创... 阅读全文
摘要：
（一）简单入门1、创建一个表create table if not exists ljh_emp(name string,salary float,gender string)comment 'basic information of a employee'row format delimited ... 阅读全文
摘要：
一、公钥加密 假设一下，我找了两个数字，一个是1，一个是2。我喜欢2这个数字，就保留起来，不告诉你们(私钥），然后我告诉大家，1是我的公钥。我有一个文件，不能让别人看，我就用1加密了。别人找到了这个文件，但是他不知道2就是解密的私钥啊，所以他解不开，只有我可以用数字2，就是我的私钥，来解密。这样我就... 阅读全文
摘要：
debian方式：apt-get install mysql-server-5.5mysql -u root -predhat安装方式 一、下载并解压 $ wget http://cdn.mysql.com/Downloads/MySQL-5.5/MySQL-5.5.42-1.el6.x86_64.rpm-bundle.tar 解压后得到以下几个文件： $ tar -xvf MySQL-5.5... 阅读全文
摘要：
1、spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。因此运行spark的机器应该尽量的大内存，如96G以上。2、spark所有操作均基于RDD，操作主要分成2大类：transformation与action。3、spark提供了交互处理接口，类似于shell的使用。4、s... 阅读全文
摘要：
spark可以通过交互式命令行及编程两种方式来进行调用： 前者支持scala与python 后者支持scala、python与java本文参考https://spark.apache.org/docs/latest/quick-start.html，可作快速入门再详细资料及用法请见https://spark.apache.org/docs/latest/programming-guide.ht... 阅读全文
摘要：
集群环境搭建请见：http://blog.csdn.net/jediael_lu/article/details/45145767一、环境准备1、安装linux、jdk2、下载hadoop2.6.0，并解压3、配置免密码ssh（1）检查是否可以免密码： $ ssh localhost（2）若否：$ ... 阅读全文
摘要：
本文介绍安装spark单机环境的方法，可用于测试及开发。主要分成以下4部分：（1）环境准备（2）安装scala（3）安装spark（4）验证安装情况1、环境准备（1）配套软件版本要求：Spark runs on Java 6+ and Python 2.6+. For the Scala API, ... 阅读全文
摘要：
1、安装package control使用control+~打开终端，然后输入以下内容并确定：import urllib.request,os;pf='Package Control.sublime-package';ipp=sublime.installed_packages_path();url... 阅读全文
摘要：
一、规划 （一）硬件资源 10.171.29.191 master10.171.94.155 slave110.251.0.197 slave3（二）基本资料 用户： jediael 目录：/mnt/jediael/ 二、环境配置 （一）统一用户名密码，并为jediael赋予执行所有命令的权限 #p... 阅读全文
摘要：
一、环境准备1、安装jdk、maven等2、下载hadoop源代码，并解压3、将tools.jar复制到Classes中，具体原因见http://wiki.apache.org/hadoop/HowToSetupYourDevelopmentEnvironmentcd $JAVA_HOME mkdi... 阅读全文
摘要：
更多内容请参考官方文档：http://maven.apache.org/guides/index.html 官方文档很详细，基本上可以查找到一切相关的内容。另外，快速入门可参考视频：孔浩的maven视频。一、快速入门（一）搭建环境1、下载maven，并将之解压或者直接使用yum 来安装2、配置环境变... 阅读全文
摘要：
/etc/profile:此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行.并从/etc/profile.d目录的配置文件中搜集shell的设置./etc/bashrc:为每一个运行bash shell的用户执行此文件.当bash shell被打开时,该文件被读取.~/.bash... 阅读全文
摘要：
Client写入 -> 存入MemStore，一直到MemStore满 -> Flush成一个StoreFile，直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除 -> 当StoreFiles Compact后... 阅读全文