jinhong_lu

摘要： hadoop集群中主要进程有master: NameNode, ResourceManager,slaves: DataNode, NodeManager, RunJar, MRAppMaster,YarnChild其中 RunJar, MRAppMaster,YarnChild与随着某个job的创... 阅读全文

摘要： （一）简单入门1、创建一个表create table if not exists ljh_emp(name string,salary float,gender string)comment 'basic information of a employee'row format delimited ... 阅读全文

摘要： 一、公钥加密 假设一下，我找了两个数字，一个是1，一个是2。我喜欢2这个数字，就保留起来，不告诉你们(私钥），然后我告诉大家，1是我的公钥。我有一个文件，不能让别人看，我就用1加密了。别人找到了这个文件，但是他不知道2就是解密的私钥啊，所以他解不开，只有我可以用数字2，就是我的私钥，来解密。这样我就... 阅读全文

摘要： 一、下载并解压$ wget http://cdn.mysql.com/Downloads/MySQL-5.5/MySQL-5.5.42-1.el6.x86_64.rpm-bundle.tar解压后得到以下几个文件：$ tar -xvf MySQL-5.5.42-1.el6.x86_64.rpm-bu... 阅读全文

摘要： 1、spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。因此运行spark的机器应该尽量的大内存，如96G以上。2、spark所有操作均基于RDD，操作主要分成2大类：transformation与action。3、spark提供了交互处理接口，类似于shell的使用。4、s... 阅读全文

摘要： spark可以通过交互式命令行及编程两种方式来进行调用：前者支持scala与python后者支持scala、python与java本文参考https://spark.apache.org/docs/latest/quick-start.html，可作快速入门再详细资料及用法请见https://spa... 阅读全文

摘要： 集群环境搭建请见：http://blog.csdn.net/jediael_lu/article/details/45145767一、环境准备1、安装linux、jdk2、下载hadoop2.6.0，并解压3、配置免密码ssh（1）检查是否可以免密码： $ ssh localhost（2）若否：$ ... 阅读全文

摘要： 本文介绍安装spark单机环境的方法，可用于测试及开发。主要分成以下4部分：（1）环境准备（2）安装scala（3）安装spark（4）验证安装情况1、环境准备（1）配套软件版本要求：Spark runs on Java 6+ and Python 2.6+. For the Scala API, ... 阅读全文

摘要： 1、安装package control使用control+~打开终端，然后输入以下内容并确定：import urllib.request,os;pf='Package Control.sublime-package';ipp=sublime.installed_packages_path();url... 阅读全文

摘要： 一、规划 （一）硬件资源 10.171.29.191 master10.171.94.155 slave110.251.0.197 slave3（二）基本资料 用户： jediael 目录：/mnt/jediael/ 二、环境配置 （一）统一用户名密码，并为jediael赋予执行所有命令的权限 #p... 阅读全文