JackyKen - 博客园

2015年1月22日

摘要： package com.hive.jdbc;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.... 阅读全文

posted @ 2015-01-22 09:20 JackyKen 阅读(463) 评论(0) 推荐(0)

2015年1月15日

Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的

摘要：准备工作：1、笔记本4G内存，操作系统WIN72、工具VMware Workstation3、虚拟机：CentOS6.4共五台4、搭建好Hadoop集群( 方便Spark可从HDSF上读取文件，进行实验测试)实验环境：Hadoop HA集群：Iphostnamerole192.168.249.13... 阅读全文

posted @ 2015-01-15 10:47 JackyKen 阅读(1367) 评论(3) 推荐(4)

2015年1月8日

Spark中的编程模型

摘要： 1. Spark中的基本概念Application:基于Spark的用户程序，包含了一个driver program和集群中多个executor。Driver Program：运行Application的main()函数并创建SparkContext。通常SparkContext代表driver p... 阅读全文

posted @ 2015-01-08 11:23 JackyKen 阅读(563) 评论(0) 推荐(0)

2015年1月7日

Hadoop2.6集群环境搭建（HDFS HA+YARN）原来4G内存也能任性一次.

摘要：准备工作：1、笔记本4G内存，操作系统WIN7 （屌丝的配置）2、工具VMware Workstation3、虚拟机：CentOS6.4共四台虚拟机设置：每台机器：内存512M，硬盘40G，网络适配器：NAT模式选择高级，新生成虚机Mac地址（克隆虚拟机，Mac地址不会改变，每次最后手动重新生成）... 阅读全文

posted @ 2015-01-07 17:17 JackyKen 阅读(5031) 评论(15) 推荐(3)

公告