上一页 1 ··· 7 8 9 10 11 12 13 14 15 下一页
2015年8月28日
CDH集群中YARN的参数配置
摘要： CDH集群中YARN的参数配置 前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yar 阅读全文
posted @ 2015-08-28 00:21 农民阿姨 阅读(6941) 评论(1) 推荐(0) 编辑
Spak之开发代码 _pom 配置
摘要： 1.spark on yarn import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ /** * Created by zzy on 8/27/15. */ object SaprkOnYarn { def main(args: Array[String]) { if(args.... 阅读全文
posted @ 2015-08-28 00:10 农民阿姨 阅读(368) 评论(0) 推荐(0) 编辑
大数据处理时用到maven的repository
摘要： 由于做数据处理时，经常遇到maven 下载依赖包错误，下面我将自己下载好的repository 分享下 里边包含：Hadoop ，storm ,sprk ,kafka ,等 压缩后500多M。 http://pan.baidu.com/s/1pJN2ScV 如有问题请联系: chaoren399@126.com 阅读全文
posted @ 2015-08-28 00:02 农民阿姨 阅读(328) 评论(0) 推荐(0) 编辑
2015年8月26日
Spark之命令
摘要： Spark之命令 1.spark运行模式有4种： a.local 多有用测试, b. standalone：spark 集群模式，使用spark自己的调度方式。 c. Yarn: 对MapreduceV1升级的经典版本，支持spark。 d.Mesos:类似Yarn的资源调度框架，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行hadoop、spark等框架 2.spark loc... 阅读全文
posted @ 2015-08-26 21:39 农民阿姨 阅读(1242) 评论(0) 推荐(0) 编辑
Spark之集群搭建
摘要： 注意,这种安装方式是集群方式:然后有常用两种运行模式: standalone , on yarn区别就是在编写 standalone 与 onyarn 的程序时的配置不一样,具体请参照spar2中的例子.提交方式:standalone spark-submit --class testkmeans.... 阅读全文
posted @ 2015-08-26 15:03 农民阿姨 阅读(379) 评论(0) 推荐(0) 编辑
2015年8月25日
Spark之scala
摘要： 一、什么是scala scala 是基于JVMde 编程语言。JAVA是运行在jvm上的编程语言，java 源代码通过jvm被编译成class 文件，然后在os上运行class 文件。scala是运行在jvm 上的编程语言，scala源代码通过jvm被编译成class文件，然后在os上运行class文件。 二语法： 1.声明值和变量 var a =12 // 定义变量 vary val b... 阅读全文
posted @ 2015-08-25 16:16 农民阿姨 阅读(312) 评论(0) 推荐(0) 编辑
2015年8月21日
Linux之服务器时间同步
摘要： Linux时间同步(把nameNode1作为时间同步服务器） 设置时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 联网情况：ntpdate us.pool.ntp.org 查看NTP状态 service ntpd status yum install ntpd chkconfig ntpd on 配置ntp服务端： vim /etc/n... 阅读全文
posted @ 2015-08-21 23:16 农民阿姨 阅读(452) 评论(0) 推荐(0) 编辑
2015年8月20日
Hadoop 之Mong DB 之CentOS 6 使用 yum 安装MongoDB及服务器端配置
摘要： 安装MongoDB的方法有很多种，可以源代码安装，在Centos也可以用yum源安装的方法。由于MongoDB更新得比较快，我比较喜欢用yum源安装的方法。64位Centos下的安装步骤如下： 1、准备工作 运行yum命令查看MongoDB的包信息 [root@localhost~]# yum info mongo-10gen （提示没有相关匹配的信息，） 说明你的centos系统中的yu... 阅读全文
posted @ 2015-08-20 13:22 农民阿姨 阅读(308) 评论(0) 推荐(0) 编辑
Hadoop 之MongoDB
摘要： NoSql 简介： COUCH DB REDIS MONGODB NEO4J HBASE BIGTABLE 存储非结构化数据 索引多：单键，多键，数组，全文，2D。MonggoDB数据类型： null,boolean ,没有int 型，内嵌文档, secureCRT :http://la... 阅读全文
posted @ 2015-08-20 08:51 农民阿姨 阅读(218) 评论(0) 推荐(0) 编辑
2015年8月19日
Hadoop 之Impala
摘要： impala 是基于hive的大数据实时分析查询引擎，直接使用Hive的元数据库metadata意味着impala元数据都存储在hive的metadstore中并且impala兼容hive的sql解析，实现了hive得sql语义子集，功能还在不断完善中。shell命令impala-shell 命令用... 阅读全文
posted @ 2015-08-19 22:58 农民阿姨 阅读(524) 评论(0) 推荐(0) 编辑
Hadoop之Storm其他_pom
摘要： 1.pom 配置 org.apache.storm storm-core 0.9.3 commons-io commons-io 2.4 阅读全文
posted @ 2015-08-19 07:34 农民阿姨 阅读(190) 评论(0) 推荐(0) 编辑
Hadoop之Storm命令
摘要： Hadoop之Storm命令1.storm核心概念stream--->一列火车tuple--->一节车厢数据--->乘客spout--->始发站bolt--->中间站点bolt--->中间站点bolt--->终点topology(拓扑) 阅读全文
posted @ 2015-08-19 07:33 农民阿姨 阅读(155) 评论(0) 推荐(0) 编辑
Hadoop之Storm安装
摘要： nimbus：主节点，负责分发代码，分配任务(只能有一个)supervisor：从节点，负责执行任务(可以有多个)jdkzookeeper(192.168.1.170/171/172)建议在zookeeper的节点上设置一个crontab定时任务，同步时间：* * * * * /usr/sbin/n... 阅读全文
posted @ 2015-08-19 07:32 农民阿姨 阅读(418) 评论(0) 推荐(0) 编辑
2015年8月16日
如何编译Apache Hadoop2.6.0源代码
摘要： 如何编译Apache Hadoop2.6.0源代码 1．安装CentOS 我使用的是CentOS6.5，下载地址是http://mirror.neu.edu.cn/centos/6.5/isos/x86_64/，选择CentOS-6.5-x86_64-bin-DVD1.iso 下载，注意是64位的， 阅读全文
posted @ 2015-08-16 22:15 农民阿姨 阅读(404) 评论(0) 推荐(0) 编辑
2015年8月14日
如何解决Mac里面解压后文件名乱码问题
摘要： 如果你把Mac当成你的主要工作机器，而你的同事用的都是Windows，有时候交换文档就是一件很痛苦的事，比如今天要说到的问题：当同事传给你一个zip文件，结果你拿过来解压后发现里面有些文件的文件名如果带中文的话，你看到的将会是一堆乱码。。。Jay一直都无视这个问题，直到有一天终于忍不住了，去goog... 阅读全文
posted @ 2015-08-14 23:38 农民阿姨 阅读(11714) 评论(0) 推荐(0) 编辑
MAVEN for mac 安装
摘要： http://blog.csdn.net/anialy/article/details/22217937下载 maven http://mirrors.hust.edu.cn/apache/maven/maven-3/现编的bug也是配置jdk的步骤bug【java.lang.Unsupported... 阅读全文
posted @ 2015-08-14 20:22 农民阿姨 阅读(1023) 评论(0) 推荐(0) 编辑
maven打包步骤_maven 构建项目
摘要： maven打包1：先在pom文件中添加下面配置 jar org.apache.maven.plugins maven-compiler-plugin 2.3.2 UTF-8 1.7 1.7 true maven-assembly-plugin jar-with-dependenci... 阅读全文
posted @ 2015-08-14 19:47 农民阿姨 阅读(7280) 评论(0) 推荐(0) 编辑
2015年8月12日
Eclipse中集成Ant配置 (转)
摘要： 目前的Eclipse都集成了ant，本文图示如何在eclipse下使用ant。1.新建Java Project-新建Java文件HelloWorld.javaHelloWorld.javapackage example;public class HelloWorld {public static v... 阅读全文
posted @ 2015-08-12 17:59 农民阿姨 阅读(1131) 评论(0) 推荐(0) 编辑
java
摘要： java 阅读全文
posted @ 2015-08-12 10:47 农民阿姨 阅读(247) 评论(0) 推荐(0) 编辑
2015年8月10日
I’ve seen the world,lit it up as my stage now
摘要： I’ve seen the world,lit it up as my stage now 阅尽繁华 点亮红尘做舞台 Channeling angels in,the new age now 粉末登场 有你有我新时达 Hot summer days,rock and roll The way you’d play or me at your show 激情夏日 知君歌舞皆为我 And all ... 阅读全文
posted @ 2015-08-10 22:03 农民阿姨 阅读(608) 评论(0) 推荐(0) 编辑
上一页 1 ··· 7 8 9 10 11 12 13 14 15 下一页