08 2015 档案

大数据之Ganglia安装1
摘要：0、前期准备修改主机名、ip、iptables关闭；时间同步：ntpdate -s time.windows.com;软件准备ganglia-3.7.1.tar.gz、ganglia-web-3.7.0.tar.gz 地址：http://ganglia.info/?page_id=66confuse-2.7.tar.gz 地址：http://www.nongnu.org/confuse/Pytho... 阅读全文
posted @ 2015-08-31 21:31 农民阿姨 阅读(340) 评论(0) 推荐(0)
大数据之Ganglia
摘要：1.什么是ganglia 一个开源集群监视项目；Ganglia可以做系统监控，但是，目前它不支持服务器异常或故障报警功能。 2.Ganglia监控集群架构 Ganglia 集群主要是由gmond、gmetad、gweb这3个守护进程组成，其中gmetad进程相当于监控集群的master。而多个gmond进程可以进行分组，每个分组其实是一个用来收集监控数据的代理服务集群，也就是说多个gmond... 阅读全文
posted @ 2015-08-31 21:20 农民阿姨 阅读(1424) 评论(0) 推荐(0)
Linux 之安装文件
摘要：1.首先要检查rpm -q gcc glibc glibc-common rrdtool rrdtool-devel expat expat-devel pcre pcre-devel dejavu-lgc-sans-mono-fonts dejavu-sans-mono-fonts zlib-de... 阅读全文
posted @ 2015-08-31 17:42 农民阿姨 阅读(280) 评论(0) 推荐(0)
数据挖掘书籍
摘要：http://blog.csdn.net/dream_angel_z/article/details/44773801 阅读全文
posted @ 2015-08-31 14:07 农民阿姨 阅读(191) 评论(0) 推荐(0)
Hadoop之Hive 安装_（hadoop 集群）
摘要：Hive mysql的metastore安装准备（***掌握***） 在nameNode1机子上实践： 把hive-0.12.0.tar.gz解压到/itcast/ # tar -zxvf hive-0.12.0.tar.gz -C /itcast 修改/etc/profile文件，将hive加入环境变量 # vim /etc/profile export JAVA_HOME=/usr/java/... 阅读全文
posted @ 2015-08-28 23:06 农民阿姨 阅读(275) 评论(0) 推荐(0)
Spark之Streaming
摘要：1. socket消息发送 import java.net.ServerSocket import java.io.PrintWriter import scala.collection.mutable.ListBuffer import java.util.Random /** * Created by zzy on 8/28/15. */ /** * 模拟socket消息发送 ... 阅读全文
posted @ 2015-08-28 22:11 农民阿姨 阅读(256) 评论(0) 推荐(0)
CDH集群中YARN的参数配置
摘要：CDH集群中YARN的参数配置 前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yar 阅读全文
posted @ 2015-08-28 00:21 农民阿姨 阅读(6996) 评论(1) 推荐(0)
Spak之开发代码 _pom 配置
摘要：1.spark on yarn import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ /** * Created by zzy on 8/27/15. */ object SaprkOnYarn { def main(args: Array[String]) { if(args.... 阅读全文
posted @ 2015-08-28 00:10 农民阿姨 阅读(374) 评论(0) 推荐(0)
大数据处理时用到maven的repository
摘要：由于做数据处理时，经常遇到maven 下载依赖包错误，下面我将自己下载好的repository 分享下 里边包含：Hadoop ，storm ,sprk ,kafka ,等 压缩后500多M。 http://pan.baidu.com/s/1pJN2ScV 如有问题请联系: chaoren399@126.com 阅读全文
posted @ 2015-08-28 00:02 农民阿姨 阅读(335) 评论(0) 推荐(0)
Spark之命令
摘要：Spark之命令 1.spark运行模式有4种： a.local 多有用测试, b. standalone：spark 集群模式，使用spark自己的调度方式。 c. Yarn: 对MapreduceV1升级的经典版本，支持spark。 d.Mesos:类似Yarn的资源调度框架，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行hadoop、spark等框架 2.spark loc... 阅读全文
posted @ 2015-08-26 21:39 农民阿姨 阅读(1271) 评论(0) 推荐(0)
Spark之集群搭建
摘要：注意,这种安装方式是集群方式:然后有常用两种运行模式: standalone , on yarn区别就是在编写 standalone 与 onyarn 的程序时的配置不一样,具体请参照spar2中的例子.提交方式:standalone spark-submit --class testkmeans.... 阅读全文
posted @ 2015-08-26 15:03 农民阿姨 阅读(394) 评论(0) 推荐(0)
Spark之scala
摘要：一、什么是scala scala 是基于JVMde 编程语言。JAVA是运行在jvm上的编程语言，java 源代码通过jvm被编译成class 文件，然后在os上运行class 文件。scala是运行在jvm 上的编程语言，scala源代码通过jvm被编译成class文件，然后在os上运行class文件。 二语法： 1.声明值和变量 var a =12 // 定义变量 vary val b... 阅读全文
posted @ 2015-08-25 16:16 农民阿姨 阅读(331) 评论(0) 推荐(0)
Linux之服务器时间同步
摘要：Linux时间同步(把nameNode1作为时间同步服务器） 设置时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 联网情况：ntpdate us.pool.ntp.org 查看NTP状态 service ntpd status yum install ntpd chkconfig ntpd on 配置ntp服务端： vim /etc/n... 阅读全文
posted @ 2015-08-21 23:16 农民阿姨 阅读(477) 评论(0) 推荐(0)
Hadoop 之Mong DB 之CentOS 6 使用 yum 安装MongoDB及服务器端配置
摘要：安装MongoDB的方法有很多种，可以源代码安装，在Centos也可以用yum源安装的方法。由于MongoDB更新得比较快，我比较喜欢用yum源安装的方法。64位Centos下的安装步骤如下： 1、准备工作 运行yum命令查看MongoDB的包信息 [root@localhost~]# yum info mongo-10gen （提示没有相关匹配的信息，） 说明你的centos系统中的yu... 阅读全文
posted @ 2015-08-20 13:22 农民阿姨 阅读(328) 评论(0) 推荐(0)
Hadoop 之MongoDB
摘要：NoSql 简介： COUCH DB REDIS MONGODB NEO4J HBASE BIGTABLE 存储非结构化数据 索引多：单键，多键，数组，全文，2D。MonggoDB数据类型： null,boolean ,没有int 型，内嵌文档, secureCRT :http://la... 阅读全文
posted @ 2015-08-20 08:51 农民阿姨 阅读(226) 评论(0) 推荐(0)
Hadoop 之Impala
摘要：impala 是基于hive的大数据实时分析查询引擎，直接使用Hive的元数据库metadata意味着impala元数据都存储在hive的metadstore中并且impala兼容hive的sql解析，实现了hive得sql语义子集，功能还在不断完善中。shell命令impala-shell 命令用... 阅读全文
posted @ 2015-08-19 22:58 农民阿姨 阅读(536) 评论(0) 推荐(0)
Hadoop之Storm其他_pom
摘要：1.pom 配置 org.apache.storm storm-core 0.9.3 commons-io commons-io 2.4 阅读全文
posted @ 2015-08-19 07:34 农民阿姨 阅读(199) 评论(0) 推荐(0)
Hadoop之Storm命令
摘要：Hadoop之Storm命令1.storm核心概念stream--->一列火车tuple--->一节车厢数据--->乘客spout--->始发站bolt--->中间站点bolt--->中间站点bolt--->终点topology(拓扑) 阅读全文
posted @ 2015-08-19 07:33 农民阿姨 阅读(168) 评论(0) 推荐(0)
Hadoop之Storm安装
摘要：nimbus：主节点，负责分发代码，分配任务(只能有一个)supervisor：从节点，负责执行任务(可以有多个)jdkzookeeper(192.168.1.170/171/172)建议在zookeeper的节点上设置一个crontab定时任务，同步时间：* * * * * /usr/sbin/n... 阅读全文
posted @ 2015-08-19 07:32 农民阿姨 阅读(427) 评论(0) 推荐(0)
如何编译Apache Hadoop2.6.0源代码
摘要：如何编译Apache Hadoop2.6.0源代码 1．安装CentOS 我使用的是CentOS6.5，下载地址是http://mirror.neu.edu.cn/centos/6.5/isos/x86_64/，选择CentOS-6.5-x86_64-bin-DVD1.iso 下载，注意是64位的， 阅读全文
posted @ 2015-08-16 22:15 农民阿姨 阅读(433) 评论(0) 推荐(0)
如何解决Mac里面解压后文件名乱码问题
摘要：如果你把Mac当成你的主要工作机器，而你的同事用的都是Windows，有时候交换文档就是一件很痛苦的事，比如今天要说到的问题：当同事传给你一个zip文件，结果你拿过来解压后发现里面有些文件的文件名如果带中文的话，你看到的将会是一堆乱码。。。Jay一直都无视这个问题，直到有一天终于忍不住了，去goog... 阅读全文
posted @ 2015-08-14 23:38 农民阿姨 阅读(11852) 评论(0) 推荐(0)
MAVEN for mac 安装
摘要：http://blog.csdn.net/anialy/article/details/22217937下载 maven http://mirrors.hust.edu.cn/apache/maven/maven-3/现编的bug也是配置jdk的步骤bug【java.lang.Unsupported... 阅读全文
posted @ 2015-08-14 20:22 农民阿姨 阅读(1039) 评论(0) 推荐(0)
maven打包步骤_maven 构建项目
摘要：maven打包1：先在pom文件中添加下面配置 jar org.apache.maven.plugins maven-compiler-plugin 2.3.2 UTF-8 1.7 1.7 true maven-assembly-plugin jar-with-dependenci... 阅读全文
posted @ 2015-08-14 19:47 农民阿姨 阅读(7308) 评论(0) 推荐(0)
Eclipse中集成Ant配置 (转)
摘要：目前的Eclipse都集成了ant，本文图示如何在eclipse下使用ant。1.新建Java Project-新建Java文件HelloWorld.javaHelloWorld.javapackage example;public class HelloWorld {public static v... 阅读全文
posted @ 2015-08-12 17:59 农民阿姨 阅读(1145) 评论(0) 推荐(0)
java
摘要：java 阅读全文
posted @ 2015-08-12 10:47 农民阿姨 阅读(253) 评论(0) 推荐(0)
I’ve seen the world,lit it up as my stage now
摘要：I’ve seen the world,lit it up as my stage now 阅尽繁华 点亮红尘做舞台 Channeling angels in,the new age now 粉末登场 有你有我新时达 Hot summer days,rock and roll The way you’d play or me at your show 激情夏日 知君歌舞皆为我 And all ... 阅读全文
posted @ 2015-08-10 22:03 农民阿姨 阅读(687) 评论(0) 推荐(0)
Hadoop 之面试题
摘要：颜色区别： 蓝色：hive,橙色：Hbase。黑色hadoop 请简述hadoop怎样实现二级排序． 你认为用Java,Streaming,pipe 方式开发map/reduce,各有哪些优缺点： 6. 请列出在你以前工作中所使用过的开发map /reduce的语言java：scala:python 阅读全文
posted @ 2015-08-09 16:46 农民阿姨 阅读(1130) 评论(0) 推荐(0)
Hadoop 面试题redis
摘要：Hadoop 面试题之十 548.redis有什么特别之处，为什么用redis,用hbase 不行么？ 答：redis 是基于内存的数据库，速度快 551.redis用什么版本？ 3.0以上才支持集群 553.redis安装时候遇到什么问题？ log日志文件不存在，需要自己创建才能成功 。redis-server /redis.conf redis-cli 514.Redis的基本类型 答... 阅读全文
posted @ 2015-08-09 11:24 农民阿姨 阅读(542) 评论(0) 推荐(1)
Hadoop 面试题之Hbase
摘要：Hadoop 面试题之九 16.Hbase 的rowkey 怎么创建比较好？列族怎么创建比较好？ 答： 19.Hbase 内部是什么机制？ 答： 73.hbase 写数据的原理是什么？ 答： 75.hbase宕机如何处理？ 答： 144. 如果让你设计，你觉得一个分布式文件系统应该如何设计，考虑哪方面内容； 每天百亿数据入hbase，如何保证数据的存储正确和在规定的时间里全部... 阅读全文
posted @ 2015-08-09 11:23 农民阿姨 阅读(1364) 评论(0) 推荐(0)
Hadoop 面试题之storm 3个
摘要：Hadoop 面试题之八 355.metaq 消息队列 zookeeper 集群 storm集群(包括 zeromq,jzmq,和 storm 本身)就可以完成对商城推荐系统功能吗？还有其他的中间件？ 356.storm怎么完成对单词的计数？（个人看完storm 后一直都认为他是流处理，好像没有积攒数据的能力，都是处理完之后直接分发给下一个组件） 357.storm 其他的一些面试经常问的问题... 阅读全文
posted @ 2015-08-09 11:20 农民阿姨 阅读(900) 评论(0) 推荐(0)
Hadoop 面试题之七
摘要：Hadoop 面试题之七 阅读全文
posted @ 2015-08-09 11:18 农民阿姨 阅读(145) 评论(0) 推荐(0)
Hadoop 面试题之六
摘要：Hadoop 面试题之六 阅读全文
posted @ 2015-08-09 11:17 农民阿姨 阅读(136) 评论(0) 推荐(0)
Hadoop 面试题之五-----------算法
摘要：Hadoop 面试题之五 阅读全文
posted @ 2015-08-09 11:16 农民阿姨 阅读(164) 评论(0) 推荐(0)
Hadoop 面试题之四
摘要：Hadoop 面试题之四 阅读全文
posted @ 2015-08-09 11:15 农民阿姨 阅读(134) 评论(0) 推荐(0)
Hadoop 面试题之三
摘要：Hadoop 面试题之三 阅读全文
posted @ 2015-08-09 11:14 农民阿姨 阅读(138) 评论(0) 推荐(0)
Hadoop 面试题之二
摘要：Hadoop 面试题之2 阅读全文
posted @ 2015-08-09 11:13 农民阿姨 阅读(154) 评论(0) 推荐(0)
Hadoop 面试题之一
摘要：Hadoop 面试题之1 阅读全文
posted @ 2015-08-09 11:13 农民阿姨 阅读(139) 评论(0) 推荐(0)
Hadoop 面试题 之Hive
摘要：1.Hive 有哪些方式保存元数据，各有哪些特点。 15. Hive内部表和外部表的区别 23.hive底层与数据库交互原理Hive的Hql语句掌握情况? 36.使用Hive或自定义mr实现如下逻辑： product_no lac_id moment start_time user_id county_id staytime city_id 13429100031 22554 8 2013-0... 阅读全文
posted @ 2015-08-09 11:12 农民阿姨 阅读(873) 评论(0) 推荐(0)
Hadoop之hive 其他
摘要：1. 没有恩。 阅读全文
posted @ 2015-08-09 11:02 农民阿姨 阅读(146) 评论(0) 推荐(0)
mac 安装mysql
摘要：mac 安装mysql 1. 下载档 2. 下载后学习成本很大故放弃学习 直接用linux 安装 学习 Ok 阅读全文
posted @ 2015-08-07 21:10 农民阿姨 阅读(127) 评论(0) 推荐(0)
Mac OS X【快捷键组合】汇总
摘要：以下是可能会出现在 OS X 菜单中的修饰键符号：⌘——()⌃ ——Control⌥——(alt)⇧——Shift⇪——Caps Lockfn——功能键就是fn启动快捷键按下按键或按键组合，直到所需的功能出现/显示（例如，在启动过程中按住键直到出现“启动管理程序”，或按住 Shift 键直到出现“... 阅读全文
posted @ 2015-08-07 18:21 农民阿姨 阅读(278) 评论(0) 推荐(0)
一月一城市，一年一大洲
摘要：本计划是，记忆世界上的所有的国家，浏览国家的首都。一月一城市，一年大洲 阅读全文
posted @ 2015-08-07 18:17 农民阿姨 阅读(146) 评论(0) 推荐(0)
自信的男生最有魅力
摘要：自信的男生最有魅力! B$ A# "自信"二字，太宽泛了，而且因为其"由内而外"的性质使各位男士无所适从。几天，我给大家来点具体的，可操作的：, O% E, E/ E# H" H' S1 h5 C3 N- d1 {; va. 两个人初见面，握手是个学问。男士握手特别需要注意，强调的是个握手的力度。魅力男士会看着对方的眼睛，面带微笑，主动伸出右手，，握住对方的手，有力地 抖两下，然后迅速松开... 阅读全文
posted @ 2015-08-06 21:11 农民阿姨 阅读(599) 评论(0) 推荐(0)
Python之路
摘要：Python之路 阅读全文
posted @ 2015-08-06 07:13 农民阿姨 阅读(138) 评论(0) 推荐(0)
Hadoop之伪分布环境搭建
摘要：搭建伪分布环境 上传hadoop2.7.0编译后的包并解压到/zzy目录下 mkdir /zzy 解压 tar -zxvf hadoop.2.7.0.tar.gz -C /zzy 配置hadoop 注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改5个配置文件 第一个：hadoop-env.sh vim hado... 阅读全文
posted @ 2015-08-04 17:42 农民阿姨 阅读(180) 评论(0) 推荐(0)
smb
摘要：smb编辑 SMB(Server Message Block)是协议名，它能被用于Wap连接和客户端与服务器之间的信息沟通。 阅读全文
posted @ 2015-08-03 19:30 农民阿姨 阅读(392) 评论(0) 推荐(0)
Maven 安装以及一些开发技巧
摘要：解压 apache-maven-3.2.5在conf ->sites中配置repository 的路径。Eclipse 配置 maven2.3.一些小BUG 或开发技巧eclipse更新maven的时候，不小心手一抖，点上了Disable Maven Nature，然后工程右键菜单中的Maven栏就... 阅读全文
posted @ 2015-08-02 21:32 农民阿姨 阅读(241) 评论(0) 推荐(0)
Hadoop之 hdfs 系统
摘要：一、NameNode维护着2张表： 1.文件系统的目录结构，以及元数据信息 2.文件与数据块列表的对应关系 存放在fsimage中，在运行的时候加载到内存中的。 操作日志写到edits中 二、DataNode 使用block形式存储。在hadoop2中，默认的大小是128MB。 使用副本形式保存数据的安全，默认的数量是3个。 使用shell访问hdfs bin/hdfs dfs –xxx ... 阅读全文
posted @ 2015-08-02 20:09 农民阿姨 阅读(240) 评论(0) 推荐(0)
Win 7 下制作 mac 系统启动U盘
摘要：Win 7 下制作 mac 系统启动U盘前几天因为工作需要，在mac 上安装了win7.后来因为习惯问题将win7 分区了，后来就是进不去mac os，只能进入win7 。可恶。 苹果客服说只能用mac 系统制作mac 启动u盘。（真他妈垃圾） 本人周末在家折腾1天找到解决方案如下 我想着在win下... 阅读全文
posted @ 2015-08-01 19:23 农民阿姨 阅读(897) 评论(0) 推荐(0)
Window 常用命令
摘要：Window 常用命令 Ctrl +alt +delete 切换用户 Ctrl +shift+esc 启动任务管理 阅读全文
posted @ 2015-08-01 09:28 农民阿姨 阅读(155) 评论(0) 推荐(0)