2015年11月9日
ubuntu下定时任务的执行
摘要： 概述linux系统由cron(crond)这个系统服务来控制例行性计划任务。Linux系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另外,由于使用者自己也可以设置计划任务，所以，Linux系统也提供了使用者控制计划任务的命令:crontab命令。Linux下的任务调度分为两类，系... 阅读全文
posted @ 2015-11-09 16:54 大数据从业者FelixZh 阅读(677) 评论(0) 推荐(0)
ubuntu下配置rsync，实现远程备份
摘要： rysnc(remote synchronize)在CentOS系统默认安装在/usr/bin，此外rysnc在windows平台下也有相应版本。主页地址为：http://rsync.samba.org/概述Rsync（remote synchronize） 远程同步工具，基于SSH同步本地和远程主... 阅读全文
posted @ 2015-11-09 15:25 大数据从业者FelixZh 阅读(6372) 评论(0) 推荐(0)
ubuntu使用遇到的问题
摘要： １．不适当操作，改了sudoers的权限scdev@scdev1005:~$ sudo vim /etc/profilesudo: /etc/sudoers is owned by uid 1000, should be 0sudo: no valid sudoers sources found, ... 阅读全文
posted @ 2015-11-09 11:32 大数据从业者FelixZh 阅读(1403) 评论(0) 推荐(0)
2015年11月6日
高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
摘要： 原文：http://my.oschina.net/wstone/blog/365010#OSC_h3_13(WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南[X] 安装环境:[X] 编译hadoop[1] 拷贝hadoop-2.2.0-src.tar.gz到hado... 阅读全文
posted @ 2015-11-06 11:20 大数据从业者FelixZh 阅读(634) 评论(0) 推荐(0)
2015年11月5日
spark program guide
摘要： 概述Spark 应用由driver program 组成，driver program运行用户的主函数，在集群内并行执行各种操作主要抽象RDD： spark提供RDD，是贯穿整个集群中所有节点的分区元素的集合，能够被并行操作。RDDS来源： １．Hadoop文件系统或支持Hadoop的文件系统... 阅读全文
posted @ 2015-11-05 13:43 大数据从业者FelixZh 阅读(338) 评论(0) 推荐(0)
ubuntu集群下ssh配置总结
摘要： 最重要的前提就是：集群中的所有机器的用户名和用户组必须一样一般做法都是在每台机器上新建用户组和用户名。比如：sudo addgroup sparks 新建用户组sparks； sudo adduser spark sparks　在新建用户组sparks中添加用户spark sudo addu... 阅读全文
posted @ 2015-11-05 11:24 大数据从业者FelixZh 阅读(339) 评论(0) 推荐(0)
2015年10月26日
从此使用linux系统，但是QQ是必不可少的！！该篇文章方法成功！！！已验证！！！！！
摘要： 一开始，我在Ubuntu14.04下安装的QQ版本是WineQQ2013SP6-20140102-Longene,但后来发现这个版本QQ在linux下问题很多，比如不能用键盘输入密码，QQ表情使用失灵，有些不兼容等，最重要的是我发现它及其的占用CPU，令我很不爽（有图为证）：于是我便用sudo dp... 阅读全文
posted @ 2015-10-26 18:25 大数据从业者FelixZh 阅读(352) 评论(0) 推荐(0)
mongodb初级
摘要： 上班第一天，先玩玩mongdb！1：下载安装就不说了2：启动服务 mongod 通常会报错： 原因：mongodb会使用默认的数据库存储路径是data/db，刚安装好的mongodb是不存在该路径的 可通过指定路径启动服务 mongod --dbpath 你指定的路径 。 启动成功！2：通过she... 阅读全文
posted @ 2015-10-26 17:55 大数据从业者FelixZh 阅读(596) 评论(0) 推荐(0)
2015年9月24日
约瑟夫环
摘要： package 约瑟夫环;import java.util.ArrayList;import java.util.List;public class 约瑟夫环 { public static void main(String[] args) { List list = n... 阅读全文
posted @ 2015-09-24 21:49 大数据从业者FelixZh 阅读(277) 评论(0) 推荐(0)
括号匹配
摘要： package 括号匹配;import java.util.Stack;public class 括号匹配 { public static void main(String[] args) { Stack stack = new Stack(); c... 阅读全文
posted @ 2015-09-24 21:47 大数据从业者FelixZh 阅读(247) 评论(0) 推荐(0)
2015年9月14日
采用线性探测方法解决冲突
摘要： 已知一个线性表（38，25，74，63，52，48），假定采用散列函数h(key)=key%7计算散列地址，并散列存储在散列表A[0..6]中，若采用线性探测方法解决冲突，则在该散列表上进行等概率成功查找的平均查找长度为___分析：利用该散列函数散列存储结果为68|48 | |38|25|74|52... 阅读全文
posted @ 2015-09-14 15:47 大数据从业者FelixZh 阅读(3973) 评论(0) 推荐(0)
2015年8月25日
C#字节数组与字符串转换
摘要： using System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;using System.Linq;using System.Text;u... 阅读全文
posted @ 2015-08-25 17:27 大数据从业者FelixZh 阅读(836) 评论(0) 推荐(0)
2015年8月22日
在一个字符串中找出以同样的顺序连续出现在另一个字符串中的最长连续字符串的长度
摘要： package InterviewTitle;import java.util.ArrayList;public class 搜索最长字符串 { public static void main(String[] args) { String query = "acbac"; ... 阅读全文
posted @ 2015-08-22 17:27 大数据从业者FelixZh 阅读(371) 评论(0) 推荐(0)
2015年8月19日
二分查找（递归和非递归实现）
摘要： 当然前提是：有序数列，这里以升序为例！public class binarySearch { public static void main(String[] args) { int arr[]={1,2,3,4,5,6,7,8,9}; int key=9;... 阅读全文
posted @ 2015-08-19 16:01 大数据从业者FelixZh 阅读(491) 评论(0) 推荐(0)
螺旋形打印矩阵
摘要： package 矩阵1;public class JuZheng { public static void main(String args[]) { int n = 5; int m = 0; int k = 0; int[][] a ... 阅读全文
posted @ 2015-08-19 15:39 大数据从业者FelixZh 阅读(281) 评论(0) 推荐(0)
n阶方阵的最值问题和对角线的和问题
摘要： 如题！package 矩阵2;public class JuZheng { public static void main(String args[]) { int array[][] = { { 1, 2, 3 }, { 4, 5, 6 }, { 7, 8, 9 } }; ... 阅读全文
posted @ 2015-08-19 14:57 大数据从业者FelixZh 阅读(330) 评论(0) 推荐(0)
求矩阵每行的最大值
摘要： 要求：给出一个举证，求出矩阵每行中的最大值！非方阵一样的！public class JuZheng { public static void main(String args[]) { int a[][] = { { 1, 2, 3 }, { 4, 5, 6 },{7,8,9}}... 阅读全文
posted @ 2015-08-19 14:40 大数据从业者FelixZh 阅读(905) 评论(0) 推荐(0)
2015年8月18日
完美集群监控组合ganglia和nagios
摘要： Ganglia是伯克利开发的一个集群监控软件。可以监视和显示集群中的节点的各种状态信息，比如如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，同时可以将历史数据以曲线方式通过php页面呈现。而ganglia又依赖于一个web服务器用来显示集群状态，用rrdtool来存储数据和生成曲线图... 阅读全文
posted @ 2015-08-18 17:31 大数据从业者FelixZh 阅读(584) 评论(0) 推荐(0)
数据库设计三大范式
摘要： http://www.cnblogs.com/linjiqin/archive/2012/04/01/2428695.html为了建立冗余较小、结构合理的数据库，设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为范式。范式是符合某一种设计要求的总结。要想设计一个结构合理的关系型数据库，必... 阅读全文
posted @ 2015-08-18 14:59 大数据从业者FelixZh 阅读(354) 评论(0) 推荐(0)
2015年8月17日
二叉树的遍历
摘要： 二叉树的遍历有三种方式，如下：（1）前序遍历（DLR），首先访问根结点，然后遍历左子树，最后遍历右子树。简记根-左-右。（2）中序遍历（LDR），首先遍历左子树，然后访问根结点，最后遍历右子树。简记左-根-右。（3）后序遍历（LRD），首先遍历左子树，然后遍历右子树，最后访问根结点。简记左-右-根。... 阅读全文
posted @ 2015-08-17 15:28 大数据从业者FelixZh 阅读(456) 评论(0) 推荐(0)
linux命令应用之一
摘要： 某个目录下有两个文件a.txt和b.txt.文件格式为（ip username）,例如：a.txt127.0.0.1 zhangsan127.0.0.1 wangxiao127.0.0.2 lisi127.0.0.3 wangwub.txt127.0.0.4 lixiao127.0.0.1 lisi... 阅读全文
posted @ 2015-08-17 14:24 大数据从业者FelixZh 阅读(362) 评论(0) 推荐(0)
2015年8月15日
HIVE配置错误信息
摘要： 原因：版本问题解决方法：cp /root/hive/lib/当前的jlinexx.jar /root/hadoop/share/hadoop/yarn/lib 阅读全文
posted @ 2015-08-15 23:51 大数据从业者FelixZh 阅读(271) 评论(0) 推荐(0)
2015年8月14日
二分查找(JAVA)
摘要： public class binarySearch { public static void main(String[] args) { int arr[]={1,2,3,4,5,6,7,8,9}; int key=9; //int resul... 阅读全文
posted @ 2015-08-14 16:20 大数据从业者FelixZh 阅读(238) 评论(0) 推荐(0)
2015年8月13日
HBase1.0.1.1 API与原来有所不同
摘要： 1 package com.felix.hbaseapi_test; 2 3 /* 这是旧版的 API操作 */16 public class hbaseapifelix {17 18 public static final String TABLE_NAME ... 阅读全文
posted @ 2015-08-13 23:58 大数据从业者FelixZh 阅读(1293) 评论(0) 推荐(0)
hbase shell中log4j重复问题
摘要： [root@centos ~]# hbase shellSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/root/hbase/lib/slf4j-log4j12-1.7.7.j... 阅读全文
posted @ 2015-08-13 23:02 大数据从业者FelixZh 阅读(899) 评论(0) 推荐(0)
hadoop本地库无法加载
摘要： （1）设置环境变量 export HADOOP_HOME=/your/own/hadoop/home export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.p... 阅读全文
posted @ 2015-08-13 14:28 大数据从业者FelixZh 阅读(739) 评论(0) 推荐(0)
利用mapreduce将数据从hdfs导入到hbase遇到的问题
摘要： 现象：15/08/12 10:19:30 INFO mapreduce.Job: Job job_1439396788627_0005 failed with state FAILED due to: Application application_1439396788627_0005 failed... 阅读全文
posted @ 2015-08-13 01:32 大数据从业者FelixZh 阅读(598) 评论(0) 推荐(0)
2015年8月12日
HBase伪分布式环境下，HBase的API操作，遇到的问题
摘要： 在hadoop2.5.2伪分布式上，安装了hbase1.0.1.1的伪分布式利用HBase的API创建个testapi的表时，提示Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/hbase/HBaseCo... 阅读全文
posted @ 2015-08-12 17:20 大数据从业者FelixZh 阅读(873) 评论(0) 推荐(0)
2015年8月5日
Hadoop开发中，如何开启、关闭控制台打印调试信息
摘要： 第一种方法： 修改$HADOOP_CONF_DIR/log4j.properties文件hadoop.root.logger=ALL,console第二种方法 开启：export HADOOP_ROOT_LOGGER=DEBUG,console 关闭：export HADOOP_ROOT_LO... 阅读全文
posted @ 2015-08-05 15:45 大数据从业者FelixZh 阅读(1791) 评论(0) 推荐(0)
2015年8月2日
Hadoop的mapreduce开发过程，我遇到的错误集锦（持续更新）
摘要： 1.Text包导错了。将import com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider.Text;改为import org.apache.hadoop.io.Text;.2.本地编译环境和生产环境中的java版本不匹配。有... 阅读全文
posted @ 2015-08-02 23:24 大数据从业者FelixZh 阅读(551) 评论(0) 推荐(0)
大数据从业者