大数据从业者FelixZh

2016年10月21日

摘要： Java中线程的创建有两种方式： 1．通过继承Thread类，重写Thread的run()方法，将线程运行的逻辑放在其中 2．通过实现Runnable接口，实例化Thread类在实际应用中，我们经常用到多线程，如车站的售票系统，车站的各个售票口相当于各个线程。当我们做这个系统的时候可能会想到两阅读全文

posted @ 2016-10-21 19:25 大数据从业者FelixZh 阅读(4060) 评论(1) 推荐(0)

Eclipse上安装GIT插件EGit及使用

摘要：一、Eclipse上安装GIT插件EGit Eclipse的版本eclipse-java-helios-SR2-win32.zip（在Eclipse3.3版本找不到对应的 EGit插件，无法安装） EGit插件地址：http://download.eclipse.org/egit/updates O 阅读全文

posted @ 2016-10-21 08:51 大数据从业者FelixZh 阅读(643) 评论(0) 推荐(0)

2016年10月18日

log4j:WARN No appenders could be found for logger

摘要：在使用Log4j时若提示如下信息：log4j:WARN No appenders could be found for logger则，解决办法为：在项目的src下面新建file名为log4j.properties文件阅读全文

posted @ 2016-10-18 20:33 大数据从业者FelixZh 阅读(860) 评论(0) 推荐(0)

2016年10月17日

HashMap遍历方式探究

摘要： HashMap的遍历有两种常用的方法，那就是使用keyset及entryset来进行遍历，但两者的遍历速度是有差别的，下面请看实例：阅读全文

posted @ 2016-10-17 15:49 大数据从业者FelixZh 阅读(326) 评论(0) 推荐(0)

2016年10月12日

eclipse自动补全的设置(自动提示)

摘要：最简单的修改方式是：Windows——>Preferences——>Java-->Editor-->Content Asist，在Auto activation triggers for Java后面的文本框里只有一个“.”。现在你将其改为“.abcdefghijklmnopqrstuvwxyzAB 阅读全文

posted @ 2016-10-12 14:54 大数据从业者FelixZh 阅读(218) 评论(0) 推荐(0)

2016年10月8日

深入理解Java的接口和抽象类

摘要：对于面向对象编程来说，抽象是它的一大特征之一。在Java中，可以通过两种形式来体现OOP的抽象：接口和抽象类。这两者有太多相似的地方，又有太多不同的地方。很多人在初学的时候会以为它们可以随意互换使用，但是实际则不然。今天我们就一起来学习一下Java中的接口和抽象类。下面是本文的目录大纲：一.抽象类阅读全文

posted @ 2016-10-08 14:08 大数据从业者FelixZh 阅读(8264) 评论(3) 推荐(2)

eclipse文本域内只能输入繁体中文

摘要：背景：在文本编辑器下写纯文本时不知怎么回事儿，原来能输入简体字，但过了之后只能输入繁体中文了！我用的是sogou拼音输入法，我检查过，输入法设置的是简体中文，eclipse默认的编码方式是utf-8. 解决方法：eclipse里面,代码格式化的快捷键是ctrl+shift+F，sougou输入法里面阅读全文

posted @ 2016-10-08 10:44 大数据从业者FelixZh 阅读(526) 评论(0) 推荐(0)

2016年10月7日

java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory 解决方案

摘要：缺少 commons-logging.jar 阅读全文

posted @ 2016-10-07 15:59 大数据从业者FelixZh 阅读(514) 评论(0) 推荐(0)

2016年9月30日

java反射详解

摘要：本篇文章依旧采用小例子来说明，因为我始终觉的，案例驱动是最好的，要不然只看理论的话，看了也不懂，不过建议大家在看完文章之后，在回过头去看看理论，会有更好的理解。下面开始正文。【案例1】通过一个对象获得完整的包名和类名 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 pac 阅读全文

posted @ 2016-09-30 17:56 大数据从业者FelixZh 阅读(311) 评论(0) 推荐(0)

hash 分区的用途是什么?

摘要： Hash partitioning enables easy partitioning of data that does not lend itself to rangeor list partitioning. It does this with a simple syntax and is e 阅读全文

posted @ 2016-09-30 09:45 大数据从业者FelixZh 阅读(1136) 评论(0) 推荐(0)

使用yum来安装或卸载CentOS图形界面包

摘要：命令行模式安装图形界面 yum grouplist 检查已安装的组 yum groupinstall "X Window System" yum groupinstall "GNOME Desktop Environment" startx 或者init 5 就OK。重新安装了带图形界面模式的ce 阅读全文

posted @ 2016-09-30 08:59 大数据从业者FelixZh 阅读(3180) 评论(0) 推荐(0)

2016年9月29日

Spark Streaming容错的改进和零数据丢失

摘要：本文来自Spark Streaming项目带头人 Tathagata Das的博客文章，他现在就职于Databricks公司。过去曾在UC Berkeley的AMPLab实验室进行大数据和Spark Streaming的研究工作。本文主要谈及了Spark Streaming容错的改进和零数据丢失。阅读全文

posted @ 2016-09-29 20:32 大数据从业者FelixZh 阅读(943) 评论(0) 推荐(0)

近实时运算的利器---presto在公司实践

摘要： 1.起因公司hadoop集群里的datanonde和tasktracker节点负载主要集中于晚上到凌晨，平日工作时间负载不是很高。但在工作时间内，公司业务人员有实时查询需求，现在主要借助于hive提供业务人员日常查询。总所周知，hive是一个基于MR的类SQL查询工具，它会把输入的查询SQL解释阅读全文

posted @ 2016-09-29 17:42 大数据从业者FelixZh 阅读(2596) 评论(0) 推荐(0)

SecureCRT上传和下载文件(下载默认目录)

摘要： SecureCR 下的文件传输协议有ASCII 、Xmodem 、Ymodem 、Zmodem ASCII：这是最快的传输协议，但只能传送文本文件。 Xmodem：这种古老的传输协议速度较慢，但由于使用了CRC错误侦测方法，传输的准确率可高达99.6%。 Ymodem：这是Xmodem的改良版，使用阅读全文

posted @ 2016-09-29 16:08 大数据从业者FelixZh 阅读(50777) 评论(0) 推荐(1)

HDFS数据迁移解决方案之DistCp工具的巧妙使用

摘要：前言在当今每日信息量巨大的社会中,源源不断的数据需要被安全的存储.等到数据的规模越来越大的时候,也许瓶颈就来了,没有存储空间了.这时候怎么办,你也许会说,加机器解决,显然这是一个很简单直接但是又显得有些欠缺思考的办法.无谓的加机器只会带来无限上升的成本消耗,更好的办法应该是做到更加精细化的数据存储阅读全文

posted @ 2016-09-29 15:45 大数据从业者FelixZh 阅读(13907) 评论(1) 推荐(1)

2016年9月27日

Eclipse中导入外部jar包

摘要：首先在项目下创建一个文件夹，保存我们的jar包。在项目名上右击，依次点击【New】-->【Floder】，打开新建文件夹窗口输入文件夹名称【lib】，点击【ok】。我们通常在lib文件夹中存放从外部引入的jar包找到我们要引入的jar包，鼠标选中jar包，然后按住鼠标左键不放，把jar包拖到l 阅读全文

posted @ 2016-09-27 11:09 大数据从业者FelixZh 阅读(4816) 评论(0) 推荐(0)

org.apache.log4j与org.apache.commons.logging这两个包有什么区别

摘要： apache common logging是一种log的框架接口,它本身并不实现log记录的功能,而是在运行时动态查找目前存在的日志库,调用相关的日志函数,从而隐藏具体的日志实现log4j是具体的日志实现,真正负责"写"日志的这个功能common logging本身不是log,你可以把它看做是一个日阅读全文

posted @ 2016-09-27 11:02 大数据从业者FelixZh 阅读(4988) 评论(0) 推荐(1)

2016年9月26日

scp 使用

摘要： [spark-hadoop@master ~]$ sudo scp /etc/profile spark-hadoop@slave1:/etc spark-hadoop@slave1's password: scp: /etc/profile: Permission denied [spark-hadoop@master ~]$ sudo scp /etc/profile root@slave... 阅读全文

posted @ 2016-09-26 10:43 大数据从业者FelixZh 阅读(462) 评论(0) 推荐(0)

windows脚本定时执行

摘要： linux下可以直接用cron定时任务，window下可以使用schtasks 命令代替。第一次在win7 cmd输入: schtasks 如果出现错误：“错误：无法加载列表资源” 的问题原因很简单：点击打开链接查看编码:chcp发现使用的是936中文GBK编码 ,这样 schtasks.exe 阅读全文

posted @ 2016-09-26 09:08 大数据从业者FelixZh 阅读(3228) 评论(0) 推荐(0)

2016年9月22日

python logging用法

摘要： import logging logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%a, %d 阅读全文

posted @ 2016-09-22 16:43 大数据从业者FelixZh 阅读(276) 评论(0) 推荐(0)

2016年9月20日

CDH 的Cloudera Manager免费与收费版的对比表

摘要：注：1.snmp traps：SNMP是指简单网络管理协议，trap是它规定的一种通信方式，用于被管理的设备主动向充当管理者的设备报告自己的异常信息。阅读全文

posted @ 2016-09-20 13:48 大数据从业者FelixZh 阅读(8535) 评论(0) 推荐(0)

hadoop系列讨论

摘要：生产环境下cloudera的cdh版本更受欢迎，但是貌似cloudera对于YARN的开发力度不是很突出，所以在apache与cdh版本选择的时候，大家是怎么考虑的？生产环境下cloudera的cdh版本更受欢迎，但是貌似cloudera对于YARN的开发力度不是很突出，所以在apache与cdh 阅读全文

posted @ 2016-09-20 08:43 大数据从业者FelixZh 阅读(466) 评论(0) 推荐(0)

2016年9月19日

python list append方法

摘要：该句必须加上，不然append的全是同一个字典！别人遇到的类似问题问题：将数据库中查出的数据（列表中包含元组）转换为列表中字典。原数据结构，从数据库查出： cur = [("t1", "d1"), ("t2", "d2")] 转换后数据结构： [{'description': 'd1', 't 阅读全文

posted @ 2016-09-19 15:14 大数据从业者FelixZh 阅读(7816) 评论(0) 推荐(0)

2016年9月18日

Spark metrics on wordcount example

摘要： I read the section Metrics on spark website. I wish to try it on the wordcount example, I can't make it work. spark/conf/metrics.properties : I run my 阅读全文

posted @ 2016-09-18 17:03 大数据从业者FelixZh 阅读(632) 评论(0) 推荐(0)

监控Spark应用方法简介

摘要：监控Spark应用有很多种方法。Web接口每一个SparkContext启动一个web UI用来展示应用相关的一些非常有用的信息，默认在4040端口。这些信息包括：任务和调度状态的列表RDD大小和内存使用的统计信息正在运行的executor的信息环境信息你可以在浏览器中打开http://<drive 阅读全文

posted @ 2016-09-18 13:36 大数据从业者FelixZh 阅读(9227) 评论(0) 推荐(1)

青云指南

摘要： Spark 指南 Spark 是继 Hadoop 之后新一代的大数据分布式处理平台。它是一个基于内存、容错型的分布式计算引擎，与 Hadoop MapReduce 相比，计算速度要快100倍。 Spark 卓越的用户体验以及统一的技术堆栈基本上解决了大数据领域所有的核心问题，使得 Spark 迅速成阅读全文

posted @ 2016-09-18 11:51 大数据从业者FelixZh 阅读(893) 评论(0) 推荐(0)

2016年9月14日

zookeeper中client命令实践

摘要： Welcome to ZooKeeper! 2016-09-14 16:06:04,528 [myid:] - INFO [main-SendThread(master:2181):ClientCnxn $SendThread@1032] - Opening socket connection to 阅读全文

posted @ 2016-09-14 19:24 大数据从业者FelixZh 阅读(8067) 评论(1) 推荐(0)

zookeeper 4 letter 描述与实践

摘要：命令示例描述 Conf echo conf | nc localhost 2181 (New in 3.3.0)输出相关服务配置的详细信息。比如端口、zk数据及日志配置路径、最大连接数，session超时时间、serverId等 Cons echo cons | nc localhost 2181 (New in 3.3.0)列出所有连接到这台服务器的客户端连接/会话的详细信息。包括“接受/发送... 阅读全文

posted @ 2016-09-14 18:57 大数据从业者FelixZh 阅读(2453) 评论(0) 推荐(0)

zookeeper理论

摘要：第一章 Zookeeper server 1.1 Zookeeper基本原理 1.1.1 Zookeeper的保证 l 顺序性，client的updates请求都会根据它发出的顺序被顺序的处理； l 原子性, 一个update操作要么成功要么失败，没有其他可能的结果； l 一致的镜像，client不阅读全文

posted @ 2016-09-14 18:55 大数据从业者FelixZh 阅读(5396) 评论(0) 推荐(0)

2016年9月13日

Zookeeper的功能以及工作原理

摘要： 1.ZooKeeper是什么？ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户2.ZooKeep 阅读全文

posted @ 2016-09-13 17:32 大数据从业者FelixZh 阅读(417063) 评论(11) 推荐(41)

大数据从业者

最新文章，见微信公众号：大数据从业者

公告