大数据从业者FelixZh

2016年1月8日

摘要： Hadoop不提供64位编译好的版本，只能用源码自行编译64位版本。学习一项技术从安装开始，学习hadoop要从编译开始。1.操作系统编译环境yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool nc... 阅读全文

posted @ 2016-01-08 19:22 大数据从业者FelixZh 阅读(291) 评论(0) 推荐(0)

Centos 6.5 X64 环境下编译 hadoop 2.6.0 --已验证

摘要：详细参照源码路径下的BUILDING.txt文件 Centos 6.5 x64 hadoop 2.6.0 jdk 1.7 protobuf-2.5.0 maven-3.0.5 set environment export JAVA_HOME=/home/linux/jdk export CLASSP 阅读全文

posted @ 2016-01-08 19:20 大数据从业者FelixZh 阅读(320) 评论(0) 推荐(0)

ubuntu 环境下编译 hadoop 2.6.0的简单方法

摘要：由于服务器一般都64位系统， hadoop网站的release版本32位native库不能运行，所以需要自己在编译一下。以下是我采用的一个编译的过程，比较简单，不用下载各种版本及环境配置，通过命令就能自动完成了。系统环境为ubuntu server 64位版。1、安装JDK，我这里使用的是OenJD... 阅读全文

posted @ 2016-01-08 12:05 大数据从业者FelixZh 阅读(407) 评论(0) 推荐(0)

2016年1月7日

在Linux上编译Hadoop-2.4.0实践与总结

摘要：问题导读：1.编译源码前需要安装哪些软件？2.安装之后该如何设置环境变量？3.为什么不要使用JDK1.8？4.mvn package -Pdist -DskipTests -Dtar的作用是什么？1. 前言Hadoop-2.4.0的源码目录下有个BUILDING.txt文件，它介绍了如何在Linux... 阅读全文

posted @ 2016-01-07 20:44 大数据从业者FelixZh 阅读(469) 评论(0) 推荐(0)

linux安装openssl

摘要： sudo apt-get install opensslsudo apt-get install libssl-devRedHat、centos才是openssl-devel 阅读全文

posted @ 2016-01-07 20:03 大数据从业者FelixZh 阅读(254) 评论(0) 推荐(0)

ubuntu 安装 GCC 和 G++ C++ 开发环境

posted @ 2016-01-07 19:03 大数据从业者FelixZh 阅读(11122) 评论(0) 推荐(0)

ubuntu如何安装 adobe flash player或adobe插件

摘要：方法/步骤第一步当然是打开终端控制器。有很多方法，这里推荐使用快捷键：ctrl+alt+T。快捷又方便。然后更新源列表，使用如下命令：sudo apt-get update，后面要输入密码。下面是更新之后的截图。然后就是真正的更新flashplayer的环节了，输入命令：sudo apt-get i... 阅读全文

posted @ 2016-01-07 13:37 大数据从业者FelixZh 阅读(859) 评论(0) 推荐(0)

2015年12月29日

linux编译64bitHadoop (eg: ubuntu14.04 and hadoop 2.3.0)

摘要： Hadoop官网提供的编译好的hadoop-2.3.0.tar.gz二进制包是在32位系统上编译的，在64系统上运行会有一些错误，比如：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 阅读全文

posted @ 2015-12-29 18:55 大数据从业者FelixZh 阅读(266) 评论(0) 推荐(0)

2015年12月28日

Win7 下安装ubuntu14.04双系统

摘要：下面介绍一下利用wubi在Windows中安装Ubuntu 14.04的教程，或者说安装方法和注意事项。方法一：直接下载wubi.exe方法二：直接下载ubuntu-14.04-desktop-i386.iso 一：直接下载wubi.exewubi.exe下载地址http://www.ubunt... 阅读全文

posted @ 2015-12-28 18:51 大数据从业者FelixZh 阅读(337) 评论(0) 推荐(0)

2015年12月20日

centos添加和删除用户及 xxx is not in the sudoers file.This incident will be reported.的解决方法

摘要：修改主机名：vim /etc/sysconfig/network 1、添加用户，首先用adduser命令添加一个普通用户，命令如下： #adduser tommy //添加一个名为tommy的用户 #passwd tommy //修改密码 Changing password for user tom 阅读全文

posted @ 2015-12-20 22:29 大数据从业者FelixZh 阅读(3188) 评论(0) 推荐(0)

ubuntu下安裝sogou拼音

摘要：方法/步骤打开搜狗输入法Linux版的官网http://pinyin.sogou.com/linux/?r=pinyin，并下载你需要的版本，这里选择64位版。在Ubuntu14.01下可以直接点击下载的文件进入软件中心进行安装（这里的图是已经安装过的，没有安装过的按照Ubuntu的提示安装）。接 ... 阅读全文

posted @ 2015-12-20 19:16 大数据从业者FelixZh 阅读(420) 评论(0) 推荐(0)

2015年11月27日

Docker容器资源管理

摘要：本文作者是Red Hat的软件工程师 - Marek Goldmann，这篇文章详细介绍了Docker容器的资源管理，总共分了三大部分：CPU、内存以及磁盘IO。作者通过实践举例给读者勾勒出一幅清晰明了的Docker资源管理的画卷.在这篇博客文章中，我想谈谈Docker容器资源管理的话题。我们往往不... 阅读全文

posted @ 2015-11-27 17:56 大数据从业者FelixZh 阅读(1193) 评论(0) 推荐(0)

常用Dockerfile举例

摘要： FROM ubuntu:14.04MAINTAINER sssENV JAVA_HOME /opt/jdkRUN \ echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /root/.bashrcADD jdk /opt/jdkFROM ubuntu:python... 阅读全文

posted @ 2015-11-27 17:16 大数据从业者FelixZh 阅读(357) 评论(0) 推荐(0)

Docker 删除镜像

摘要：分为两种: 删除正常的镜像 sudo docker rmi 或 sudo docker rmi 删除none类型的异常镜像 sudo docker ps -a | grep "Exited" | awk '{print $1 }'|xargs sudo docker stop sudo doc... 阅读全文

posted @ 2015-11-27 17:14 大数据从业者FelixZh 阅读(677) 评论(0) 推荐(0)

基于Docker快速搭建多节点Hadoop集群--已验证

摘要： Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接近最小化的Hadoop镜像，并且支持快速搭建任意节... 阅读全文

posted @ 2015-11-27 16:01 大数据从业者FelixZh 阅读(1237) 评论(0) 推荐(0)

shopkeep/spark Dockerfile示例

摘要： FROM java:openjdk-8ENV HADOOP_HOME /opt/spark/hadoop-2.6.0ENV MESOS_NATIVE_LIBRARY /opt/libmesos-0.22.1.soENV SBT_VERSION 0.13.8ENV SCALA_VERSION 2.11... 阅读全文

posted @ 2015-11-27 12:44 大数据从业者FelixZh 阅读(538) 评论(0) 推荐(0)

创建ssh 服务的镜像

摘要： $ sudo docker run -ti ubuntu:14.04 /bin/bash#首先，使用我们最熟悉的「-ti」参数来创建一个容器。root@fc1936ea8ceb:/# sshdbash: sshd: command not found#使用 sshd 开启 ssh server ... 阅读全文

posted @ 2015-11-27 12:43 大数据从业者FelixZh 阅读(846) 评论(0) 推荐(0)

创建 tomcat 服务的镜像

摘要：如何设计 Tomcat 的 Dockerfile$ sudo docker search tomcat |wc -l285在 dockerhub 上搜索与 tomcat 相关的镜像，有如此之多的返回。笔者建议，如是个人开发为图方便，可以随意选择一个镜像，按照提示启动应用即可。若准备在生产环境中使用，... 阅读全文

posted @ 2015-11-27 12:42 大数据从业者FelixZh 阅读(745) 评论(0) 推荐(0)

2015年11月24日

一张图看Docker

摘要：阅读全文

posted @ 2015-11-24 18:36 大数据从业者FelixZh 阅读(451) 评论(0) 推荐(0)

不同主机的docker容器互相通信

摘要： Docker启动时，会在宿主主机上创建一个名为docker0的虚拟网络接口，默认选择172.17.0.1/16，一个16位的子网掩码给容器提供了 65534个IP地址。docker0只是一个在绑定到这上面的其他网卡间自动转发数据包的虚拟以太网桥，它可以使容器和主机相互通信，容器与容器间通信。Doc... 阅读全文

posted @ 2015-11-24 18:35 大数据从业者FelixZh 阅读(2083) 评论(0) 推荐(0)

Understanding Docker

摘要： What is Docker? Docker 是一个开源的平台，设计目标是可以方便开发，方便部署和方便执行应用。使用docker可以快速分发开发好的应用。借助于Docker，你可以将开发平台和应用分离开，并且像管理应用一样管理开发平台。Docker可以帮助你快速开发应用，快速测试应用，快速部署应... 阅读全文

posted @ 2015-11-24 17:57 大数据从业者FelixZh 阅读(359) 评论(0) 推荐(0)

Docker入门

摘要： Docker简介一种虚拟容器技术。一种虚拟化分方案；操作系统级别的虚拟化；只能运行相同或相似内核的操作系统；依赖与linux内核特性：Namespace和Cgroups（Control Group）虚拟机技术和容器技术最大的区别就是对资源的占用。Docker目标提供简单轻量的建模方式职责的逻辑分离快... 阅读全文

posted @ 2015-11-24 17:30 大数据从业者FelixZh 阅读(627) 评论(0) 推荐(0)

使用Docker在本地搭建Hadoop分布式集群

摘要：学习Hadoop集群环境搭建是Hadoop入门必经之路。搭建分布式集群通常有两个办法：要么找多台机器来部署（常常找不到机器）或者在本地开多个虚拟机（开销很大，对宿主机器性能要求高，光是安装多个虚拟机系统就得搞半天……）。那么，问题来了！有没有更有可行性的办法？提到虚拟化，Docker最近很是火热！不... 阅读全文

posted @ 2015-11-24 17:08 大数据从业者FelixZh 阅读(2999) 评论(0) 推荐(1)

2015年11月20日

Cassandra联手Spark 大数据分析将迎来哪些改变？

摘要： 2014Spark峰会在美国旧金山举行，与会数据库平台供应商DataStax宣布，与Spark供应商Databricks合作，在它的旗舰产品 DataStax Enterprise 4.5 (DSE)中，将Cassandra NoSQL数据库与Apache Spark开源引擎相结合，为用户提供基于... 阅读全文

posted @ 2015-11-20 11:36 大数据从业者FelixZh 阅读(1322) 评论(0) 推荐(0)

Apache Spark技术实战之6 --Standalone部署模式下的临时文件清理

摘要：问题导读1.在Standalone部署模式下，Spark运行过程中会创建哪些临时性目录及文件?2.在Standalone部署模式下分为几种模式？3.在client模式和cluster模式下有什么不同？概要在Standalone部署模式下，Spark运行过程中会创建哪些临时性目录及文件，这些临时目录和... 阅读全文

posted @ 2015-11-20 11:18 大数据从业者FelixZh 阅读(411) 评论(0) 推荐(0)

2015年11月18日

大数据计算平台Spark内核全面解读

摘要： 1、Spark介绍Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台，在2010年开源，目前是Apache软件基金会的顶级项目。随着Spark在大数据计算领域的暂露头角，越来越多的企业开始关注和使用。2014年11月，Spark在Daytona Gray Sort 100TB Be... 阅读全文

posted @ 2015-11-18 18:23 大数据从业者FelixZh 阅读(1597) 评论(0) 推荐(0)

Ubuntu下导入PySpark到Shell和Pycharm中（未整理）

摘要：实习后面需要用到spark，虽然之前跟了edX的spark的课程以及用spark进行machine learning，但那个环境是官方已经搭建好的，但要在自己的系统里将PySpark导入shell（或在Python里可以import pyspark）还是需要做一些操作的。（下图，忘了先define一... 阅读全文

posted @ 2015-11-18 11:27 大数据从业者FelixZh 阅读(5509) 评论(0) 推荐(0)

2015年11月13日

别老扯什么hadoop，你的数据根本不够大

摘要：本文原名“Don't use Hadoop when your data isn't that big ”，出自有着多年从业经验的数据科学家Chris Stucchio，纽约大学柯朗研究所博士后，搞过高频交易平台，当过创业公司的CTO，更习惯称自己为统计学者。对了，他现在自己创业，提供数据分析、推荐... 阅读全文

posted @ 2015-11-13 11:26 大数据从业者FelixZh 阅读(2427) 评论(0) 推荐(0)

2015年11月11日

spark on yarn 集群部署

摘要：概述hadoop2.7.1 spark 1.5.1192.168.31.62 resourcemanager, namenode, master192.168.31.63 nodemanager, datanode, worker192.168.31.64 nodemanager, datan... 阅读全文

posted @ 2015-11-11 17:12 大数据从业者FelixZh 阅读(624) 评论(0) 推荐(0)

spark on yarn模式：yarn命令杀除当前的application

摘要：在hadoop/bin目录下有yarn命令yarn application -kill 阅读全文

posted @ 2015-11-11 16:44 大数据从业者FelixZh 阅读(674) 评论(0) 推荐(0)

大数据从业者

最新文章，见微信公众号：大数据从业者

公告