随笔分类 -  hadoop+linux

hadoop开发setjar方法
摘要：屏蔽 不会报错 可以确定的是， 情况一：如果采用打成jar包，在hadoop集群中通过hadoop jar命令运行，则只需要写job.setJarByClass 情况二：本地idea开发mapreduce程序提交到hadoop集群执行，参考https://blog.csdn.net/dream_an 阅读全文
posted @ 2019-01-12 15:04 透明的红萝卜 阅读(1570) 评论(0) 推荐(0)
idea打jar包-MapReduce作业提交到hadoop集群执行
摘要：https://blog.csdn.net/jiaotangX/article/details/78661862 https://liushilang.iteye.com/blog/2093173 阅读全文
posted @ 2019-01-12 11:09 透明的红萝卜 阅读(812) 评论(0) 推荐(0)
VMware Workstation虚拟机Ubuntu中实现与主机共享（复制和粘贴）
摘要：VMware Workstation中安装虚拟机Ubuntu后，开始都不能与主机实现共享，即相互之间能实现复制粘贴的功能。要解决问题，只需要安装VMvare tools后然后重启虚拟机Ubuntu即可。在windows虚拟机下，在安装该工具时有安装向导，但在Linux系统（Ubuntu）下需要通过t 阅读全文
posted @ 2018-03-26 11:15 透明的红萝卜 阅读(600) 评论(0) 推荐(0)
流量分析系统---启动流程
摘要：killall -9 java zookeeper: kafka 创建一个topic(如果直接创建过，可以跳过) kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 4 --topic 阅读全文
posted @ 2018-01-08 09:47 透明的红萝卜 阅读(332) 评论(0) 推荐(0)
流量分析系统--zookeeper集群部署
摘要：安装zookeeper mkdir apps tar -zxvf zookeeper-3.4.5.tar.gz -C apps [root@mini1 zookeeper-3.4.5]# rm -rf src/ *.xml *.txt [root@mini1 zookeeper-3.4.5]# rm 阅读全文
posted @ 2018-01-06 21:49 透明的红萝卜 阅读(168) 评论(0) 推荐(0)
Centos----本地yum源制作
摘要：本地YUM源制作 1. YUM相关概念 1.1. 什么是YUM YUM（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性 阅读全文
posted @ 2018-01-06 17:20 透明的红萝卜 阅读(286) 评论(0) 推荐(0)
Centos---linux配置 集群搭建
摘要：网络配置 1、创建虚拟机mini1： 1.1、网络配置 NAT网络模式模式 直接修改 /etc/sysconfig/network-script/ifcfg-eth0 输入service network restart重启网络服务 1.2关闭防火墙 service iptables stop + c 阅读全文
posted @ 2018-01-06 14:43 透明的红萝卜 阅读(412) 评论(0) 推荐(0)
hadoop本地运行与集群运行
摘要：开发环境： windows10+伪分布式（虚拟机组成的集群）+IDEA(不需要装插件) 介绍： 本地开发，本地debug,不需要启动集群，不需要在集群启动hdfs yarn 需要准备什么： 1/配置win10的环境，path设置为hadoop/bin目录 2/将hadoop在win10系统下编译，替 阅读全文
posted @ 2017-12-07 11:06 透明的红萝卜 阅读(2807) 评论(0) 推荐(1)
windows下客户端开发hdf--环境搭建
摘要：1、引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</version> </dependency> 注：如需手动引入jar包，hd 阅读全文
posted @ 2017-11-20 11:50 透明的红萝卜 阅读(295) 评论(0) 推荐(0)
hadoop linux 杂记
摘要：切换到root su 修改sudo sudo + 命令 --> root权限 + 命令 su root vim /etc/sudoers 给hadoop用户添加执行的权限传输文件 scp /etc/hosts mini1:/etc/ sudo scp -r /usr/local/jdk1.7.0_4 阅读全文
posted @ 2017-11-10 15:36 透明的红萝卜 阅读(140) 评论(0) 推荐(0)
最小化CentOS6.7(64bit)---安装mysql5.5、jdk、tomcat
摘要：********mysql******** 所需要的rpm文件： (https://downloads.mysql.com/archives/community) MySQL-client-5.5.48-1.linux2.6.x86_64.rpm MySQL-server-5.5.48-1.linu 阅读全文
posted @ 2017-10-18 14:23 透明的红萝卜 阅读(214) 评论(0) 推荐(0)