随笔分类 -  大数据

hadoop开发setjar方法
摘要：屏蔽 不会报错 可以确定的是， 情况一：如果采用打成jar包，在hadoop集群中通过hadoop jar命令运行，则只需要写job.setJarByClass 情况二：本地idea开发mapreduce程序提交到hadoop集群执行，参考https://blog.csdn.net/dream_an 阅读全文
posted @ 2019-01-12 15:04 透明的红萝卜 阅读(1568) 评论(0) 推荐(0)
idea打jar包-MapReduce作业提交到hadoop集群执行
摘要：https://blog.csdn.net/jiaotangX/article/details/78661862 https://liushilang.iteye.com/blog/2093173 阅读全文
posted @ 2019-01-12 11:09 透明的红萝卜 阅读(808) 评论(0) 推荐(0)
Spark SQL慕课网日志分析（1）--系列软件(单机)安装配置使用
摘要：来源： 慕课网 Spark SQL慕课网日志分析_大数据实战 目标： spark系列软件的伪分布式的安装、配置、编译 spark的使用 系统： mac 10.13.3 /ubuntu 16.06，两个系统都测试过 软件： hadoop，hive，spark，scala，maven hadoop伪分布 阅读全文
posted @ 2018-06-19 22:05 透明的红萝卜 阅读(559) 评论(0) 推荐(0)
启动secondarynamenode时报错
摘要：环境： mac系统 + hadoop2.6.0-cdh5.7.0伪分布式 问题一： 在启动hdfs的secondarynamenode时，报错。 正常情况： 报错： 分析： /etc/hosts/中，我在破解idea中，加了一行 0.0.0.0 account.jetbrains.com 我猜是由他 阅读全文
posted @ 2018-06-11 22:19 透明的红萝卜 阅读(5927) 评论(0) 推荐(1)
Spark --idea无法new scala class
摘要：问题： 无法新建Scala class 解决： 1、下载插件 setting-->Plugins-->安装scala插件-->提示重启idea-->自动提示你安装scala sdk 2、在project sturcture中，Globale libraries-->+-->出现了scala sdk， 阅读全文
posted @ 2018-06-08 08:59 透明的红萝卜 阅读(992) 评论(0) 推荐(0)
hive与hbase
摘要：作者：有点文链接：https://www.zhihu.com/question/21677041/answer/185664626来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问 阅读全文
posted @ 2018-04-29 19:20 透明的红萝卜 阅读(190) 评论(0) 推荐(0)
spark学习（2）--hadoop安装、配置
摘要：环境: 三台机器 ubuntu14.04 hadoop2.7.5 jdk-8u161-linux-x64.tar.gz （jdk1.8） 架构： machine101 ：名称节点、数据节点、SecondaryNaemnode（辅助名称节点）、ResourceManager、NodeManger ma 阅读全文
posted @ 2018-03-29 20:13 透明的红萝卜 阅读(289) 评论(0) 推荐(0)
spark学习（1）--ubuntu14.04集群搭建、配置（jdk）
摘要：环境：ubuntu14.04 jdk-8u161-linux-x64.tar.gz 1、文本模式桌面模式切换 ctrl+alt+F6 切换到文本模式 ctrl + alt +F7 /输入命令startx切换到桌面模式 2、更改Ip地址、主机名 /etc/hostname - 改主机名称 /etc/h 阅读全文
posted @ 2018-03-26 17:44 透明的红萝卜 阅读(267) 评论(0) 推荐(0)
Centos----本地yum源制作
摘要：本地YUM源制作 1. YUM相关概念 1.1. 什么是YUM YUM（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性 阅读全文
posted @ 2018-01-06 17:20 透明的红萝卜 阅读(280) 评论(0) 推荐(0)
Centos---linux配置 集群搭建
摘要：网络配置 1、创建虚拟机mini1： 1.1、网络配置 NAT网络模式模式 直接修改 /etc/sysconfig/network-script/ifcfg-eth0 输入service network restart重启网络服务 1.2关闭防火墙 service iptables stop + c 阅读全文
posted @ 2018-01-06 14:43 透明的红萝卜 阅读(410) 评论(0) 推荐(0)
hadoop本地运行与集群运行
摘要：开发环境： windows10+伪分布式（虚拟机组成的集群）+IDEA(不需要装插件) 介绍： 本地开发，本地debug,不需要启动集群，不需要在集群启动hdfs yarn 需要准备什么： 1/配置win10的环境，path设置为hadoop/bin目录 2/将hadoop在win10系统下编译，替 阅读全文
posted @ 2017-12-07 11:06 透明的红萝卜 阅读(2801) 评论(0) 推荐(1)
最小化CentOS6.7(64bit)---安装mysql5.5、jdk、tomcat
摘要：********mysql******** 所需要的rpm文件： (https://downloads.mysql.com/archives/community) MySQL-client-5.5.48-1.linux2.6.x86_64.rpm MySQL-server-5.5.48-1.linu 阅读全文
posted @ 2017-10-18 14:23 透明的红萝卜 阅读(213) 评论(0) 推荐(0)