hadoop - 随笔分类 - 云雾散人

Flink

该文被密码保护。

posted @ 2020-08-18 23:33 云雾散人阅读(0) 评论(0) 推荐(0)

Storm

该文被密码保护。

posted @ 2020-08-16 16:10 云雾散人阅读(0) 评论(0) 推荐(0)

Flume+SPARK SQL+MYSQL 离线实战项目

该文被密码保护。

posted @ 2020-08-13 10:58 云雾散人阅读(0) 评论(0) 推荐(0)

Springboot + echart+Spark streaming + kafka + flume + hbase 实时统计实战

该文被密码保护。

posted @ 2020-08-10 22:59 云雾散人阅读(4) 评论(0) 推荐(0)

log4j + flume + kafka + sparkstreaming 实时流处理

该文被密码保护。

posted @ 2020-08-08 22:15 云雾散人阅读(1) 评论(0) 推荐(0)

hive

摘要：一些概念安装 mysql hive 安装步骤接下来，我们需要去创建我们的 mysql 数据库服务器以及数据库实例并且，需要在 hdfs 文件系统上为 hive 创建对应的文件目录如下图所示 ./hive 进入交互 show databases; vim testdata.txt 1 阅读全文

posted @ 2019-06-15 18:10 云雾散人阅读(255) 评论(0) 推荐(0)

hbase

摘要：wget tar 包从 hadoop etc/hadoop/下拷贝两份配置文件到 hbase conff 下 1、修改 hbase env.sh 2、修改 hbase site.xml 3 进入 hbase bin 目录下执行 4 进入 hbase shell 阅读全文

posted @ 2018-11-13 18:07 云雾散人阅读(163) 评论(0) 推荐(0)

java 写一个 map reduce 矩阵相乘的案例

摘要：1、写一个工具类用来生成 map reduce 实验所需 input 文件下面两个是原始文件 matrix1.txt matrix2.txt package com.ghc.hadoop.mapper; import org.apache.hadoop.io.LongWritable; impo 阅读全文

posted @ 2018-11-12 17:53 云雾散人阅读(314) 评论(0) 推荐(0)

分布式配置 SSH 免密登陆

摘要：原地址忘记了，暂且记下阅读全文

posted @ 2018-11-12 14:19 云雾散人阅读(668) 评论(0) 推荐(0)

转载--宏观认识大数据圈

摘要："原文链接" 最近几年IT技术的发展真的是日新月异，什么云计算、大数据、机器学习、AI等等名词层出不穷。多数程序员内心其实是恐慌的，我也时常会感到危机感。每每看到“xx培训，大数据就业，钱景好”我嘴上说不要，身体还是很诚实的。大数据已经深入我们的生活当中，今天呢我们也不聊4个V（Volume 规模阅读全文

posted @ 2018-11-12 14:03 云雾散人阅读(205) 评论(0) 推荐(0)

转载--存储是怎样炼成的

摘要："原文章链接" 什么FAT,NTFS,NFS,DAS,SAN,NAS,OSD这些名词我一个都不认识。不知道各位大佬对上面的名词了解多少，通过上面的一些名词其实可以大致的看到存储是怎样一步步发展的。其中FAT,NTFS和NFS都是支持特定存储协议的存储系统，DAS,SAN,NAS,OSD是一种存储模阅读全文

posted @ 2018-11-12 13:51 云雾散人阅读(139) 评论(0) 推荐(0)

转载--关于hdfs

摘要："原文章链接" 你肯定听过Hadoop，对就是那头奔跑的小象。图片描述 Hadoop作为大数据时代代表性的解决方案被大家所熟知，它主要包含两部分内容： HDFS分布式文件存储 MapReduce分布式计算框架前面我们分析存储方案的发展的时候有提到分布式文件存储的出现是为了解决存储的三大问题：可扩阅读全文

posted @ 2018-11-12 13:45 云雾散人阅读(165) 评论(0) 推荐(0)

绕不开的hadoop

摘要：安装单机版 hadoop 步骤搭建伪分布式集群 (至少三台服务器) clone 单机版后修改如下信息搭建全分布式集群配置 core site.xml 差不多有六个 xml 文件需要配置分模块启动安装 jdk 1.8 下载解压 "hadoop" 测试是否安装成功，启动 hadoop 阅读全文

posted @ 2018-11-08 16:52 云雾散人阅读(299) 评论(0) 推荐(0)

sqoop 使用

摘要："spark 环境搭建" 下载解压阅读全文

posted @ 2018-11-08 16:17 云雾散人阅读(144) 评论(0) 推荐(0)

大数据开发所需技能

摘要：最近确定了自己未来职业规划。。。我要朝着大数据开发工程师努力，看下面的图谱，还差十万八千里（虽然不是所有都要会）！不过我不会气馁！加油！！！ "路线2" 阅读全文

posted @ 2018-07-31 16:12 云雾散人阅读(722) 评论(0) 推荐(2)

hive vs hbase

摘要：HIVE和HBASE区别 1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够阅读全文

posted @ 2018-07-13 14:19 云雾散人阅读(288) 评论(0) 推荐(0)

云雾散人

拓宽技术栈，深入技术栈，永远学徒空杯心态

随笔分类 - hadoop

公告