dousil - 博客园

2020年1月16日

摘要： kfaka安装方式：单机模式伪分布完全分布式搭建网址：http://kajka.apache.org/082/documentation.html#quickstart 阅读全文

posted @ 2020-01-16 15:53 dousil 阅读(105) 评论(0) 推荐(0)

摘要： kafaka初识产生的背景：问题：两个模块A、B .A生产消息，B消费消息，当A的速度大于B的速度，A模块产生的数据的阻塞，有剩余，对数据得处理有一定的影响。解决方案：新加模块C 。a发数据c,C将数据发给B。速度定义：分布式的消息订阅系统。优点：高可扩展，高容错，分布式。缺点阅读全文

posted @ 2020-01-16 15:33 dousil 阅读(607) 评论(0) 推荐(0)

metastore 简单说明

摘要： Metastore ：指数据库中的元数据，管理元数据的服务。 hive管理元数据的数据库一deby ..我们不用他的主要原因是他只有一个客户端可以访问元数据。三种模式：内嵌模式：默认的情况下是内嵌模式，数据库使用的是derby。本地模式: 生产环境使用的。就是自己配置mysql的数据库。阅读全文

posted @ 2020-01-16 09:32 dousil 阅读(2529) 评论(0) 推荐(0)

hive体系结构

摘要：阅读全文

posted @ 2020-01-16 08:57 dousil 阅读(92) 评论(0) 推荐(0)

初步使用hive

摘要：登陆 bin/hive create database hadoop1 //创建数据库 show databases; //显示所有创建的数据库 use hadoop1 //使用之前建立的数据库 create table stu_info(.//创建表 id int, name string ) r 阅读全文

posted @ 2020-01-16 08:48 dousil 阅读(274) 评论(0) 推荐(0)

2020年1月15日

HIVE 环境的安装和部署

摘要： hive环境的搭建必须要有hadoop 配置hive 重命名：mv bingsf bin 创建/user/hive/warehouse bin/hdfs dfs -mkdir /tmp bin/hdfs dfs -mkdir -p /user/hive/warehouse 为上边的两个目录添加用户阅读全文

posted @ 2020-01-15 18:13 dousil 阅读(137) 评论(0) 推荐(0)

初识Hive

摘要： Hive 简单说明他没有很多的架构来讲，他就是一个简单的工具数据仓库软件，分布式的读，i写管理大数据访问方式：JDBC（代码）,命令行工具（常用） FaceBook 数据太大，需要大数据工程师，办法：用sql，sql转化为mapreduce程序，自动提交个yarn。关系型数据库和hive对阅读全文

posted @ 2020-01-15 17:32 dousil 阅读(94) 评论(0) 推荐(0)

MAPREDUCE详解

摘要： Map Reduce 过程 sd 阅读全文

posted @ 2020-01-15 16:09 dousil 阅读(109) 评论(0) 推荐(0)

MAPREDUCE 简单入门

摘要：什么是MAPREDUCE ： MapReduce 八个字的核心的思想分而治之， Mapreduce简单的工作原理： mapredue 有maptask、reducetask组成一个切片一个mapreduce, reduceTask 的默认是一个，可以设置多个设置过程job.setNumReduc 阅读全文

posted @ 2020-01-15 15:29 dousil 阅读(259) 评论(0) 推荐(0)

2020年1月14日

SSH 简单介绍

该文被密码保护。阅读全文

posted @ 2020-01-14 14:40 dousil 阅读(1) 评论(0) 推荐(0)

公告