<dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.13</artifactId> <version>2.7.0</version> </dependency> </dependenc Read More
posted @ 2021-03-05 14:54 八千步 Views(147) Comments(0) Diggs(0) Edit
1、软件下载 kafka运行需要有jdk+zookeeper环境才能够使用,官网下载 https://www.apache.org/dyn/closer.cgi/zookeeper/ http://kafka.apache.org/downloads 2、zookeeper安装 将下载下来的包解压一 Read More
posted @ 2021-03-03 16:56 八千步 Views(174) Comments(0) Diggs(0) Edit
一、Kafka概述 1、定义:kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域 2、消息队列: 好处:解耦、可恢复性、缓冲、灵活性&峰值处理、异步通信 两种模式:点对点模式、发布/订阅模式(推、拉) 3、高效读写:分布式;顺序写磁盘;零复制 二、生产者 1、文件存储 Read More
posted @ 2021-03-03 10:49 八千步 Views(77) Comments(0) Diggs(0) Edit
一、hive概述1、hive前提:hdsf、MapReducehive简介:hive是一个构建在hadoop上的数据仓库平台,其设计目的是使hadoop上的数据操作与传统sql结合(HQL),让熟悉sql编程的开发人员能够轻松向hadoop平台转移http://hive.apache.org2、数据 Read More
posted @ 2018-07-13 22:58 八千步 Views(262) Comments(0) Diggs(0) Edit
1、MapReduce的原理分而治之,一个大任务分成多个小的子任务(map),并行执行后,合并结果(reduce) 2、MapReduce的运行流程基本概念-Job & Task-JobTracker-TaskTracker JobTracker:(1)作业调度(2)分配任务、监控任务执行进度(3) Read More
posted @ 2018-07-12 22:37 八千步 Views(139) Comments(0) Diggs(0) Edit
1、基本概念-块(block)-namenode-datanode hdfs文件分成块存储,默认64M,块是文件存储的逻辑单元hdfs有两类节点:nomenode、datanode nomenode是管理节点,存放文件元数据(1)文件与数据块的映射表(2)数据块与数据节点的映射表datanode是h Read More
posted @ 2018-07-12 22:36 八千步 Views(233) Comments(0) Diggs(0) Edit
Hadoop安装1、linux准备2、jdk准备,设置环境变量3、hadoop下载准备,解压后./conf 需要配置4个文件 hadoop-env.sh 修改java_home的目录 core-site.xml 配置 工作目录、元数据目录、如何访问 hdfs-site.xml 配置数据的路径 map Read More
posted @ 2018-07-12 22:34 八千步 Views(114) Comments(0) Diggs(0) Edit
mdsys.sdo_geometry 中SDO_ORDINATE存储的是空间对象的几何节点坐标序列,要想直接展示第一条值出来需要捞出数据 若select t.id,t.shape.sdo_ordinates from test1展示出来的是id和一个集合对象,我只需暂时集合对象第一个值或者某几个值出 Read More
posted @ 2018-07-12 22:30 八千步 Views(1664) Comments(0) Diggs(0) Edit
索引的结构 1基础概念 为了掌握索引的原理,首先需要掌握一些基本概念。 (1) 索引和表在磁盘上是存放在一起还是分开的? (2) 一个表上的所有索引是在一起存放的还是独立的? (3) 索引和表在磁盘上的存放方式有什么不同? (4) 索引和表之前是如何关联的? (5) 索引的作用是什么? 1.1索引和 Read More
posted @ 2018-07-11 22:53 八千步 Views(556) Comments(0) Diggs(1) Edit
之前看windows下安装MongoDB操作很是简单,今天在自己笔记本上安装一次,各种小问题。参照网上各大神帖子,再记录下个简单流程以便以后记得。 1.MongoDB官网上下载安装包 2.运行安装包,选择“Custom”自定义 安装路径修改下:D:\software\MongoDB,中间instal Read More
posted @ 2018-03-10 20:16 八千步 Views(4283) Comments(0) Diggs(0) Edit