<dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.13</artifactId> <version>2.7.0</version> </dependency> </dependenc Read More
1、软件下载 kafka运行需要有jdk+zookeeper环境才能够使用，官网下载 https://www.apache.org/dyn/closer.cgi/zookeeper/ http://kafka.apache.org/downloads 2、zookeeper安装 将下载下来的包解压一 Read More
一、Kafka概述 1、定义：kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域 2、消息队列： 好处：解耦、可恢复性、缓冲、灵活性&峰值处理、异步通信 两种模式：点对点模式、发布/订阅模式（推、拉） 3、高效读写：分布式；顺序写磁盘；零复制 二、生产者 1、文件存储 Read More
一、hive概述1、hive前提：hdsf、MapReducehive简介：hive是一个构建在hadoop上的数据仓库平台，其设计目的是使hadoop上的数据操作与传统sql结合（HQL），让熟悉sql编程的开发人员能够轻松向hadoop平台转移http://hive.apache.org2、数据 Read More
1、MapReduce的原理分而治之，一个大任务分成多个小的子任务（map），并行执行后，合并结果（reduce） 2、MapReduce的运行流程基本概念-Job & Task-JobTracker-TaskTracker JobTracker:(1)作业调度(2)分配任务、监控任务执行进度(3) Read More
1、基本概念-块（block）-namenode-datanode hdfs文件分成块存储，默认64M，块是文件存储的逻辑单元hdfs有两类节点：nomenode、datanode nomenode是管理节点，存放文件元数据（1）文件与数据块的映射表（2）数据块与数据节点的映射表datanode是h Read More
Hadoop安装1、linux准备2、jdk准备，设置环境变量3、hadoop下载准备，解压后./conf 需要配置4个文件 hadoop-env.sh 修改java_home的目录 core-site.xml 配置 工作目录、元数据目录、如何访问 hdfs-site.xml 配置数据的路径 map Read More
mdsys.sdo_geometry 中SDO_ORDINATE存储的是空间对象的几何节点坐标序列，要想直接展示第一条值出来需要捞出数据 若select t.id,t.shape.sdo_ordinates from test1展示出来的是id和一个集合对象，我只需暂时集合对象第一个值或者某几个值出 Read More
索引的结构 1基础概念 为了掌握索引的原理，首先需要掌握一些基本概念。 （1） 索引和表在磁盘上是存放在一起还是分开的？ （2） 一个表上的所有索引是在一起存放的还是独立的？ （3） 索引和表在磁盘上的存放方式有什么不同？ （4） 索引和表之前是如何关联的？ （5） 索引的作用是什么？ 1.1索引和 Read More
之前看windows下安装MongoDB操作很是简单，今天在自己笔记本上安装一次，各种小问题。参照网上各大神帖子，再记录下个简单流程以便以后记得。 1.MongoDB官网上下载安装包 2.运行安装包，选择“Custom”自定义 安装路径修改下：D:\software\MongoDB，中间instal Read More