摘要：
依赖配置 <!--import dependencies--> <dependencies> <!--mysql driver--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> 阅读全文
posted @ 2022-11-21 14:51
黄一洋
阅读(2)
评论(0)
推荐(0)
摘要：
Lucene 由 Doug Cutting 开发，2000年3月 第一个开源版本 是apache软件基金会 jakarta项目组的一个子项目 是一个开放源代码的全文检索引擎工具包 不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种 阅读全文
posted @ 2022-11-20 15:29
黄一洋
阅读(288)
评论(0)
推荐(0)
摘要：
1. Spring 【参考】：狂神说Java 1.1 简介 spring：春天 -- 也给软件行业带来了春天！ 2002年，首次推出了 Spring 的雏形：interface21框架！ 于2004年3月24日诞生 Rod Johnson，Spring Framework的创始人 理念： 使现有技术 阅读全文
posted @ 2022-11-19 17:56
黄一洋
阅读(9)
评论(0)
推荐(0)
摘要：
1. 数仓概述 参考：尚硅谷 数据仓库是一个为数据分析而设计的企业级数据管理系统 数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策 同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的 2. 维度建模理论 阅读全文
posted @ 2022-11-17 20:45
黄一洋
阅读(42)
评论(0)
推荐(0)
摘要：
HBase & Redis 相似 HBASE 和 Redis的功能上比较相似，都是nosql类型的数据库 区别 读写性能 HBase写快读慢，HBase的读取时长通常是几毫秒 Redis的读取时长通常是几十微秒 数据类型 HBase和Redis都支持KV类型。但是Redis支持List、Set等更丰 阅读全文
posted @ 2022-11-17 20:36
黄一洋
阅读(31)
评论(0)
推荐(0)
摘要：
产生背景 当数据量越来越大，在一个操作系统存不下，需要一种系统来管理多台机器上的文件，这就是分布式文件系统，HDFS只是分布式文件系统中的一种 HDFS使用场景：适合一次写入，多次读出的场景，且不支持文件的修改，适合用来做数据分析 组成架构 NameNode 即Master，它是一个主管、管理者 管 阅读全文
posted @ 2022-11-17 20:31
黄一洋
阅读(9)
评论(0)
推荐(0)
摘要：
MapReduce InputFormat 默认是TextInputFormat，Key：偏移量，Value：一行内容 处理小文件问题 CombineTextInputFormat，把多个小文件合并到一起进行统一切片 自定义输入 Mapper setup() 初始化 map() 业务逻辑 clear 阅读全文
posted @ 2022-11-17 20:31
黄一洋
阅读(11)
评论(0)
推荐(0)
摘要：
集群部署规划 注意：NameNode 和 SecondaryNameNode不要安装在同一台服务器 注意：ResourceManager 也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上 | | hadoop101 | hadoop102 | hadoop1 阅读全文
posted @ 2022-11-17 20:30
黄一洋
阅读(15)
评论(0)
推荐(0)
摘要：
1. 相关概念 1.1 元数据 hive的原始数据是存放在HDFS中，而元数据Metadata（表和文件的映射关系）是存放在MySQL等关系型数据库中 元数据，又称中介数据、中继数据，为描述数据的数据，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能 包含用Hiv 阅读全文
posted @ 2022-11-17 20:28
黄一洋
阅读(96)
评论(0)
推荐(0)
摘要：
【Hive & Hbase】 1. 结论 Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。 2. 区别 Hbase： Hadoop database 的简称，也就是基于Hadoop数据库，是一种NoSQL数据库 阅读全文
posted @ 2022-11-17 20:27
黄一洋
阅读(23)
评论(0)
推荐(0)
浙公网安备 33010602011771号