随笔分类 -  数据库

一文解开主流开源变更数据捕获技术之Flink CDC的入门使用
摘要：一文解开主流开源变更数据捕获技术之Flink CDC的入门使用相比前面介绍maxwell，实时数据采集中最主流技术非Flink CDC莫属，其直接省去中间的消息中间件如kafka，且支持增量采集也支持全量采集；本篇先介绍CDC的技术和分类，进一步了解其特性和支持丰富数据源，最后通过FLink DataStream和SQL两种编程示例解开入门。 阅读全文
posted @ 2023-06-27 23:40 itxiaoshen 阅读(2016) 评论(0) 推荐(0)
实时分布式低延迟OLAP数据库Apache Pinot探索实操
摘要：实时分布式低延迟OLAP数据库Apache Pinot探索实操一个适合工业物联网实时采集传感器数据实时分析工业设备的数据实现更好的预测性感知的分布式NoSQL数据库Apache Pinot，先了解其特性和使用场景，然后通过Local和Docker两种方式部署Apache Pinot和验证环境，最后通过实操其批和流式导入数据和利用其控制台端点查询数据。 阅读全文
posted @ 2023-04-15 00:53 itxiaoshen 阅读(813) 评论(0) 推荐(0)
大数据实时多维OLAP分析数据库Apache Druid入门分享-下
摘要：大数据实时多维OLAP分析数据库Apache Druid入门分享-下了解Apache Druid的基础概念后，本篇进一步研究其核心架构和核心设计原理部分，了解相关外部依赖，对其数据摄取和查询有一定认识，然后通过搭建分布式集群进一步理解其架构组成，最后用一个示例从HDFS将数据摄取到Druid并演示两种查询方式 阅读全文
posted @ 2023-02-01 23:39 itxiaoshen 阅读(545) 评论(2) 推荐(0)
大数据实时多维OLAP分析数据库Apache Druid入门分享-上
摘要：大数据实时多维OLAP分析数据库Apache Druid入门分享-上Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库，本篇了解其特征和适用场景，并与其他框架横向对比；最后部署一个最新版本25.0.0单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式 阅读全文
posted @ 2023-01-31 23:16 itxiaoshen 阅读(1282) 评论(0) 推荐(0)
比Sqoop功能更加强大开源数据同步工具DataX实战
摘要：比Sqoop功能更加强大开源数据同步工具DataX实战前面两篇连续介绍两个数据同步组件后，好事应有三，大满贯收场，本篇介绍主流的异构数据源离线同步工具DataX的框架设计和执行流程，将其与大名鼎鼎大数据同步组件Sqoop做对比，部署安装并通过配置基于MySQL和HDFS互为读写的实例场景和关键配置说明。 阅读全文
posted @ 2022-12-23 21:51 itxiaoshen 阅读(1297) 评论(1) 推荐(3)
大数据技术之HBase原理与实战归纳分享-上
摘要：大数据技术之HBase原理与实战归纳分享-上要想入门大数据理论和原理必先研究HBase，体会其设计精髓，本篇先介绍其基础架构和应用场景、逻辑结构和物理存储结构进一步理解其数据模型，通过详细完整步骤一步步的安装最新版本2.5高可用的Hbase集群以加深理解其整体架构，最后通过实操Hbase Shell基础命令和DDL、DMl等常用命令。 阅读全文
posted @ 2022-10-09 18:52 itxiaoshen 阅读(499) 评论(0) 推荐(0)
数仓选型必列入考虑的OLAP列式数据库ClickHouse(中)
摘要：数仓选型必列入考虑的OLAP列式数据库ClickHouse(中)ELK作为老一代日志分析技术栈非常成熟，可以说是最为流行的大数据日志和搜索解决方案，而新一代日志监控选型以MPP架构为主如ClickHouse、StarRocks特别是近年来对ELK地位发起较大的挑战，不乏有许多的大公司如携程，快手已开始把自己的日志解决方案从 ES 迁移到了Clickhouse，本篇将以一个完整实际日志采集的场景进一步打开Clickhouse的技术大门 阅读全文
posted @ 2022-05-22 02:31 itxiaoshen 阅读(973) 评论(3) 推荐(3)
数仓选型必列入考虑的OLAP列式数据库ClickHouse（上）
摘要：数仓选型必列入考虑的OLAP列式数据库ClickHouse（上）又多一款数仓选型，虽然ClickHouse从性能上比不上前面的StarRocks，但还是有其使用场景，技多也不压身。本篇了解ClickHouse特性和性能，并完成一个单机和三台集群环境部署并验证可用，为后续实站提供前提条件 阅读全文
posted @ 2022-05-21 01:16 itxiaoshen 阅读(819) 评论(1) 推荐(0)
国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（下）
摘要：国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（下）本篇重点讲述导入数据到StarRocks几种方式，也通过一个flink-connector-starrocks的简单示例代码了解其导入过程，进而学习数组类型的使用、分布式实现本地Join的使用，最后抛出外部表的使用大门 阅读全文
posted @ 2022-05-19 22:55 itxiaoshen 阅读(1457) 评论(0) 推荐(0)
国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（中）
摘要：国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（中）在上一篇已部署StarRocks集群环境基础上，本篇以列式存储、稀疏索引开始对StarRocks表设计进一步学习，进而理解排序键、物化视图、位图索引、布隆过滤器索引，全面理解加速数据处理，并通过动手实操示例巩固效果 阅读全文
posted @ 2022-05-14 01:17 itxiaoshen 阅读(1861) 评论(0) 推荐(1)
国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（上）
摘要：国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（上）没错，国产之强大，越来越多像新时代云原生的Apache Pulsar一样把性能优化极致的正在快速崛起，本篇从StarRocks由来开始，了解其特性和使用场景、架构和原理、组成部分，然后部署了一个FE和3个BE集群，最后通过一个简单建表正式迈入实操 阅读全文
posted @ 2022-05-12 22:47 itxiaoshen 阅读(2453) 评论(1) 推荐(3)
来自MyBatis不一样收获结果的探索之旅-v3.5.9
摘要：来自MyBatis不一样收获结果的探索之旅-v3.5.9来自灵魂拷问你对MyBatis了解多少?Java技术栈程序员对MyBatis运用了如指掌，但本篇我们围绕带着开篇三个问题从源码的角度去探索不一样MyBatis的收获之旅，相信在读完本篇后对MyBatis源码将不再陌生；并给在企业数据库应用开发为提升效率推荐基于Spring Boot的MyBatis-Plus实战示例，最后抛砖引玉出MyBatis-Plus苞米豆生态圈MybatisX插件和企业级应用Mybatis-Mate 阅读全文
posted @ 2022-01-05 23:53 itxiaoshen 阅读(649) 评论(0) 推荐(2)
小试国产开源HTAP分布式NewSQL数据库TiDB-v5.3.0
摘要：小试国产开源HTAP分布式NewSQL数据库TiDB-v5.3.0云原生时代又一代表作TiDB,具备HTAP也即是同时支持OLTP和OLAP,Pulsar设计相似采用存储与计算分离架构，本篇从TiDB与传统数据库的比较开始，了解应用场景和特性，进而进行部署和基础操作实践，了解整体架构、从存储、计算、调度了解TiDB的设计。 阅读全文
posted @ 2021-12-30 09:17 itxiaoshen 阅读(1323) 评论(0) 推荐(0)
浅谈MySQL数据库面试必要掌握知识点
摘要：浅谈MySQL数据库面试必要掌握知识点将原理与实际操作经验相结合，本章不讲sql用法，主要针对的是开发人员需掌握的一些MySQL面试的知识点，涉及索引、事务、优化等方面，以及大厂SQL使用规约 阅读全文
posted @ 2021-12-07 21:07 itxiaoshen 阅读(845) 评论(0) 推荐(2)
MySQL数据库之大厂面试必备技能v8.0.27
摘要：MySQL数据库之大厂面试必备技能v8.0.27MySQL发展至今仍然是世界上最流行的关系型数据库管理系统,使用C和C++语言编写，并且为很多种编程语言提供API.能够处理千万级别的数据，市场占有量还是老大哥地位。MySQL创立于1996年,最初是由瑞典 MySQL AB公司开发所有,在2008年被Sun公司收购,而Sun公司又在2009年被Oracle公司收购，目前MySQL属于Oracle旗下的产品。MySQL官网提供了多种版本，我们来了解一些，但我们常用的还是社区版本。 阅读全文
posted @ 2021-10-26 00:01 itxiaoshen 阅读(348) 评论(0) 推荐(0)