持久化DB - 随笔分类 - 黑熊一只

大数据相关术语-cdc

摘要：CDC 数据领域中的 CDC 是变更数据捕获（Change Data Capture）的缩写。它是一种用于捕获数据库中数据变更的技术。CDC 可以用于各种目的，例如：数据同步：将数据从一个数据库同步到另一个数据库。数据仓库：将数据从数据库加载到数据仓库。实时分析：捕获数据库中的实时变更并进行阅读全文

posted @ 2024-02-27 14:17 黑熊一只阅读(410) 评论(0) 推荐(0)

clickhouse导入数据

摘要：csv文件导入 clickhouse-client --query "INSERT INTO cell_towers FORMAT CSVWithNames" < cell_towers.csv 阅读全文

posted @ 2023-11-23 16:19 黑熊一只阅读(54) 评论(0) 推荐(0)

clickhouse-配置浅谈

摘要：clickhouse，全称: click stream warehouse, 简称: ck. 属于 LOAP 分类下的数据库类型，且为列式数据库。在mac下，安装简单。 brew install clickhouse 如果想下载源码，则去github官网down即可。涉及相关配置的文件，也可以在阅读全文

posted @ 2023-11-23 15:26 黑熊一只阅读(72) 评论(0) 推荐(0)

clickhouse-配置浅谈

摘要：clickhouse，全称: click stream warehouse, 简称: ck. 属于 LOAP 分类下的数据库类型，且为列式数据库。在mac下，安装简单。 brew install clickhouse 如果想下载源码，则去github官网down即可。涉及相关配置的文件，也可以在阅读全文

posted @ 2023-11-23 15:26 黑熊一只阅读(72) 评论(0) 推荐(0)

事务上限

摘要：MySQL的事务单位，是以表单位建立的。 MySQL的事务是基于表(就innodb讨论)，所以多张分表可以提高事务的并发量，但是无法通过水平扩展表的数量将事务性能呈直线上升。 MySQL 可以发起的并发事务数取决于多个因素，包括 MySQL 的配置：MySQL 的配置，例如引擎、存储引擎、内存大小、阅读全文

posted @ 2023-11-23 15:22 黑熊一只阅读(104) 评论(0) 推荐(0)

postgresql安装(mac)

摘要：mac版本 1 brew install postgresql 运行 1 //初始化db 2 initdb --locale=C -E UTF-8 /usr/local/var/postgres 3 //启动 4 postgres -D /usr/local/var/postgres 创建db 1 阅读全文

posted @ 2023-07-13 11:51 黑熊一只阅读(93) 评论(0) 推荐(0)

不联表使用其他表字段排序

摘要：1 子查询 1 SELECT * FROM users ORDER BY (SELECT COUNT(*) FROM orders WHERE orders.user_id = users.id); 2 find_in_set 1 //find_in_set(field_name, needleSt 阅读全文

posted @ 2023-07-05 17:07 黑熊一只阅读(14) 评论(0) 推荐(0)

mysql字段类型json更新

摘要：update tbl_test set test_json = JSON_REPLACE( test_json, '$."jsonFieldName"', ( CAST(test_json -> '$."jsonFieldName"' AS SIGNED INTEGER) - 70 * 365 -1 阅读全文

posted @ 2023-04-27 16:28 黑熊一只阅读(258) 评论(0) 推荐(0)

mysql-json类型字段多值并查

摘要：1. 规则 1.1 版本是否支持 5.7.8版本: 支持json类型字段 8.0.17版本: 支持json类型字段多列索引 1.2 环境是否支持当前环境中使用的是gorm负责mysql的交互。支持原生sql操作，所以gorm不会妨碍到使用json类型的字段，相关json字段的特性。正在调研go 阅读全文

posted @ 2023-04-21 19:01 黑熊一只阅读(635) 评论(0) 推荐(0)

mysql-ddl影响范围

摘要：转载自官网 MySQL :: MySQL 5.7 Reference Manual :: 14.13.1 Online DDL Operations 关于rebuild table相关注意事项，可以查看一下。阅读全文

posted @ 2023-04-12 13:16 黑熊一只阅读(11) 评论(0) 推荐(0)

联表命中索引

摘要：select * from tblA as a left join tblB as b on a.id=b.a_id where 1 order by b.a_id desc limit 10; order by，tblB的索引影响排序。阅读全文

posted @ 2022-05-24 15:34 黑熊一只阅读(42) 评论(0) 推荐(0)

mysql给现有表每行数据赋予随机值

摘要：update talbe set field = rand() limit 5; 使用后，会针对每行数据执行rand()函数。阅读全文

posted @ 2020-12-16 17:49 黑熊一只阅读(317) 评论(0) 推荐(0)

关于join on 和单表查询的实时效果

摘要：当数据量大（10W单位级）的时候，join的优势，会被单表查询超过。以下是两张表单查和两张表联查的时间对比，同时，这样的记录有局限性的。一、数据量少时：单表查：表一：显示行 0 - 2 ( 3 总计, 查询花费 0.0010 秒) 表二：显示行 0 - 18 ( 19 总计, 查询花费 0. 阅读全文

posted @ 2017-04-26 16:48 黑熊一只阅读(591) 评论(0) 推荐(0)

MySQL 查询语句优化思路

摘要：query 语句的优化思路和原则主要提现在以下几个方面：1. 优化更需要优化的Query；2. 定位优化对象的性能瓶颈；3. 明确的优化目标；4. 从 Explain 入手；5. 多使用profile6. 永远用小结果集驱动大的结果集；7. 尽可能在索引中完成排序；8. 只取出自己需要的Column 阅读全文

posted @ 2017-04-25 22:35 黑熊一只阅读(340) 评论(0) 推荐(0)

MySQL优化之COUNT(*)效率（部分转载与个人亲测）

摘要：说到MySQL的COUNT(*)的效率，发现越说越说不清楚，干脆写下来，分享给大家。 COUNT(*)与COUNT(COL)网上搜索了下，发现各种说法都有：比如认为COUNT(COL)比COUNT(*)快的；认为COUNT(*)比COUNT(COL)快的；还有朋友很搞笑的说到这个其实是看人品的。在阅读全文

posted @ 2017-04-25 21:54 黑熊一只阅读(2393) 评论(0) 推荐(0)

关于mysql的范式——反范式的思路

摘要：数据库的设计，是有模式的，就是在实际生产的项目中，按照怎样怎样步骤的去做。减少冗余呀，一对多呀等等。那么回归到一个问题：数据库究竟是为了添加，还是为了查询？这个问题有些轴，以增删改查四律而言，都是重要的。那么数据库的本身就让人来用的。那么数据库的精简，通过范式精简，对我们来说，是最重要的嘛？阅读全文

posted @ 2017-04-25 21:39 黑熊一只阅读(291) 评论(0) 推荐(0)

随笔分类 - 持久化DB