随笔分类 -  中间件/工具

最新版 redis-py 操作 redis(同步、异步、集群、连接池)
摘要：现在的 Python 异步操作 redis，有三种（ aredis 、aioredis、asynio_redis) 但是都不推荐 ### 背景 从 redis.py 4.2.0rc1+ 开始，Aioredis 已经集成到 redis-py 中，并且 Aioredis 将不再更新维护, 导入方式：fr 阅读全文
posted @ 2023-08-08 17:57 つつつつつつ 阅读(3980) 评论(0) 推荐(0)
Airflow 2.2.6 + MySQL 8.0.27 + Redis 7.0.12 部署Airflow任务调度平台
摘要：本 docker-compose 文件在 centos7.9 系统, docker 版本为 24.0.2 上测试的 >如果你的 docker 版本低于 24.xxx 就需要手动安装 docker-compose, 高于 24 就不需要安装了, docker 已经自带了 [官方文档, 关于 docke 阅读全文
posted @ 2023-08-07 17:17 つつつつつつ 阅读(473) 评论(0) 推荐(0)
1
摘要：kafka 集群部署 https://wiki.datagrand.com/pages/viewpage.action?pageId=257884548 集群部署 https://wiki.datagrand.com/pages/viewpage.action?pageId=141921113 阅读全文
posted @ 2023-08-04 14:47 つつつつつつ 阅读(37) 评论(0) 推荐(0)
记录工作中需要用的 Git 操作
摘要：推荐几个趣味 Git 学习的地方 https://learngitbranching.js.org/?locale=zh_CN [猴子都能懂的GIT入门](https://backlog.com/git-tutorial/cn/intro/intro1_1.html) 在开发过程中如果在编辑.git 阅读全文
posted @ 2023-07-28 15:03 つつつつつつ 阅读(24) 评论(0) 推荐(0)
Hive查看所有表/分区更新时间
摘要：业务需求: 开始环境可能不太稳定, 需要每天手动检查 Hive 里面的数据是否同步 ```shell ## 步骤 1. 查看分区 show partitions table_name; 2.查看分区更新时间 - 获取hdfs路径 desc formatted table_name; 3. 通过dfs 阅读全文
posted @ 2023-07-28 10:33 つつつつつつ 阅读(673) 评论(0) 推荐(0)
Kafka 创建的时候只有一个 Topic 的优化
摘要：1. 在 kafka 的启动配置中修改 num.partitions=2 每一个配置参考文档 https://blog.csdn.net/lizhitao/article/details/25667831 2. python 代码在创建的时候, 将 partion 指定为 10 个 ```pytho 阅读全文
posted @ 2023-07-27 17:28 つつつつつつ 阅读(42) 评论(0) 推荐(0)
RabbitMQ队列
摘要：为啥要使用MQ 以常见的订单系统为例，用户点击【下单】按钮之后的业务逻辑可能包括：扣减库存、生成相应单据、发红包、发短信通知。在业务发展初期这些逻辑可能放在一起同步执行，随着业务的发展订单量增长，需要提升系统服务的性能，这时可以将一些不需要立即生效的操作拆分出来异步执行，比如发放红包、发短信通知等。 阅读全文
posted @ 2019-10-28 20:43 つつつつつつ 阅读(287) 评论(0) 推荐(0)
深度探索MySQL主从复制原理
摘要：深度探索MySQL主从复制原理 一 、概要 MySQL Replication (MySQL 主从复制) 是什么？ 为什么要主从复制以及它的实现原理是什么？ 1.1 MySQL 主从复制概念 MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL 默认采 阅读全文
posted @ 2019-10-28 19:57 つつつつつつ 阅读(451) 评论(0) 推荐(0)
数据库设计三大范式
摘要：数据库设计三大范式 什么是范式：简言之就是，数据库设计对数据的存储性能，还有开发人员对数据的操作都有莫大的关系。所以建立科学的，规范的的数据库是需要满足一些规范的来优化数据数据存储方式。在关系型数据库中这些规范就可以称为范式。 什么是三大范式： 第一范式：当关系模式R的所有属性都不能在分解为更基本的 阅读全文
posted @ 2019-10-28 19:56 つつつつつつ 阅读(246) 评论(0) 推荐(0)
NoSQL
摘要：# [RabbitMQ队列](https://www.cnblogs.com/Dr-wei/p/11755397.html) mq的生产者消费者 多个消费啥的 kafka 部署 docker-compose文件, t, 打就像的dockerfile也可以添加上去 kafka基本的消费者 生产者 一些 阅读全文
posted @ 2018-10-24 20:44 つつつつつつ 阅读(161) 评论(0) 推荐(0)
MySQL恩恩怨怨
摘要："数据库基础" "Windows安装MySQL" "Mac安装MySQL" "Linux安装MySQL" "MySQL存储引擎概述" "MySQL表操作" "MySQL支持的数据类型" "MySQL表的完整性约束" "MySQL记录操作" "MySQL单表查询" "MySQL多表查询" "MySQL 阅读全文
posted @ 2018-10-24 20:17 つつつつつつ 阅读(288) 评论(0) 推荐(0)