武子康 - 博客园

2024年8月5日

Flink-08 Flink Java 3分钟上手滑动窗口 SlidingWindow 时间驱动事件驱动 TimeWindow CountWindow GlobalWindow 原创

摘要：代码仓库会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 上节进度上节修改了数据源从 Socket 到 kafka。此外，完成了滚动窗口-事件驱动。核心代码每三个数据(key相同数据)触发一次事件 WindowedStream<T 阅读全文

posted @ 2024-08-05 18:09 武子康阅读(0) 评论(0) 推荐(0)

大数据-66 Kafka 高级特性分区Partition 副本因子Replication Factor replicas动态修改线上动态修改副本数原创

摘要：点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了： Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis （已更完）Kafka（正在更新…）章节内容上阅读全文

posted @ 2024-08-05 10:10 武子康阅读(0) 评论(0) 推荐(0)

大数据-65 Kafka 高级特性分区 Broker自动再平衡 ISR 副本宕机恢复再重平衡实测原创

摘要：点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了： Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis （已更完）Kafka（正在更新…）章节内容上阅读全文

posted @ 2024-08-05 09:43 武子康阅读(0) 评论(0) 推荐(0)

Flink-03 Flink Java 3分钟上手 Stream 给 Flink-02 DataStreamSource Socket写一个测试的工具！原创

摘要：代码仓库会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 当前章节继续上一节的内容：https://blog.csdn.net/w776341482/article/details/139875037 上一节中，我们需要使用 nc 或者阅读全文

posted @ 2024-08-05 09:31 武子康阅读(0) 评论(0) 推荐(0)

2024年8月4日

Hadoop-26 ZooKeeper集群 3台云服务器基础概念简介与环境的配置使用架构组成分布式协调框架 Leader Follower Observer 原创

摘要：章节内容上节我们顺利完成了： Sqoop CDC ChangeDataCapture 差量数据捕获CDC的几种类型侵入式和非侵入式Sqoop 数据差量更新导入从 MySQL 到 Hive Sqoop目前就算告一段落了，接下来我们将开始 ZooKeeper！！！背景介绍这里是三台公网云服务器阅读全文

posted @ 2024-08-04 13:23 武子康阅读(0) 评论(0) 推荐(0)

2024年8月3日

大数据-64 Kafka 高级特性分区Partition 分区重新分配实机实测重分配原创

摘要：点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了： Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis （已更完）Kafka（正在更新…）章节内容上阅读全文

posted @ 2024-08-03 10:01 武子康阅读(0) 评论(0) 推荐(0)

大数据-63 Kafka 高级特性分区副本机制宕机恢复 Leader选举原创

摘要：点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了： Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis （已更完）Kafka（正在更新…）章节内容上阅读全文

posted @ 2024-08-03 09:25 武子康阅读(0) 评论(0) 推荐(0)

2024年8月2日

大数据-62 Kafka 高级特性主题 kafka-topics相关操作参数 KafkaAdminClient 偏移量管理原创

摘要：点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了： Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis （已更完）Kafka（正在更新…）章节内容上阅读全文

posted @ 2024-08-02 09:09 武子康阅读(0) 评论(0) 推荐(0)

LangChain-23 Vector stores 向量化存储并附带一个实际案例通过Loader加载 Embedding后持久化 LangChain ChatOpenAI ChatGLM3对话原创

摘要：背景描述向量存储，也称为向量数据库，是专门设计用于高效存储和索引由人工智能模型生成的向量嵌入的数据库。这些嵌入是表示数据点在多维空间中的高维向量，捕获复杂的语义关系。向量数据库擅长处理大量的高维嵌入数据，这在大型语言模型（LLMs）如GPT、Bard、Claude和LLaMA的背景下尤其有用。安阅读全文

posted @ 2024-08-02 07:30 武子康阅读(0) 评论(0) 推荐(0)

LangChain-03 astream_events 流输出原创

摘要：内容简介尝试用 FAISS 或 DocArrayInMemorySearch 将数据向量化后检索astream_events 的效果为 |H|arrison| worked| at| Kens|ho|.|| 安装依赖 # 之前的依赖即可 pip install --upgrade --quiet 阅读全文

posted @ 2024-08-02 01:16 武子康阅读(0) 评论(0) 推荐(0)

公告