Xiaohu_BigData

[置顶] 使用java语言操作阿里云短信服务api发送随机短信验证码

摘要：导入依赖  <dependency> <groupId>com.aliyun</groupId> <artifactId>dysmsapi20170525</ 阅读全文

posted @ 2025-02-26 21:07 Xiaohu_BigData 阅读(88) 评论(0) 推荐(0)

[置顶] Flink1.18 Sink - 到Kafka 新版本写法sinkTo的使用

摘要： package com.xiaohu.sink; import com.xiaohu.bean.WaterSensor; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.com 阅读全文

posted @ 2025-02-26 20:42 Xiaohu_BigData 阅读(219) 评论(0) 推荐(0)

[置顶] 纯离线部署本地知识库LLM大模型

摘要：纯离线部署本地知识库LLM大模型一、下载离线大模型下载的网址：https://hf-mirror.com/ deepseek qwen 相关的模型，只建议使用1.5B的，GGUF后缀的模型推荐下载llama相关模型，同样是GGUF后缀的，自己笔记本电脑推荐下载8B的二、下载大模型管理平台 L 阅读全文

posted @ 2025-02-26 20:10 Xiaohu_BigData 阅读(2616) 评论(0) 推荐(0)

[置顶] Elasticsearch7.8搭建(Windows版本单节点、Linux版本单节点、集群，)

摘要： The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。Elaticsearch，简称为 ES，ES 是一个开源的高扩展的阅读全文

posted @ 2021-09-06 17:17 Xiaohu_BigData 阅读(778) 评论(0) 推荐(0)

[置顶] 使用Kubeadm部署kubernetes集群

摘要：使用Kubeadm部署kubernetes集群省略网络，hosts等相关配置一、主机安全配置 1、关闭firewalld（每台机器） [root@XXX ~]# systemctl stop firewalld [root@XXX ~]# systemctl disable firewalld 阅读全文

posted @ 2020-11-09 09:52 Xiaohu_BigData 阅读(447) 评论(0) 推荐(0)

[置顶] CentOS7搭建CDH5.16.2集群 HA高可用(包含Spark2等组件部署)

摘要： CentOS7搭建CDH5.16.2集群 HA高可用机器准备：(这里HA是对HDFS和YARN的高可用) 主机名 cpu内存 bigdata-master01 8c32G bigdata-master02 8c32G bigdata-datanode01 8c16G bigdata-datanod 阅读全文

posted @ 2020-10-27 16:19 Xiaohu_BigData 阅读(984) 评论(0) 推荐(0)

2026年3月17日

python进阶-异步编程（大模型转型必会）

摘要： 1. 异步编程简介在IO密集型任务（如网络请求、数据库操作）中，传统的同步代码会阻塞等待，导致CPU空闲。asyncio提供基于事件循环的单线程并发方案：遇到IO等待时自动切换任务，从而大幅提升吞吐量。尤其适合AI服务中需要同时调用多个外部API的场景。 2. 核心概念与基本语法 2.1 定义协程阅读全文

posted @ 2026-03-17 15:59 Xiaohu_BigData 阅读(7) 评论(0) 推荐(0)

2025年2月26日

案例3：Redis充当短信验证码，设置过期时间

摘要： package com.shujia.jinjie; import org.bouncycastle.crypto.modes.EAXBlockCipher; import redis.clients.jedis.Jedis; import java.io.*; import java.sql.Co 阅读全文

posted @ 2025-02-26 21:02 Xiaohu_BigData 阅读(58) 评论(0) 推荐(0)

案例2：Redis当作索引存储，mysql存储详细数据（二级索引）

摘要： package com.shujia.jinjie; import redis.clients.jedis.Jedis; import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.ResultSet; 阅读全文

posted @ 2025-02-26 21:01 Xiaohu_BigData 阅读(17) 评论(0) 推荐(0)

案例1：Redis当作缓存，mysql查询案例

摘要： package com.shujia.jinjie; import redis.clients.jedis.Jedis; import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.ResultSet; 阅读全文

posted @ 2025-02-26 21:00 Xiaohu_BigData 阅读(38) 评论(0) 推荐(0)

Redis高级部分(集群，发布订阅)

摘要： Redis高级部分(集群，发布订阅) 1. Redis 主从复制 1.1 主从复制主从复制架构仅仅用来解决数据的冗余备份,从节点仅仅用来同步数据无法解决: 1.master节点出现故障的自动故障转移 1.2 主从复制架构图 1.3 搭建主从复制(做之前拍快照)(带同学们结合官网看redis7.0 阅读全文

posted @ 2025-02-26 20:59 Xiaohu_BigData 阅读(77) 评论(0) 推荐(0)

Redis持久化机制与位图api

摘要： Redis持久化机制与位图api 1. 持久化机制 client redis[内存] > 内存数据- 数据持久化-->磁盘 Redis官方提供了两种不同的持久化方法来将内存的数据存储到硬盘里面分别是: 快照(Snapshot) AOF (Append Only File) 只追加日志文件 1.1 快阅读全文

posted @ 2025-02-26 20:54 Xiaohu_BigData 阅读(57) 评论(0) 推荐(0)

Redis概述安装与基本数据类型

摘要： Redis概述安装与基本数据类型 1. 什么是NoSQL NoSQL( Not Only SQL )，意即不仅仅是SQL, 泛指非关系型的数据库。Nosql这个技术门类,早期就有人提出,发展至2009年趋势越发高涨。 2. NoSQL的广泛应用随着大数据的兴起，数据量的暴增，数据类型的丰富，传统的阅读全文

posted @ 2025-02-26 20:52 Xiaohu_BigData 阅读(39) 评论(0) 推荐(0)

Flink1.18 Sink - 自定义sink

摘要： package com.xiaohu.sink; import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.datastream.DataStreamSource; impor 阅读全文

posted @ 2025-02-26 20:45 Xiaohu_BigData 阅读(197) 评论(0) 推荐(0)

Flink1.18 Sink - 精确一次ExactlyOnce到JDBC 使用新依赖【因返回值是sinkFunction, 故目前只支持addSink使用, 1.18版本不支持sinkTo】

摘要： package com.xiaohu.sink; import com.mysql.cj.jdbc.MysqlXADataSource; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink 阅读全文

posted @ 2025-02-26 20:45 Xiaohu_BigData 阅读(103) 评论(0) 推荐(0)

公告