会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
武子康
永远清澈,永远热情,永远好奇,无限进步!
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
15
16
17
18
19
20
21
22
23
···
28
下一页
2024年7月9日
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析 原创
摘要: 章节内容 上一节我们完成了内容: Flume 启动测试Flume Conf编写Flume 测试发送和接收数据 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在
阅读全文
posted @ 2024-07-09 09:58 武子康
阅读(0)
评论(0)
推荐(0)
2024年7月8日
Flink-02 Flink Java 3分钟上手 Stream SingleOutputStreamOpe ExecutionEnvironment DataSet FlatMapFunction 原创
摘要: 代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 接着上一节的内容 https://blog.csdn.net/w776341482/article/details/139873938 pom内容 <?xml version="1
阅读全文
posted @ 2024-07-08 00:30 武子康
阅读(0)
评论(0)
推荐(0)
2024年7月6日
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行 原创
摘要: 章节内容 上一节我们完成了: Metastore的基础概念配置模式:内嵌模式、本地模式、远程模式实机配置远程模式 并测试 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器
阅读全文
posted @ 2024-07-06 11:31 武子康
阅读(0)
评论(0)
推荐(0)
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测 原创
摘要: 章节内容 上一节我们完成了: Hive中数据导出:HDFSHQL操作上传内容至Hive、增删改查等操作 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上
阅读全文
posted @ 2024-07-06 11:05 武子康
阅读(0)
评论(0)
推荐(0)
2024年7月5日
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY 原创
摘要: 章节内容 上一节我们完成了: 启动Hive测试Hive修改配置简单测试 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。 注意,如果你和我
阅读全文
posted @ 2024-07-05 09:34 武子康
阅读(0)
评论(0)
推荐(0)
Hadoop-13-Hive 启动Hive 修改启动参数命令行启动测试 几句简单的HQL了解Hive 原创
摘要: 章节内容 上一节我们完成了: Hive简介安装配置下载、解压等等操作修改配置MariaDB 安装启动配置建立用户 远程访问 刷新权限 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊
阅读全文
posted @ 2024-07-05 09:13 武子康
阅读(0)
评论(0)
推荐(0)
2024年7月4日
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL 原创
摘要: 章节内容 上一节我们完成了: Reduce JOIN 的介绍Reduce JOIN 的具体实现DriverMapperReducer运行测试 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前
阅读全文
posted @ 2024-07-04 10:32 武子康
阅读(0)
评论(0)
推荐(0)
Hadoop-11-MapReduce JOIN 操作的Java实现 Driver Mapper Reducer具体实现逻辑 模拟SQL进行联表操作 原创
摘要: 章节内容 上一节我们完成了: MapReduce的介绍Hadoop序列化介绍Mapper编写规范Reducer编写规范Driver编写规范WordCount功能开发WordCount本地测试 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 V
阅读全文
posted @ 2024-07-04 10:04 武子康
阅读(0)
评论(0)
推荐(0)
Flink-11 Flink Java 3分钟上手 打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin 原创
摘要: 代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 上节进度 在上节中,已经使用 Dockerfile + docker-compose 的方式启动了Flink的服务 1个JobManager1个TaskManager 访问 IP
阅读全文
posted @ 2024-07-04 09:53 武子康
阅读(0)
评论(0)
推荐(0)
2024年7月3日
LangChain-11 Code Writing FunctionCalling 大模型通过编写代码完成需求 大模型计算加法 原创
摘要: 背景简介 我们知道GPT模型对于内容的输出,是对下一个字符的预测,通过概率选出下一个文本。 而且我们也知道,训练样本是非常庞大的,对于GPT来说,也是有可能学习过1 + 1 = 2的。 当我们向GPT询问1+1 时,完全可以通过概率来推测出结果是2 但是当我们要求GPT计算:123111111111
阅读全文
posted @ 2024-07-03 17:57 武子康
阅读(0)
评论(0)
推荐(0)
上一页
1
···
15
16
17
18
19
20
21
22
23
···
28
下一页
公告