百里登峰 - 博客园

mysql用户授权总结

摘要：在root用户下操作创建用户，并指定localhost模式下 CREATE USER 'stu'@'localhost' IDENTIFIED BY 'stu'; 查看用户所以权限，在localhost下查看，因为该用户在localhost模式下创建的 SHOW GRANTS FOR 'stu' 阅读全文

posted @ 2020-09-11 11:42 百里登峰阅读(205) 评论(0) 推荐(0) 编辑

3、Flink批处理案例实现-Java

摘要：在创建好的Flink项目的基础上，新建一个类 package com.gong.batch; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataSet; 阅读全文

posted @ 2020-09-07 18:31 百里登峰阅读(388) 评论(0) 推荐(0) 编辑

2.Flink项目创建

摘要： 1、安装maven和scala环境打开IDEA配置maven，我建议配置一个本地安装的maven不要使用IDEA自带的maven 在这里要注意一下配置maven的settings.xml文件配置依赖包下载的路径配置阿里源 <mirror> <id>alimaven</id> <name>ali 阅读全文

posted @ 2020-09-06 23:40 百里登峰阅读(291) 评论(0) 推荐(0) 编辑

1.Flink介绍

摘要：阅读全文

posted @ 2020-09-06 17:19 百里登峰阅读(120) 评论(0) 推荐(0) 编辑

通过Dockerfile部署airflow容器

摘要：部署airflow容器讲究轻量化分三个模块 1、部署airflow 2、安装rest-api插件 3、设置airflow的时钟与系统时钟同步先拉取一个airflow的基础镜像 rest-api插件的安装包下载到本地服务器，详情可以参考 https://www.cnblogs.com/bravey 阅读全文

posted @ 2020-08-14 17:46 百里登峰阅读(633) 评论(0) 推荐(0) 编辑

4.DBus学习-1

摘要： 1、什么是DBus DBus（数据总线）项目为了统一数据采集需求而生，专注于数据的收集及实时数据流计算，通过简单灵活的配置，以无侵入的方式对源端数据进行采集，采用高可用的流式计算框架，对公司各个IT系统在业务流程中产生的数据进行汇聚，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数阅读全文

posted @ 2020-08-02 17:20 百里登峰阅读(516) 评论(0) 推荐(0) 编辑

3.kafka学习

摘要： kafka是什么Kafka最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的，发布/订阅模式的消息队列（Message Queue），Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。经过多年发展，Kafka已经由最初的日志阅读全文

posted @ 2020-06-25 01:14 百里登峰阅读(213) 评论(0) 推荐(0) 编辑

2.HBase相关学习

摘要： 1.HBase shell操作 hbase shell 查看版本 version 查看服务状态 status 查看有哪些表 list 创建表 create 'students','info' list 查看表结构 describe 'students' 插入数据 put 'students','10 阅读全文

posted @ 2020-06-13 16:20 百里登峰阅读(211) 评论(0) 推荐(0) 编辑

airflow HiveOperator实例

摘要：此实例的测试环境是airflow部署在服务器而不是部署在容器 hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 sql 查询功能，可以将 sql 语句转换为 MapReduce 任务进行运行。在 airflow 中调用 hive 任务，首阅读全文

posted @ 2020-06-02 14:53 百里登峰阅读(2173) 评论(0) 推荐(0) 编辑

1.基于HDP大数据环境的搭建

摘要：版本规划安装VirtualBox 然后直接一路下一步选择一下安装路径这时VirtualBox会自动运行，主界面如下：安装VirtualBox Extension Pack VirtualBox的一些高级特性依赖于VirtualBox Extension Pack，接下来我们安装它。在Vir 阅读全文

posted @ 2020-04-17 00:14 百里登峰阅读(1203) 评论(1) 推荐(2) 编辑

百里登风

导航

公告