08 2021 档案

airflow----安装
摘要：Airflow配置安装 1.安装前准备工作 安装版本说明 安装工具版本用途 Python 3.6.5 安装airflow及其依赖包、开发airflow的dag使用 MySQL 5.7 作为airflow的元数据库 Airflow 1.10.10 任务调度平台 2.安装Python3 #python依 阅读全文
posted @ 2021-08-22 22:04 oceaning 阅读(239) 评论(0) 推荐(0)
pyspark dataframe
摘要：DataFrame基础 + 示例，为了自查方便汇总了关于PySpark-dataframe相关知识点，集合了很多篇博客和知乎内容，结合了自身实践，加上了更多示例和讲解方便理解，本文内容较多配合目录看更方便。 如有任何问题或者文章错误欢迎大家留言批评指正，感谢阅读。 什么是DataFrame？ Dat 阅读全文
posted @ 2021-08-14 16:56 oceaning 阅读(861) 评论(0) 推荐(0)
Huawei data road
摘要：数据工作框架 1、数据源 通过业务对象、规则与过程数字化，不断提升数据质量，建立清洁、可靠的数据源 2、数据湖 通过物理与虚拟入湖两种方式 汇聚内外部数据 3、主题数据联接 规划和驱动双驱动，建立主题联接，通过服务支撑数据消费 4、数据消费 对准数据消费场景，提供统一数据分析平台，满足 自助式数据消 阅读全文
posted @ 2021-08-14 12:12 oceaning 阅读(198) 评论(0) 推荐(0)
别人踩过的苦的坑和解
摘要：1. 坑 1、当一个tablet server被关闭超过一定的时间（默认5分钟），位于tablet server上的tablet会被移动到其它的tablet server 2、DataNode换个内存重启后，kudu的Tablet Server报错无法正常启动解决 >Tablet server 修改 阅读全文
posted @ 2021-08-11 00:09 oceaning 阅读(556) 评论(0) 推荐(0)
哈哈哈，懒了
摘要：数据集成工具——DataX&DataX-Web_友培的博客-CSDN博客 阅读全文
posted @ 2021-08-06 00:00 oceaning 阅读(21) 评论(0) 推荐(0)
airflow部署
摘要：环境准备 Python的安装 python安装的过程中 你可能会遇到各种各样的问题，上网搜各种问题的解法也不尽相同，最关键的是基本没啥效果。在我安装的过程中总结了几点，再执行我下面的流程的时候，一定要一步不落，并且保证环境一定要干净，如果在执行某个步骤的时候出现 已存在的字眼，一定要删掉然后重新执行 阅读全文
posted @ 2021-08-03 22:37 oceaning 阅读(256) 评论(0) 推荐(0)
Airflow
摘要：目录 导入模块 设置默认参数 实例化一个DAG 任务 Templating with Jinja 设置依赖关系 简要重述以上内容 测试 运行脚本 命令行元数据验证 测试 backfill 导入模块 # 导入所需的模块 # DAG用来实例化DAG对象，注意仅仅只是定义了一个对象，而不是进行真正的数据处 阅读全文
posted @ 2021-08-03 22:30 oceaning 阅读(482) 评论(0) 推荐(0)
卸载linux 自带jdk
摘要：rpm -qa | grep Java 命令来查询出系统自带的jdk（带箭头的四个就是系统自带的）注：不带箭头的那三个不要删掉 然后通过 rpm -e --nodeps 后面跟系统自带的jdk名 这个命令来删除系统自带的jdk， 例如：rpm -e --nodeps java-1.8.0-openj 阅读全文
posted @ 2021-08-01 16:18 oceaning 阅读(1862) 评论(0) 推荐(0)
Linux如何查看JDK的安装路径
摘要：如何在一台Linux服务器上查找JDK的安装路径呢？ 有那些方法可以查找定位JDK的安装路径？是否有一些局限性呢？ 下面总结了一下如何查找JDK安装路径的方法. 1：echo $JAVA_HOME 使用$JAVA_HOME的话能定位JDK的安装路径的前提是配置了环境变量$JAVA_HOME，否则如下 阅读全文
posted @ 2021-08-01 15:36 oceaning 阅读(225) 评论(0) 推荐(0)
linu mysql 创建数据库、用户
摘要：第一步：进入数据库 mysql -uroot -p 提示输入密码，输入你的root用户密码（默认不显示） 如下图： 第二步：创建一个数据库 create database 数据库名称 ;(注意分号结尾) 第三步：查看所有数据库 show databases; 第四步：创建数据库用户 grant al 阅读全文
posted @ 2021-08-01 14:35 oceaning 阅读(76) 评论(0) 推荐(0)