百里登峰 - 博客园

配置AirFlow系统时钟与宿主进同步

摘要： Airflow自带的时区是UTC时区，通常跟当前的环境时区不一样，因此我们需要对时区进行修改。 1、修改airflow的配置文件airflow.cfg default_timezone = Asia/Shanghai 2、进入airflow包的安装位置,也就是site-packages的位置,由于我阅读全文

posted @ 2020-04-09 09:49 百里登峰阅读(1223) 评论(0) 推荐(0)

Airflow添加用户登录

摘要：通常我们部署airflow调度系统的时候，默认是直接以admin用户登录进来的，而且不需要输入账号密码如果业务要求必须通过不同的用户登录进来，可以采用以下的方法给airflow添加用户在 airflow.cfg 文件中 [webserver] 下添加如下配置 [webserver] authen 阅读全文

posted @ 2020-04-08 18:25 百里登峰阅读(8246) 评论(0) 推荐(0)

Airflow遇到问题 Task received SIGTERM signal

摘要：当我们在使用airflow调度系统的时候，出现以下问题 *** Reading local file: /usr/local/airflow/logs/dagabcfcdeebc7d438db4ec7ef944d19b5a_7d4ce1b2d8d84e82a6421472ce3bef48/mongo 阅读全文

posted @ 2020-03-18 11:59 百里登峰阅读(24284) 评论(2) 推荐(0)

IntelliJ IDEA集成Tomcat部署Web工程

摘要：打开IDEA,创建项目选择骨架选择本地安装的maven 项目构建好之后我们需要创建java目录创建一个java目录再创建一个资源文件创建包创建资源文件接下来部署tomcat的服务器修改一下路径配置好之后我们可以运行tomcat 遇到这么一个错误，地址以及被使用，我们修改一下端口号阅读全文

posted @ 2020-03-01 16:22 百里登峰阅读(316) 评论(0) 推荐(0)

IntelliJ IDEA构建多Module项目

摘要：打开IDEA 创建完成项目后，我们创建子模块可以看到common子模块创建成功，子模块的名字大家可以根据自己的实际需求来修改下面我们再创建子模块给子模块起个名字现在已经创建好多模块的项目了，下一步设置模块之间的依赖关系我们来设定behavior模块依赖也common模块在behavior 阅读全文

posted @ 2020-02-27 18:16 百里登峰阅读(1520) 评论(0) 推荐(0)

IDEA开发scala版本的spark程序

摘要： package com.gong import org.apache.spark.{SparkConf, SparkContext} object MyScalaWorldCount { def main(args: Array[String]): Unit = { //参数检测 if(args.l 阅读全文

posted @ 2020-02-18 17:33 百里登峰阅读(721) 评论(1) 推荐(0)

32.电视采集项目流程spark篇通过Azkaban调度spark

摘要：新建AccessLogDriverCluster类 package com.it19gong.clickproject; import java.sql.PreparedStatement; import java.util.ArrayList; import java.util.List; imp 阅读全文

posted @ 2020-02-04 16:40 百里登峰阅读(810) 评论(0) 推荐(0)

31.电视采集项目流程spark篇通过sparksql处理业务逻辑

摘要：新建包 package com.it19gong.clickproject; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; 阅读全文

posted @ 2020-02-03 17:00 百里登峰阅读(377) 评论(0) 推荐(0)

30.Spark SQL和DataFrame

摘要： RDD转换为DataFrame 为什么要将RDD转换为DataFrame？因为这样的话，我们就可以直接针对HDFS等任何可以构建为RDD的数据，使用Spark SQL进行SQL查询了。这个功能是无比强大的。想象一下，针对HDFS中的数据，直接就可以使用SQL进行查询。 Spark SQL支持两种方阅读全文

posted @ 2020-02-02 23:22 百里登峰阅读(527) 评论(0) 推荐(1)

IDEA开发java版本spark程序

摘要：如何去创建项目这里就不对讲了，可以参考：https://www.cnblogs.com/braveym/p/12214367.html 先在pom.xml文件里面添加spark依赖包 <dependency> <groupId>org.apache.spark</groupId> <artifac 阅读全文

posted @ 2020-01-19 18:16 百里登峰阅读(648) 评论(0) 推荐(0)

百里登风

导航

公告