百里登风

导航

上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 36 下一页

2020年4月8日

Airflow添加用户登录

摘要: 通常我们部署airflow调度系统的时候,默认是直接以admin用户登录进来的,而且不需要输入账号密码 如果业务要求必须通过不同的用户登录进来,可以采用以下的方法给airflow添加用户 在 airflow.cfg 文件中 [webserver] 下添加如下配置 [webserver] authen 阅读全文

posted @ 2020-04-08 18:25 百里登峰 阅读(8083) 评论(0) 推荐(0)

2020年3月18日

Airflow遇到问题 Task received SIGTERM signal

摘要: 当我们在使用airflow调度系统的时候,出现以下问题 *** Reading local file: /usr/local/airflow/logs/dagabcfcdeebc7d438db4ec7ef944d19b5a_7d4ce1b2d8d84e82a6421472ce3bef48/mongo 阅读全文

posted @ 2020-03-18 11:59 百里登峰 阅读(23899) 评论(2) 推荐(0)

2020年3月1日

IntelliJ IDEA集成Tomcat部署Web工程

摘要: 打开IDEA,创建项目 选择骨架 选择本地安装的maven 项目构建好之后我们需要创建java目录 创建一个java目录 再创建一个资源文件 创建包 创建资源文件 接下来部署tomcat的服务器 修改一下路径 配置好之后我们可以运行tomcat 遇到这么一个错误,地址以及被使用,我们修改一下端口号 阅读全文

posted @ 2020-03-01 16:22 百里登峰 阅读(292) 评论(0) 推荐(0)

2020年2月27日

IntelliJ IDEA构建多Module项目

摘要: 打开IDEA 创建完成项目后,我们创建子模块 可以看到common子模块创建成功,子模块的名字大家可以根据自己的实际需求来修改 下面我们再创建子模块 给子模块起个名字 现在已经创建好多模块的项目了,下一步设置模块之间的依赖关系 我们来设定behavior模块依赖也common模块 在behavior 阅读全文

posted @ 2020-02-27 18:16 百里登峰 阅读(1498) 评论(0) 推荐(0)

2020年2月18日

IDEA开发scala版本的spark程序

摘要: package com.gong import org.apache.spark.{SparkConf, SparkContext} object MyScalaWorldCount { def main(args: Array[String]): Unit = { //参数检测 if(args.l 阅读全文

posted @ 2020-02-18 17:33 百里登峰 阅读(711) 评论(1) 推荐(0)

2020年2月4日

32.电视采集项目流程spark篇通过Azkaban调度spark

摘要: 新建AccessLogDriverCluster类 package com.it19gong.clickproject; import java.sql.PreparedStatement; import java.util.ArrayList; import java.util.List; imp 阅读全文

posted @ 2020-02-04 16:40 百里登峰 阅读(792) 评论(0) 推荐(0)

2020年2月3日

31.电视采集项目流程spark篇通过sparksql处理业务逻辑

摘要: 新建包 package com.it19gong.clickproject; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; 阅读全文

posted @ 2020-02-03 17:00 百里登峰 阅读(363) 评论(0) 推荐(0)

2020年2月2日

30.Spark SQL和DataFrame

摘要: RDD转换为DataFrame 为什么要将RDD转换为DataFrame?因为这样的话,我们就可以直接针对HDFS等任何可以构建为RDD的数据,使用Spark SQL进行SQL查询了。 这个功能是无比强大的。想象一下,针对HDFS中的数据,直接就可以使用SQL进行查询。 Spark SQL支持两种方 阅读全文

posted @ 2020-02-02 23:22 百里登峰 阅读(513) 评论(0) 推荐(1)

2020年1月19日

IDEA开发java版本spark程序

摘要: 如何去创建项目这里就不对讲了,可以参考 :https://www.cnblogs.com/braveym/p/12214367.html 先在pom.xml文件里面添加spark依赖包 <dependency> <groupId>org.apache.spark</groupId> <artifac 阅读全文

posted @ 2020-01-19 18:16 百里登峰 阅读(615) 评论(0) 推荐(0)

IDEA用maven构建java和scala混合项目

摘要: 新建一个项目 构建完成 运行程序 新建Scala目录 把他标志为资源目录 在scala目录下新建包 添加scala模块 创建scala类 输入代码 package com.gong object HelloWorld { def main(args: Array[String]): Unit = { 阅读全文

posted @ 2020-01-19 16:12 百里登峰 阅读(2094) 评论(0) 推荐(0)

上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 36 下一页