百里登风

导航

上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 36 下一页

2019年12月15日

27.Spark中transformation的介绍

摘要: Spark支持两种RDD操作:transformation和action。transformation操作会针对已有的RDD创建一个新的RDD; 而action则主要是对RDD进行最后的操作,比如遍历、reduce、保存到文件等,并可以返回结果给Driver程序。 例如,map就是一种transfo 阅读全文

posted @ 2019-12-15 17:59 百里登峰 阅读(939) 评论(0) 推荐(0)

2019年12月11日

1.Cloudera Manager安装

摘要: 安装环境采用2台虚拟机进行,一台master, 一台slave1 先安装好centos 6.5 两台,并设置静态ip 怎么安装可以参考地址:https://jingyan.baidu.com/article/25648fc1a235c99191fd0008.html 关闭防火墙 设置成disable 阅读全文

posted @ 2019-12-11 15:54 百里登峰 阅读(341) 评论(0) 推荐(0)

2019年12月9日

win10系统不能ping通vmware虚假机解决办法

摘要: 在使用vmware安装虚拟机后,在虚拟机里面可以上网,但就是不能在宿主机通过远程连接工具连接 同时也不能ping通虚拟机 检查网络配置 查看网关 在宿主机打开 ip地址填写刚刚查看的网关,同时把子网掩码填上 试ping 一下 可以看到Ping通了虚拟机了 阅读全文

posted @ 2019-12-09 20:59 百里登峰 阅读(1871) 评论(0) 推荐(0)

2019年12月5日

在airflow的BashOperator中执行docker容器中的脚本容易忽略的问题

摘要: dag模板 在调度的时候日志报这样的错误 其实问题就出在这 用定时任务执行docker命令的脚本的时候报错如上标题,tty(终端设备的统称): tty一词源于Teletypes,或teletypewriters。 这个的意思是说后台linux执行的时候没有终端设备。我们一般执行docker里的命令时 阅读全文

posted @ 2019-12-05 10:30 百里登峰 阅读(1397) 评论(0) 推荐(0)

2019年12月4日

AirFlow后台运行调度程序

摘要: nohup airflow scheduler>>$AIRFLOW_HOME/airflow-scheduler.log 2>&1 & 阅读全文

posted @ 2019-12-04 15:42 百里登峰 阅读(1878) 评论(0) 推荐(0)

Airflow怎么删除系统自带的DAG任务

摘要: 点击这个按钮 找到dag文件所在路径,并进入路径将其文件删除即可 阅读全文

posted @ 2019-12-04 14:10 百里登峰 阅读(1284) 评论(0) 推荐(0)

2019年11月21日

airflow删除dag不在页面显示

摘要: 当我们需要把dag删除的时候,遇到了删除了相应的dag文件,但页面还是显示 这个时候需要重启airflow 的webserver 阅读全文

posted @ 2019-11-21 10:40 百里登峰 阅读(859) 评论(0) 推荐(0)

2019年11月10日

26.Spark创建RDD集合

摘要: 打开eclipse创建maven项目 pom.xml文件 创建一个WordCountLocal.java文件 运行一下 集群执行wordcount程序 创建一个WordCountCluster.java文件 // 如果要在spark集群上运行,需要修改的,只有两个地方 // 第一,将SparkCon 阅读全文

posted @ 2019-11-10 15:47 百里登峰 阅读(707) 评论(0) 推荐(0)

2019年11月9日

25.Spark下载源码和安装和使用

摘要: 安装scala 上传安装包 解压 配置scala相关的环境变量 验证scala安装是否成功 把scala分发给node2 node3 node4 分别给node2 node3 node4配置scala的环境变量,并使其生效 spark安装包下载地址:https://archive.apache.or 阅读全文

posted @ 2019-11-09 18:00 百里登峰 阅读(1131) 评论(0) 推荐(0)

2019年10月20日

24.Azkaban调度脚本的编写

摘要: 启动azkaban 在启动了server和excutor之后,在浏览器打开azkaban,会发现不能打开,日志报这个错误 其实这个问题不难解决,在打开的时候建议用谷歌浏览器:地址是 https://192.168.86.131:8443/(https://你的ip:8433) 注意了,之前一直不能打 阅读全文

posted @ 2019-10-20 17:58 百里登峰 阅读(580) 评论(0) 推荐(0)

上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 36 下一页