百里登峰 - 博客园

27.Spark中transformation的介绍

摘要： Spark支持两种RDD操作：transformation和action。transformation操作会针对已有的RDD创建一个新的RDD；而action则主要是对RDD进行最后的操作，比如遍历、reduce、保存到文件等，并可以返回结果给Driver程序。例如，map就是一种transfo 阅读全文

posted @ 2019-12-15 17:59 百里登峰阅读(946) 评论(0) 推荐(0)

1.Cloudera Manager安装

摘要：安装环境采用2台虚拟机进行，一台master, 一台slave1 先安装好centos 6.5 两台，并设置静态ip 怎么安装可以参考地址：https://jingyan.baidu.com/article/25648fc1a235c99191fd0008.html 关闭防火墙设置成disable 阅读全文

posted @ 2019-12-11 15:54 百里登峰阅读(343) 评论(0) 推荐(0)

win10系统不能ping通vmware虚假机解决办法

摘要：在使用vmware安装虚拟机后，在虚拟机里面可以上网，但就是不能在宿主机通过远程连接工具连接同时也不能ping通虚拟机检查网络配置查看网关在宿主机打开 ip地址填写刚刚查看的网关，同时把子网掩码填上试ping 一下可以看到Ping通了虚拟机了阅读全文

posted @ 2019-12-09 20:59 百里登峰阅读(1874) 评论(0) 推荐(0)

在airflow的BashOperator中执行docker容器中的脚本容易忽略的问题

摘要： dag模板在调度的时候日志报这样的错误其实问题就出在这用定时任务执行docker命令的脚本的时候报错如上标题,tty(终端设备的统称): tty一词源于Teletypes,或teletypewriters。这个的意思是说后台linux执行的时候没有终端设备。我们一般执行docker里的命令时阅读全文

posted @ 2019-12-05 10:30 百里登峰阅读(1399) 评论(0) 推荐(0)

AirFlow后台运行调度程序

摘要： nohup airflow scheduler>>$AIRFLOW_HOME/airflow-scheduler.log 2>&1 & 阅读全文

posted @ 2019-12-04 15:42 百里登峰阅读(1882) 评论(0) 推荐(0)

Airflow怎么删除系统自带的DAG任务

摘要：点击这个按钮找到dag文件所在路径，并进入路径将其文件删除即可阅读全文

posted @ 2019-12-04 14:10 百里登峰阅读(1286) 评论(0) 推荐(0)

airflow删除dag不在页面显示

摘要：当我们需要把dag删除的时候，遇到了删除了相应的dag文件，但页面还是显示这个时候需要重启airflow 的webserver 阅读全文

posted @ 2019-11-21 10:40 百里登峰阅读(863) 评论(0) 推荐(0)

26.Spark创建RDD集合

摘要：打开eclipse创建maven项目 pom.xml文件创建一个WordCountLocal.java文件运行一下集群执行wordcount程序创建一个WordCountCluster.java文件 // 如果要在spark集群上运行，需要修改的，只有两个地方 // 第一，将SparkCon 阅读全文

posted @ 2019-11-10 15:47 百里登峰阅读(709) 评论(0) 推荐(0)

25.Spark下载源码和安装和使用

摘要：安装scala 上传安装包解压配置scala相关的环境变量验证scala安装是否成功把scala分发给node2 node3 node4 分别给node2 node3 node4配置scala的环境变量，并使其生效 spark安装包下载地址：https://archive.apache.or 阅读全文

posted @ 2019-11-09 18:00 百里登峰阅读(1132) 评论(0) 推荐(0)

24.Azkaban调度脚本的编写

摘要：启动azkaban 在启动了server和excutor之后，在浏览器打开azkaban,会发现不能打开，日志报这个错误其实这个问题不难解决，在打开的时候建议用谷歌浏览器：地址是 https://192.168.86.131:8443/（https://你的ip:8433）注意了，之前一直不能打阅读全文

posted @ 2019-10-20 17:58 百里登峰阅读(584) 评论(0) 推荐(0)

百里登风

导航

公告