百里登峰 - 博客园

3.RDD详解和创建RDD方式

摘要： Spark 可以简单概括为 3 点： Scala 语法 RDD 操作（Transform & Action）分布式化做 Spark 开发，其实就是用 Scala 语言进行 RDD 操作， Spark 会自动将 RDD 中的数据分发到集群上，并将操作并行化执行。 Java 工程师做分布式开发的阅读全文

posted @ 2020-01-06 18:50 百里登峰阅读(689) 评论(0) 推荐(0) 编辑

28.Spark中action的介绍

摘要：新建一个类运行代码运行代码运行代码运行代码运行代码阅读全文

posted @ 2020-01-04 18:07 百里登峰阅读(397) 评论(0) 推荐(0) 编辑

2.Spark 2.x 集群部署和测试

摘要：配置免密度登录执行 ssh-keygen -t rsa#建立 ssh 目录,一路敲回车，生成的密钥对 id_rsa， id_rsa.pub，默认存储在~/.ssh 目录下现在给slave1节点设置公钥执行 ssh-keygen -t rsa#建立 ssh 目录,一路敲回车，生成的密钥对 i 阅读全文

posted @ 2019-12-31 17:58 百里登峰阅读(417) 评论(0) 推荐(0) 编辑

airflow安装rest api插件发现airflow webserver服务不能启动的解决办法

摘要：安装插件airflow-rest-api 1）获取wget https://github.com/teamclairvoyant/airflow-rest-api-plugin/archive/master.zip2）将plugins文件夹下的内容放入airflow/plugins/下，若不存在则新阅读全文

posted @ 2019-12-19 18:50 百里登峰阅读(1612) 评论(0) 推荐(0) 编辑

27.Spark中transformation的介绍

摘要： Spark支持两种RDD操作：transformation和action。transformation操作会针对已有的RDD创建一个新的RDD；而action则主要是对RDD进行最后的操作，比如遍历、reduce、保存到文件等，并可以返回结果给Driver程序。例如，map就是一种transfo 阅读全文

posted @ 2019-12-15 17:59 百里登峰阅读(854) 评论(0) 推荐(0) 编辑

1.Cloudera Manager安装

摘要：安装环境采用2台虚拟机进行，一台master, 一台slave1 先安装好centos 6.5 两台，并设置静态ip 怎么安装可以参考地址：https://jingyan.baidu.com/article/25648fc1a235c99191fd0008.html 关闭防火墙设置成disable 阅读全文

posted @ 2019-12-11 15:54 百里登峰阅读(308) 评论(0) 推荐(0) 编辑

win10系统不能ping通vmware虚假机解决办法

摘要：在使用vmware安装虚拟机后，在虚拟机里面可以上网，但就是不能在宿主机通过远程连接工具连接同时也不能ping通虚拟机检查网络配置查看网关在宿主机打开 ip地址填写刚刚查看的网关，同时把子网掩码填上试ping 一下可以看到Ping通了虚拟机了阅读全文

posted @ 2019-12-09 20:59 百里登峰阅读(1811) 评论(0) 推荐(0) 编辑

在airflow的BashOperator中执行docker容器中的脚本容易忽略的问题

摘要： dag模板在调度的时候日志报这样的错误其实问题就出在这用定时任务执行docker命令的脚本的时候报错如上标题,tty(终端设备的统称): tty一词源于Teletypes,或teletypewriters。这个的意思是说后台linux执行的时候没有终端设备。我们一般执行docker里的命令时阅读全文

posted @ 2019-12-05 10:30 百里登峰阅读(1358) 评论(0) 推荐(0) 编辑

AirFlow后台运行调度程序

摘要： nohup airflow scheduler>>$AIRFLOW_HOME/airflow-scheduler.log 2>&1 & 阅读全文

posted @ 2019-12-04 15:42 百里登峰阅读(1798) 评论(0) 推荐(0) 编辑

Airflow怎么删除系统自带的DAG任务

摘要：点击这个按钮找到dag文件所在路径，并进入路径将其文件删除即可阅读全文

posted @ 2019-12-04 14:10 百里登峰阅读(1144) 评论(0) 推荐(0) 编辑

百里登风

导航

公告