Franson

摘要： 在azkaban上传job压缩包如果出现 installation Failed Error Chunking during uploading files to db.. 错误，可通过如下方法解决。本人亲测通过。 在mysql查询器中输入如下语句 NOTE: Set the maximum to 阅读全文

摘要： 页面A中弹出页面B,在页面B中弹出页面C,在layer做嵌套ifframe弹出时会遇到C页面被嵌套在B页面中，如果C尺寸大于B,则C将不能显示完整。这个时候可以考虑B,C页面均由A页面弹出从而避免嵌套带来的问题。废话少说，直接上代码。 1.A弹出B: 在A.html中插入一下代码 2.B弹出C: 在 阅读全文

摘要： 1.将程序置为后台进程运行，关闭终端程序继续运行 2.列出当前后台运行的进程列表包括进程id 3.根据进程id杀掉该进程 阅读全文

摘要： linux中启动或关闭应用有时候比较麻烦，你必须cd到该应用的可执行脚本的目录中再执行该脚本，不能在任意目录下开启或关闭应用。。当然，设置了环境变量path可以解决在任意目录下开启应用的问题，但是每个应用的启动或关闭应用脚本在命名上比较混乱，比如有的叫start-up.sh，用户尤其是运维人员要记住 阅读全文

摘要： 1.azkaban 启动：bin/azkaban-solo-start.sh或绝对路径方式执行azkaban-solo-start.sh脚本 关闭：bin/azkaban-solo-shutdown.sh 2.kafka 注意配置server.properties,此配置文件用来配置kafka服务器 阅读全文

摘要： 在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 阅读全文

摘要： 系统环境：centos7.5 64位系统 1.下载安装包 官网下载离线安装包：apache-flume-1.8.0-bin.tar.gz 也可以使用linux命令下载： 2.解压 解压压缩包并放至指定目录，我这里的完整目录是：/home/hadoop/runtime/apache-flume-1.8 阅读全文

摘要： azkaban 是一个用Java开发的开源调度工具workflow。 下面介绍具体安装过程，我这里使用的版本是3.43.0，使用的是solo运行模式。 编译 当然也可以在官网下载离线安装包，解压进入azkaban根目录执行 配置 修改配置文件azkaban.properties，该文件位于/home 阅读全文

摘要： 执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的cluster 阅读全文

摘要： 总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。 1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分 阅读全文