米兰的小铁將

摘要： 一、下载azkaban官网：https://azkaban.github.io/downloads.htmlGitHub下载地址：https://github.com/azkaban/azkaban下载：[root@salt ~]# git clone https://github.com/azkaban/azkaban.git二、安装1、构建我这里没有用git下载，是直接下载的压缩包，不过都问题... 阅读全文

摘要： 一、概述1、 为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等;各任务单元之间存在时间先后及前后依赖关系;为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如：我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：1、通... 阅读全文

摘要： 一、时间函数 # 按照指定时间格式获取当前时间 select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') ; # 时间戳转日期 select from_unixtime(1505456567); select from_unixtime 阅读全文

摘要： 一、日志说明nginx日志主要有两种：访问日志和错误日志。访问日志主要记录客户端访问nginx的每一个请求，格式可以自定义；错误日志主要记录客户端访问nginx出错时的日志，格式不支持自定义。两种日志都可以选择性关闭。通过访问日志，你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息；通过错误日志，你可以得到系统某个服务或server的性能瓶颈等。因此，将日志好好利用，你可以得到... 阅读全文

摘要： 1、修改注册表，位置如下：HKEY_LOCAL_MACHINE/SOFTWARE/Microsoft/Windows NT/CurrentVersion/Windows2、设置1、GDIProcessHandleQuota此项设置GDI句柄数量，默认值为2710(16进制)/10000(10进制)，该值的允许范围为 256 ~ 16384 ，将其调整为大于默认的10000的值。如果您的系统配置了2... 阅读全文

摘要： 1、说明 2、启动hiveserver2 3、查看 4、使用beeline连接 5、可能的问题 <property> <name>hive.server2.authentication</name> <value>NONE</value> </property> <property> <name>d 阅读全文

摘要： 1、说明当不修改PID文件位置时,系统默认会把PID文件生成到/tmp目录下，但是/tmp目录在一段时间后会被删除,所以以后当我们停止HADOOP/HBASE/SPARK时，会发现无法停止相应的进程会警告说：no datanode to stop、no namenode to stop 等，因为PID文件已经被删除，此时只能用kill命令先干掉，所以现在我们需要修改HADOOP/HBASE/SPA... 阅读全文

摘要： 1、Ctrl+Shift+Alt+S快捷键进入Project structure(项目结构)管理的界面2、选择左边菜单栏里的Facet，点击后能看到有Deployment Descriptors的输入框3、展开左侧的Web->Web点击右边的那个小加号，会出现一个web.xml文件选项，点击它，然后会有一些配置的选择，这里注意如果要将WEB-INF建立在web文件夹下，需要手动修改路径，默认选择即... 阅读全文

摘要： 一、impala存储1、文件类型2、压缩方式二、impala分区1、创建分区方式partitioned by 创建表时，添加该字段指定分区列表：create table t_person(id int, name string, age int) partitioned by (type string);使用alter table 进行分区的添加和删除操作：alter table t_person... 阅读全文

摘要： 一、概述Impala 是参照google 的新三篇论文Dremel(大批量数据查询工具)的开源实现，功能类似shark（依赖于hive）和Drill（apache），impala 是clouder 公司主导开发并开源，基于hive并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点。是使用cdh 的首选PB 级大数据实时查询分析引擎。(也可以单独安装使用，但一般都是和CDH一起使用；)... 阅读全文