bug开发工程师

摘要： 一,UDF函数 1，注意点： 1、类需要继承org.apache.hadoop.hive.ql.UDF 2、方法名必须是evaluate，支持重载； 3、必须要有返回类型，可以返回null，但是返回类型不能为void； 2，代码： public class MYUDF extends UDF { p 阅读全文

摘要： 基本架构 概念解析 1. ResourceManager ResourceManager是master上的进程，负责整个分布式系统的资源管理和调度。他会处理来自client端的请求（包括提交作业/杀死作业）；启动/监控Application Master；监控NodeManager的情况，比如可能挂 阅读全文

摘要： 1、概述 小文件是指文件size小于HDFS上block大小的文件。这样的文件会给Hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则namen 阅读全文

摘要： 1、HDFS写流程 客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本 1）跟NN通信 阅读全文

摘要： 1，安装java8 cd /software 上传文件 tar -zxvf ./jdk-8u181-linux-x64.tar.gz vi /etc/profile 四台机器 export JAVA_HOME=/software/jdk1.8.0_181 export PATH=$JAVA_HOME 阅读全文

摘要： 动态性能视图v$session_longops v$session_longops This view displays the status of various operations that run for longer than 6 seconds (in absolute time). T 阅读全文

摘要： 1，安装flume node0002 cd /software 上传apache-flume-1.6.0-bin.tar.gz tar xf apache-flume-1.6.0-bin.tar.gz -C /opt/sxt/ cd /opt/sxt/apache-flume-1.6.0-bin/c 阅读全文

摘要： 1，修改配置 node0002: cd /software 上传kafka_2.10-0.9.0.1.tgz tar xf kafka_2.10-0.9.0.1.tgz -C /opt/sxt/ cd /opt/sxt/kafka_2.10-0.9.0.1 cd config/ vi server. 阅读全文

摘要： 为什么需要消息队列 周末无聊刷着手机，某宝网APP突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天！”。买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了…… 第二天正常上着班，突然接到 阅读全文

摘要： Nimbus Supervisor Zookeeper node0002 1 1 node0003 1 1 node0004 1 1 1,修改配置文件 cd /opt/sxt/apache-storm-0.10.0/conf/ vi storm.yaml 修改zookeeper的相关信息 storm 阅读全文