Later^^

摘要： log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.cons 阅读全文

摘要： 安全模式 为什么集群会进入安全模式？ NameNode启动 NN启动时，首先将映像文（Fsimage）载入内存，并编辑日志（Edits）中的各项操作.一旦在内存中成功建立元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode的请求。这个过程期 阅读全文

摘要： Phoenix SQL总结 建表语句 --建表 create table if not exists "student"( id varchar primary key, name varchar ) --插入数据 upsert into "student"(id,name) values("100 阅读全文

摘要： #awk基本用法 awk是一个强大的文本分析工具 ##基本语法 awk '{pattern + action}' {filenames} ##简单参数设置 场景1：按照一定规则切分这个字段 -F 代表切分规则 默认是空格 $1 表示切分后的第一个字段 $2 awk -F '\t' '{/file/} 阅读全文

摘要： 1：HDFS存储多目录 只针对DN进行多目录配置 1）生产环境服务器磁盘情况 2）在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题。 HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://$/dfs/dat 阅读全文

摘要： 集群基准性能测试 问题引入：输入端有2T的数据，问多长时间能把数据上传到集群？ 假如说1个小时，那么双11时瞬间产生100T数据，服务器能顶住吗？ 因此，我们需要对服务器进行压力测试，对服务器整体性能有精准把控 1）测试HDFS写性能 测试内容，向集群上传10个128M的文件 [root@hadoo 阅读全文

摘要： 搭建Linux虚拟机流程 以下教程使用linux版本为Centos7.5 1.配置网络 1）修改虚拟机的静态IP 进入 sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改如下几项配置 BOOTPROTO=static --改成静态IP ONB 阅读全文

摘要： 1)创建Topic kafka-topics.sh --create --bootstrap-server hadoop102:9092 --topic second --partitions 2 --replication-factor 3 kafka-topics.sh --create --z 阅读全文

摘要： 从端口读数据读取到本地文件 #1.给三个组件命名 a3.sources = r1 a3.channels = c1 a3.sinks = k1 #2.给source组件属性赋值 a3.sources.r1.type = avro a3.sources.r1.bind = hadoop102 a3.s 阅读全文

摘要： 问题：可以连局域网，但是不能连外网 经过检查，发现DNSClient服务没有启动 解决方案 关闭方法：1.按Windows + R ，输入regedit 进入注册表 2.在左侧找到一下路径，或者复制路径到注册表上方的路径位置，按回车。中文版Windows :计算机\HKEY_LOCAL_MACHIN 阅读全文