摘要： 命令行标记 Logstash有以下标记，你可以使用--help标志来显示此信息。 --node.name NAME 指定此Logstash实例的名称，如果没有赋值，它将默认为当前主机名。 -f, --path.config CONFIG_PATH 从特定的文件或目录加载Logstash配置，如果给定 阅读全文

摘要： 1.clickhouse-client clickhouse-client --multiline -h 192.168.107.216 --port 9000 -u ck --password ur6LMIUD # --multiline:SQL以逗号结束 不带这么输入一行sql 2.创建数据库 阅读全文

摘要： 1. 散点图 Scatteplot是用于研究两个变量之间关系的经典和基本图。如果数据中有多个组，则可能需要以不同颜色可视化每个组。在Matplotlib，你可以方便地使用。 import numpy as np import pandas as pd import matplotlib as mpl 阅读全文

摘要： 1.Hadoop集群规划 HDFS: NN DN YARN: RM NM 192.168.107.216 NN RM DN NM 192.168.107.215 DN NM 192.168.107.214 DN NM 2.(每台)ssh免密码登陆 https://www.cnblogs.com/yo 阅读全文

摘要： 1.hive 创建内部表 CREATE TABLE emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) ROW FORMAT DELIMIT 阅读全文

摘要： 配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法: /us 阅读全文

摘要： 1.DDL Hive Data Definition Language create、delete、alter... 2.Hive数据抽象/结构 database HDFS一个目录 table HDFS一个目录 data 文件 partition 分区表 HDFS一个目录 data 文件 bucke 阅读全文

摘要： 1.Hive底层执行引擎支持: MR/Tez/Spark 2.统一元数据管理: Hive数据是存放在HDFS 元数据信息(记录数据的数据)是存放在MySQL中 SQL on Hadoop: Hive、Spark SQL、impala.... 3.Hive体系架构 client: shell、thri 阅读全文

摘要： java 正则表达式 package com.project.utils; import org.apache.commons.lang.StringUtils; import java.util.regex.Matcher; import java.util.regex.Pattern; publ 阅读全文

摘要： 1 YARN产生背景 MapReduce1.x ==> MapReduce2.x master/slave : JobTracker/TaskTracker JobTracker：单点、压力大 仅仅只能够支持mapreduce作业 资源利用率 所有的计算框架运行在一个集群中，共享一个集群的资源，按需 阅读全文