scala数据类型
摘要:1.字符串 package com.imooc.bigdata.scala_test object HelloWord { def main(args: Array[String]) { // 定义一个字符串 val 定义的不可变 var 可变 val greeting = "Hello,World
阅读全文
函数与方法
摘要:1.方法定义和调用 object HelloWord { def main(args: Array[String]) { println("Returned Value : " + addInt(5, 7)); // addInt(5, 7)调用定义的addInt方法 } def addInt(a:
阅读全文
scala判断语句
摘要:1.if 语句 object Test { def main(args: Array[String]) { var x = 10; if( x < 20 ){ println("x < 20"); } } } 结果 x < 20 2.if...else 语句 object Test { def ma
阅读全文
Scala 运算符
摘要:算术运算符 运算符描述实例 + 加号 A + B 运算结果为 30 - 减号 A - B 运算结果为 -10 * 乘号 A * B 运算结果为 200 / 除号 B / A 运算结果为 2 % 取余 B % A 运算结果为 0 object Test { def main(args: Array[S
阅读全文
Scala 数据类型
摘要:Scala 数据类型 数据类型描述 Byte 8位有符号补码整数。数值区间为 -128 到 127 Short 16位有符号补码整数。数值区间为 -32768 到 32767 Int 32位有符号补码整数。数值区间为 -2147483648 到 2147483647 Long 64位有符号补码整数。
阅读全文
Hbase表操作命令
摘要:Hbase存储特点 海量数据 上百亿行+上百万列的数据 准实时查询 查询数据控制在1秒以内 面向列 列不要提前定义可以动态增加 稀疏性 为空的列不占用存储空间,表可以设计的非常稀疏 扩展性 底层依赖于HDFS 高可靠性 因为底层依赖HDFS,可以进行多副本分布式存储 Hbase表操作命令 hbase
阅读全文
Hbase单机安装
摘要:1.查看目录 安装java https://www.cnblogs.com/yoyo1216/category/1490567.html安装hadoop https://www.cnblogs.com/yoyo1216/p/12668966.html安装zookeeper https://www.c
阅读全文
多节点多Broker部署和使用
摘要:Kafka架构 producer: 生产者 consumer: 消费者 broker: 类似容器,存放数据 topic: 类似标签 多节点多Broker部署和使用 0. 服务器地址 先安装zookeeper集群 https://www.cnblogs.com/yoyo1216/p/12700989.
阅读全文
单节点多Broker部署和使用
摘要:Kafka架构 producer: 生产者 consumer: 消费者 broker: 类似容器,存放数据 topic: 类似标签 1.创建文件夹 mkdir -p /usr/local/kafka/data /usr/local/kafka/logs /usr/local/kafka/logs1
阅读全文
单节点单Broker部署和使用
摘要:Kafka架构 producer: 生产者 consumer: 消费者 broker: 类似容器,存放数据 topic: 类似标签 1.创建文件夹 mkdir -p /usr/local/kafka/data /usr/local/kafka/logs cd /usr/local/kafka 2.下
阅读全文
scala安装 centos7
摘要:1.创建目录 mkdir -p /usr/local/scala cd /usr/local/scala 2.下载scala jdk https://www.scala-lang.org/download/ wget https://downloads.lightbend.com/scala/2.1
阅读全文
Centos 7系统rsync远程同步 【上行同步 】 也叫实时同步 同步目录下的文件 /root/rsync_test/
摘要:环境 服务器A:(rsync同步源)IP 192.168.104.94 文件 服务器B:(rsync客户端)IP 192.168.104.96 备份文件 服务器B 192.168.104.96 先配置服务器B 1.安装rsync文件备份工具 yum -y install rsync 2.禁用防火墙
阅读全文
Centos 7系统rsync远程同步 【下行同步 】
摘要:环境 服务器A:(rsync同步源)IP 192.168.104.94 文件 服务器B:(rsync客户端)IP 192.168.104.96 备份文件 服务器A 192.168.104.94 【下行同步 】 1.安装rsync文件备份工具 yum -y install rsync 2.禁用防火墙
阅读全文
Kafka: 消息队列
摘要:Kafka架构 producer: 生产者 consumer: 消费者 broker: 类似容器,存放数据 topic: 类似标签 Kafka部署 单节点单Broker部署和使用 1.创建文件夹 mkdir -p /usr/local/kafka/data /usr/local/kafka/logs
阅读全文
使用Flume
摘要:实例1: 监听端口,把输入端口的信息以日志的形式输出到控制台中 cd /usr/local/flume/apache-flume-1.6.0-cdh5.9.0-bin/conf vim example.conf # 命名此代理上的组件 agent.sources = seqGenSrc # sour
阅读全文
centos7 安装Flume
摘要:Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据 Flume架构和核心组件 Source 收集 Channel 处理 Sink 输出 1.安装java1.8版本 https://www.cnblogs.com/yoyo1216/p/12668926.html 2.创建
阅读全文
centos7 安装kubernetes
摘要:1.时间对齐 # https://blog.51cto.com/3241766/2405624 yum -y install ntpdate ntpdate -u cn.ntp.org.cn 2.查看本机 ip ip route show 3.安装docker https://www.cnblogs
阅读全文
字符串驻留😎
摘要:一、场景复现 我们先来看以下代码 以上代码的运行很正常。。。没有什么异常的😃😃😃 那好,接下来我们再看以下代码, 相信大家看👀完之后一定会很困扰吧🥺🥺🥺,这两个图片中唯一的区别就是多了个特殊字符“!”,结果却截然不同。 其实这就涉及到了Python的“字符串驻留”,英文名为:strin
阅读全文
Nginx的rewrite对地址进行重写
摘要:1.语法 rewrite "用来匹配路径的正则" 重写后的路径 [指令]; 2.案例 server { listen 80; server_name api.shunwang.com; proxy_set_header X-Forwarded-Host $host; proxy_set_header
阅读全文
使用cors解决请求跨域
摘要:使用cors解决请求跨域 package com.leyou.garewary.config; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Conf
阅读全文
Logstash生成及安装离线插件
摘要:1.查看Logstash已安装的插件列表 ./bin/logstash-plugin list 2.导出离线插件包 在以及成功安装logstash-output-clickhouse服务器上次导出离线包 ./bin/logstash-plugin prepare-offline-pack logst
阅读全文
zookeeper 图形化的客户端工具:ZooInspector
摘要:ZooInspector下载地址https://issues.apache.org/jira/secure/attachment/12436620/ZooInspector.zip; 解压,进入目录ZooInspector\build, 双击zookeeper-dev-ZooInspector.ja
阅读全文
zookeeper 四字命令
摘要:1.安装环境 yum install -y nc # 安装包 2.修改配置文件 vim /usr/local/zookeeper/apache-zookeeper-3.5.7-bin/bin/zkServer.sh else echo "JMX disabled by user request" >
阅读全文
zkCli.sh客户端连接
摘要:zkCli.sh客户端连接 cd /usr/local/zookeeper/apache-zookeeper-3.5.7-bin/bin ./zkCli.sh -server 192.168.107.216:2181 zkCli.sh命令 ls path [watch] # 列出指定节点下的所有一级
阅读全文