Binge - 和时间做朋友

摘要： 安装准备 由于 Scala 运行于 Java 平台，因此 Scala 之前需要确保系统安装 JDK Windows 中安装 Scala 1. 下载 scala-2.11.2.msi 安装包 点击安装文件，下一步完成安装 2. 配置环境变量 SCALA_HOME Scala 安装完成后会自动将 Sca 阅读全文

摘要： 引言 在 Scala 中，下划线 _ 有很多种用法，作为 Scala 初学者也经常被下划线 _ 搞得晕头转向，下面是对 Scala 中下划线 _ 使用的简单总结~ 导包时, 下划线 _ 表示引用多个方法，和 java 中的 * 类似 import scala.collection.mutable._ 阅读全文

摘要： 环境准备 CentOS：7.x JDK：1.8 ZooKeeper：3.4.6 Kafka 集群：node-01、node-02、node-03 安装与配置 SFTP 上传 Kafka 安装包并解压 [root@node-01 ~]# tar -zxvf kafka_2.13-2.7.0.tgz - 阅读全文

摘要： 引言 提起成熟的消息队列或消息引擎，毋庸置疑，大多数人的第一反应一定是 Kafka。 Kafka 能够彻底满足海量数据场景下高吞吐、高并发需求，在短短几年内，已经被阿里、腾讯、百度、字节跳动、Netflix、Twitter 等超一线大厂视为技术核心——可以说，Kafka 是目前大数据 Spark 实 阅读全文

摘要： 1. 上传并解压 Sqoop 安装文件 将 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 安装包上传到 node-01 的 /root/ 目录下并将其解压 [root@node-01 ~]# tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.t 阅读全文

摘要： 注：以下配置项均为常见配置项，查询详细配置项可以访问 flume 官网 Source 常见配置项 Avro Source 配置项名称 默认值 描述 Channel – type – 组件类型名称，必须为avro bind – 要监听的主机名或IP地址 port – 要绑定的端口号 threads – 阅读全文

摘要： 引言 Hive 中的默认分隔符是 ^A (\001) ，这是一种特殊的分隔符，使用的是 ASCII 编码的值，键盘是打不出来的 查看 Hive 默认分隔符文件 Linux 上的文件 以 \001 作为分隔符时，下载后用 notePad++ 打开时看到的 SOH 以 \002 作为分隔符时，下载后用n 阅读全文

摘要： hive.ddl.output.format： hive的ddl语句的输出格式， 默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置； hive.exec.script.wrapper： hive调用脚本时的包装器，默认是null， 如果设置为python的话，那么在做脚本调用 阅读全文

摘要： 引言 以下是 MySQL 8 导出数据的窗口，导出数据时需要选择记录分隔符，这就需要你明白 CRLF、CR 和 LF 分别代表什么，有何区别，否则可能导出数据会出现莫名其米的问题。 名词解释 CR：Carriage Return，对应 ASCII 中转义字符 \r，表示回车 LF：Linefeed， 阅读全文

摘要： 引言 hbase 提供很方便的 shell 脚本，可以对数据表进行 CURD 操作，但是毕竟是有一定的学习成本的，基本上对于开发来讲，sql 语句都是看家本领，那么，有没有一种方法可以把 sql 语句转换成 hbase的原生API呢？ 这样就可以通过普通平常的 sql 来对hbase 进行数据的管理 阅读全文