2019年8月27日

第二章 impala基础使用

摘要:第二章 impala基本使用 === 1、impala的使用 === 1.1、impala shell语法 1.1.1、impala shell的外部命令参数语法 impala shell后面执行的时候可以带很多参数: h 查看帮助文档 r 刷新整个元数据,数据量大的时候,比较消耗服务器性能 B 去 阅读全文

posted @ 2019-08-27 00:15 -小鱼- 阅读 (44) 评论 (0) 编辑

2019年8月26日

Spark性能调优:广播大变量broadcast

摘要:Spark性能调优:广播大变量broadcast === 原文链接: 概要 有时在开发过程中,会遇到需要在算子函数中使用外部变量的场景(尤其是大变量,比如100M以上的大集合),那么此时就应该使用Spark的广播(Broadcast)功能来提升性能。 在算子函数中使用到外部变量时,默认情况下,Spa 阅读全文

posted @ 2019-08-26 11:34 -小鱼- 阅读 (99) 评论 (0) 编辑

2019年8月25日

第一章 Scala基础篇

摘要:一、Scala基础语法 === [TOC] === (一) 变量、类型、操作符 1.变量申明 ●Java中: ●在Scala中: ●说明 var声明的变量 可以 重新赋值 val声明的变量 不可以 重新赋值,或称之为不可变变量/只读变量。相当于java里用final修饰的变量 ●注意: Scala中 阅读全文

posted @ 2019-08-25 10:40 -小鱼- 阅读 (22) 评论 (0) 编辑

2019年8月23日

hive的hiveserver2模式启动不起来,发现Hadoop一直处于安全模式

摘要:hive的hiveserver2模式启动不起来,发现Hadoop一直处于安全模式 === 命令介绍 命令hadoop fs –safemode get 查看安全模式状态 命令hadoop fs –safemode enter 进入安全模式状态 命令hadoop fs –safemode leave 阅读全文

posted @ 2019-08-23 12:35 -小鱼- 阅读 (183) 评论 (0) 编辑

2019年8月3日

nginx lua集成kafka

摘要:NGINX lua集成kafka === 第一步:进入opresty目录 说明:接下来我们关注两个目录 "lualib" 和 "nginx" ​ 1.lualib: 是存放opresty所需要的集成软件包的 ​ 2.nginx: 是nginx服务目录 接下来,我们进入lualib目录一看究竟: 这里 阅读全文

posted @ 2019-08-03 15:27 -小鱼- 阅读 (225) 评论 (0) 编辑

2019年7月15日

第一章 impala的安装

摘要:第一章 impala的安装 === 通过本地yum源进行安装impala 所有cloudera软件下载地址 [TOC] 1、impala的介绍 === imala基本介绍 ​ impala是cloudera提供的一款高效率的sql查询工具,提供实时的查询效果,官方测试性能比hive快10到100倍, 阅读全文

posted @ 2019-07-15 01:27 -小鱼- 阅读 (86) 评论 (0) 编辑

2019年6月26日

使用exe4j将java项目打成exe执行程序

摘要:使用exe4j将java项目打成exe执行程序 === 最近用Java写了一个小工具,想将它达成exe执行文件,到时候直接放某个目录下,一执行就能跑啦。 用到的工具: 1、写好的项目:可以是java项目,也可以是java web项目 2、能够打jar的工具:我用的MyEclipse开发,他们有自带的 阅读全文

posted @ 2019-06-26 17:14 -小鱼- 阅读 (689) 评论 (0) 编辑

Linux日志管理

摘要:Linux日志管理 === 原文链接: 一、日志来源 日至由程序产生,存储在内存条中 1、日志的查看 \ /nar/log/messages 清空目录内容 cat /var/log/messages 查看日志 systemctl start rsyslog.service 加载日志收集 /var/l 阅读全文

posted @ 2019-06-26 10:44 -小鱼- 阅读 (21) 评论 (0) 编辑

导航

统计