-小鱼- - 博客园

Spark性能调优：广播大变量broadcast

摘要： Spark性能调优：广播大变量broadcast === 原文链接：概要有时在开发过程中，会遇到需要在算子函数中使用外部变量的场景（尤其是大变量，比如100M以上的大集合），那么此时就应该使用Spark的广播（Broadcast）功能来提升性能。在算子函数中使用到外部变量时，默认情况下，Spa 阅读全文

posted @ 2019-08-26 11:34 -小鱼- 阅读(4603) 评论(0) 推荐(0) 编辑

第一章 Scala基础篇

摘要：一、Scala基础语法 === [TOC] === （一）变量、类型、操作符 1．变量申明 ●Java中: ●在Scala中: ●说明 var声明的变量可以重新赋值 val声明的变量不可以重新赋值，或称之为不可变变量/只读变量。相当于java里用final修饰的变量 ●注意: Scala中阅读全文

posted @ 2019-08-25 10:40 -小鱼- 阅读(354) 评论(0) 推荐(0) 编辑

hive的hiveserver2模式启动不起来，发现Hadoop一直处于安全模式

摘要： hive的hiveserver2模式启动不起来，发现Hadoop一直处于安全模式 === 命令介绍命令hadoop fs –safemode get 查看安全模式状态命令hadoop fs –safemode enter 进入安全模式状态命令hadoop fs –safemode leave 阅读全文

posted @ 2019-08-23 12:35 -小鱼- 阅读(7891) 评论(0) 推荐(1) 编辑

nginx lua集成kafka

摘要： NGINX lua集成kafka === 第一步：进入opresty目录说明：接下来我们关注两个目录 "lualib" 和 "nginx" 1.lualib: 是存放opresty所需要的集成软件包的 2.nginx：是nginx服务目录接下来，我们进入lualib目录一看究竟：这里阅读全文

posted @ 2019-08-03 15:27 -小鱼- 阅读(1502) 评论(0) 推荐(0) 编辑

第一章 impala的安装

摘要：第一章 impala的安装 === 通过本地yum源进行安装impala 所有cloudera软件下载地址 [TOC] 1、impala的介绍 === imala基本介绍 impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，阅读全文

posted @ 2019-07-15 01:27 -小鱼- 阅读(4615) 评论(1) 推荐(1) 编辑

使用exe4j将java项目打成exe执行程序

摘要：使用exe4j将java项目打成exe执行程序 === 最近用Java写了一个小工具，想将它达成exe执行文件，到时候直接放某个目录下，一执行就能跑啦。用到的工具： 1、写好的项目：可以是java项目，也可以是java web项目 2、能够打jar的工具：我用的MyEclipse开发，他们有自带的阅读全文

posted @ 2019-06-26 17:14 -小鱼- 阅读(10439) 评论(0) 推荐(0) 编辑

Linux日志管理

摘要： Linux日志管理 === 原文链接：一、日志来源日至由程序产生，存储在内存条中 1、日志的查看 \ /nar/log/messages 清空目录内容 cat /var/log/messages 查看日志 systemctl start rsyslog.service 加载日志收集 /var/l 阅读全文

posted @ 2019-06-26 10:44 -小鱼- 阅读(369) 评论(0) 推荐(0) 编辑