吊车尾88

摘要： 热点发生在大量的client直接访问集群的一个或极少数个节点（访问可能是读，写或者其他操作）。大量访问会使热点region所在的单个机器超出自身承受能力，引起性能下降甚至region不可用，这也会影响同一个RegionServer上的其他region，由于主机无法服务其他region的请求，造成资源 阅读全文

摘要： Hbase2.0查询优化 1）设置scan缓存 HBase中Scan查询可以设置缓存，方法是setCaching()，这样可以有效的减少服务端与客户端的交互，更有效的提升扫描查询的性能。 2）显示的指定列 当使用Scan或者GET获取大量的行时，最好指定所需要的列，因为服务端通过网络传输到客户端，数 阅读全文

摘要： HBase 2.0 新特性介绍 2018年4月30日HBase发布了2.0的Release版本。HBase的2.0版本承载了太多的Features，共包含4551个Issues，可以说是迄今最大的一个版本。 A new Region assignment manager AssignmentMana 阅读全文

摘要： 使用json4s的框架，包括spark,flink 1、org.json4s 引入pom的方法 对于本地支持，引入以下依赖项添加到pom中 对于jackson支持，引入以下依赖项添加到pom中 2、Json4s 数据类型 json4s类型包括两个10个类型和一个type类型对象 JField不再是J 阅读全文

摘要： sparkSQL获取DataFrame的几种方式 1. on a specific DataFrame. 2. A generic column no yet associated with a DataFrame. 3. Scala short hand for a named column. 4 阅读全文

摘要： 简介 scala.sys.process提供了shell的和系统交互的DSL，包括执行命令, 逻辑操作, 重定向, 管道等操作。 启动流程要执行与ProcessBuilder关联的所有外部命令，scala.sys.process提供了四组方法中。 这些方法中的每一种都具有各种过载和变化，以实现对I/ 阅读全文

摘要： 1.spark textFile读取File 1.1 简单读取文件 1.2 正则模式读取文件 2.spark textFile读取多个File 2.1 将多个文件变成一个 list 作为参数 正确写法：sc.TextFile( filename1 + "," + filename2 + "," + 阅读全文

摘要： 目前越来越多的FTP客户端软件开始支持SSH协议上传和下载文件，这种协议方式就是SFTP。 SFTP的优势主要有两点，一是不需要再配置个FTP服务端；二是SSH协议是安全传输，上传和下载是经过加密的。 下面介绍下在最常用的服务器系统 CentOS Linux 7 上配置 SFTP 的方式！ 一、sf 阅读全文

摘要： 一、参数说明 启动Spark任务时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 会看到不停地上传jar，非常耗时；使用spark.yarn.archive可以大大地减少任务的启动时间，整个处理过程如下。 二、spark.yarn.archive使用 1.在本 阅读全文

摘要： 一、备份单个数据库 1、备份命令：mysqldump MySQL数据库自带的一个很好用的备份命令。是逻辑备份，导出 的是SQL语句。也就是把数据从MySQL库中以逻辑的SQL语句的形式直接输出或生成备份的文件的过程。 2、参数解析 举例使用： 3、恢复操作 4、示例 （1）无参数备份数据库mytes 阅读全文