摘要: spark shuffle参数调优 spark.shuffle.file.buffer 默认值:32k 参数说明:该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前,会先写入buffer缓冲中,待缓冲写满之后,才 阅读全文
posted @ 2020-03-26 23:09 DB乐之者 阅读(911) 评论(0) 推荐(0) 编辑
摘要: 一、Hbase的六大特点: (1)、表大:一个表可以有数亿行,上百万列。 (2)、无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态增加,同一个表中的不同行的可以有截然不同的列。 (3)、面向列:HBase是面向列的的存储和权限控制,列族独立索引。 (4)、稀疏:空(null)列并不占 阅读全文
posted @ 2020-03-26 19:53 DB乐之者 阅读(2619) 评论(0) 推荐(0) 编辑
摘要: hbase是一个构建在hdfs上的分布式列存储系统; hbase是apache hadoop生态系统中的重要一员,主要用于海量结构化数据存储 从逻辑上讲,hbase将数据按照表、行和列进行存储 hbase表特点: 1.大:一个表可以有数十亿行,上百万列; 2.无模式:每行都有一个可排序的主键和任意多 阅读全文
posted @ 2020-03-26 19:47 DB乐之者 阅读(281) 评论(0) 推荐(0) 编辑
摘要: 背景 在 SQL Server 2012 和 2014 中,初始化 SQL Server Always On 可用性组中的次要副本的唯一方法是使用备份、复制和还原。 在一个高可用组里面添加一个数据库需要很多手动任务和一些必要条件。需要完成的这些工作中,有一些是有些困难的,比如: 我们需要从主副本中备 阅读全文
posted @ 2020-03-26 19:07 DB乐之者 阅读(512) 评论(1) 推荐(0) 编辑