力扛九鼎

摘要： 在咱们日常开发中，对于一些信息的配置加载一般都不会在代码中写死，而是通过一些配置动态加载。对于springcloud来说就是通过config来获取配置中心的配置信息来实现的。那么怎么实现一个配置中心？ 一、配置中心地址 选择一个配置中心地址，我这里选的得是github，新建一个项目，简单配置即可。 阅读全文

摘要： 今天继续介绍从board的后续功能。 1、看板分类、主页设置 看板分类：设计、修改看板目录结构、名称 主页设置： 设置前： 设置： 设置后： 取消设置： 2、定时任务--邮件配置 定时任务能将看板内容作为邮件内容以定时发送邮件的形式发送到邮箱（不是数据）。 邮件服务器设置： 邮件服务器选择smtp. 阅读全文

摘要： 接着上一次的内容，接下来介绍cboard的后续功能。 图表设计完成后就可以在预览中查看图表展示，对于一个BI来说，只是完成图表设计是不够得，图表的展现也是一大重要功能——看板功能 一、看板设计 Cboard中看板分为三种布局，网格布局看板、时间轴布局看板和全屏监控布局看板。网格布局和时间轴布局在设计 阅读全文

摘要： 国产自助BI数据分析——Cboard 一、简介 CBoard由上海楚果信息技术有限公司主导开源, 它不仅仅是一款自助BI数据分析产品, 还是开放的BI产品开发平台: l 用户只需简单妥妥拽拽就能自助完成数据多维分析与报表设计 l 开发者能够简单扩展连接所有你的Java程序能够触及的数据 技术架构：复 阅读全文

摘要： 1、通过kudu客户端创建表 val kuduContext = new KuduContext("kuduMaster:7051",sc)val sQLContext = new SQLContext(sc)val kuduTableName = "spark_kudu_table"val kud 阅读全文

摘要： 一、kudu概念 Apache Kudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展，使用Raft协议进行一致性保证，并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具结合紧密。 这是一个为块数 阅读全文

摘要： 之前做了记录了spark的一些配置调优，接下来记录一下本人在开发中用到的一些调优手段。 算子调优 MapPartitons提升Map类操作性能： spark中每个task处理一个RDD的partition，一条一条数据--> task function MapPartitons后所有的数据（一个分区 阅读全文

摘要： 性能调优： 总则：加资源加并行度 简单直接，调节最优的资源配置 RDD架构和持久化 当可分配的资源无法达到更多的时候在考虑性能调优 从 重剑无锋 到 花拳绣腿 1.分配资源 并行度 RDD架构和缓存 2.shuffle调优 3.spark算子调优 4.JVM调优 、 广播大变量 分配哪些资源：exe 阅读全文

摘要： 1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整 阅读全文

摘要： 大数据生态之 HDFS HDFS工作机制 客户端上传文件时，一方面由datanode存储文件内容，另一方面有namenode负责管理block信息（切块大小，副本数量，位于datanode上的位置信息） 一丶namenode的工作职责： a) 文件的路径 b) 文件的副本数量 c) 文件切块大小 d 阅读全文