摘要:一、概述 hbase 写入优化除了参数配置之外,很大的一块要考虑避免region的热点问题,避免region 热点问题,主要的目的是提高hbase 数据表rowkey的分散。结合实际情况主要有以下几个办法 1.1 rowkey的创建规则 避免, 比如 通过rowkey前几位的hash。业务规则避免,
阅读全文
随笔分类 - 随笔
摘要:目前正在使用tispark 进行离线计算,简单记录一下操作过程 一、技术验证 解决方案: 使用tispark 直接访问tidb的数据,采用spark的lag函数计算 SELECT billid,MAX(Diff) AS MaxHVDiff,MIN(Diff) AS MinHVDiff, '20190
阅读全文
摘要:大数据下的ETL工具是否还使用Kettle?&&kettle的核心执行逻辑
阅读全文
摘要:大数据多维分析平台的实践 一、 大数据多维分析平台搭建的初心 随着公司业务量的增长,基于传统关系型数据库搭建的各种报表查询分析系统,性能下降明显。同时由于大数据平台的的日趋完善,实时的核心业务数据逐步进入大数据平台。数据进入了大数据平台,相伴而来的是各种业务需求,这里主要聚焦在如何高效稳定的基于大数
阅读全文
摘要:服务器端控件客户端控件的交互一般是通过脚本程序实现,以javascript脚本为例! 关于asp。Net中cs代码部分与html代码的交互部分的总结 1. 关于二者的交互是可以实现的通过javascript中的变量的引入例如 服务器端控件 ...
阅读全文
浙公网安备 33010602011771号