大数据之路

博客园 首页 新随笔 联系 订阅 管理

随笔分类 -  随笔

摘要:一、概述 hbase 写入优化除了参数配置之外,很大的一块要考虑避免region的热点问题,避免region 热点问题,主要的目的是提高hbase 数据表rowkey的分散。结合实际情况主要有以下几个办法 1.1 rowkey的创建规则 避免, 比如 通过rowkey前几位的hash。业务规则避免, 阅读全文
posted @ 2019-08-25 21:51 小潘 阅读(637) 评论(0) 推荐(0)

摘要:目前正在使用tispark 进行离线计算,简单记录一下操作过程 一、技术验证 解决方案: 使用tispark 直接访问tidb的数据,采用spark的lag函数计算 SELECT billid,MAX(Diff) AS MaxHVDiff,MIN(Diff) AS MinHVDiff, '20190 阅读全文
posted @ 2019-08-22 10:59 小潘 阅读(1166) 评论(0) 推荐(0)

摘要:大数据下的ETL工具是否还使用Kettle?&&kettle的核心执行逻辑 阅读全文
posted @ 2019-07-14 15:41 小潘 阅读(3076) 评论(1) 推荐(1)

摘要:大数据多维分析平台的实践 一、 大数据多维分析平台搭建的初心 随着公司业务量的增长,基于传统关系型数据库搭建的各种报表查询分析系统,性能下降明显。同时由于大数据平台的的日趋完善,实时的核心业务数据逐步进入大数据平台。数据进入了大数据平台,相伴而来的是各种业务需求,这里主要聚焦在如何高效稳定的基于大数 阅读全文
posted @ 2019-06-23 21:35 小潘 阅读(2807) 评论(0) 推荐(0)

摘要:开始学习LINQ 坚持! 阅读全文
posted @ 2008-09-22 12:15 小潘 阅读(243) 评论(1) 推荐(0)

摘要:好久没有写了 !先暂停一下了!!! 阅读全文
posted @ 2006-09-28 18:15 小潘 阅读(163) 评论(0) 推荐(0)

摘要:服务器端控件客户端控件的交互一般是通过脚本程序实现,以javascript脚本为例! 关于asp。Net中cs代码部分与html代码的交互部分的总结 1. 关于二者的交互是可以实现的通过javascript中的变量的引入例如 服务器端控件 ... 阅读全文
posted @ 2006-07-07 02:31 小潘 阅读(1291) 评论(1) 推荐(0)