随笔分类 - 大数据
数据同步、统计分析
摘要：NewLife.XCode是一个有15年历史的开源数据中间件，支持netcore/net45/net40，由新生命团队(2002~2020)开发完成并维护至今，以下简称XCode。整个系列教程会大量结合示例代码和运行日志来进行深入分析，蕴含多年开发经验于其中，代表作有百亿级大数据实时计算项目。
阅读全文
摘要：X组件缓存架构以ICache接口为核心，包括MemoryCache、Redis和DbCache实现，支持FX和netstandard2.0！
阅读全文
摘要：相当一部分大数据分析处理的原始数据来自关系型数据库，处理结果也存放在关系型数据库中。原因在于超过99%的软件系统采用传统的关系型数据库，大家对它们很熟悉，用起来得心应手。
在我们正式的大数据团队，数仓（数据仓库Hive+HBase）的数据收集同样来自Oracle或MySql，处理后的统计结果和明细，尽管保存在Hive中，但也会定时推送到Oracle/MySql，供前台系统读取展示，生成各种报表。
在这种场景下，数据库的读写性能就显得尤为重要！
阅读全文
摘要：在ZTO大数据实时计算广泛应用，200多个Redis实例稳定工作一年多，每天处理近1亿包裹数据，日均调用量80亿次；
低延迟，Get/Set操作平均耗时200~600us（含往返网络通信）；
大吞吐，自带连接池，最大支持1000并发；
高性能，支持二进制序列化；
阅读全文
摘要：2017年6月，开始大数据分析的职业生涯，作为架构师，建立起一套基于.Net的小数据实时处理计算平台，这里记录学习过程中的点点滴滴！
数据分析的核心，可以理解为：Select xxx From table Where yyy Group By zzz
阅读全文
摘要：最近群里聊起秒杀和限流，我自己没有做过类似应用，但是工作中遇到过更大的数据和并发。 于是提出了一个简单的模型： var count = rds.inc(key); if(count > 1000) throw "已抢光！" 借助Redis单线程模型，它的inc是安全的，确保每次加一，然后返回加一后的
阅读全文
摘要：大数据时代，海量数据分析就像吃饭一样，成为了我们每天的工作。为了更好的为公司提供运营决策，各种抖机灵甚至异想天开的想法都会紧跟着接踵而来！业务多变，决定了必须每天修改系统，重新跑数据，这就要求极高的海量数据读取和存储速度！ 公司每天增加几亿行的业务日志数据，我们需要从中分析出各种维度的业务画像。经过
阅读全文
摘要：为了验证SQLite的性能巅峰，我们来做一个大数据测试。
模拟每天4亿票销售订单，分表分库，每天一个数据库文件，有订单号、部门节点、时间等。
租用阿里云最低配置ECS，单核1G内存，1M带宽，每年300块，每天九毛钱
阅读全文