DolphinScheduler(海豚调度)

摘要： 提纲很简单的：一、概述二、目的三、项目背景四、系统建设目标五、参考资料六、架构设计6.1 架构分析6.2 设计思想6.3 架构体系6.4 系统视图6.5 模块划分6.5.1 模块描述6.5.2 模块接口 阅读全文

摘要： 各大互联网公司架构演进之路汇总大型网站架构演化历程大型网站架构技术一览Web支付宝和蚂蚁花呗的技术架构及实践支付宝的高可用与容灾架构演进聚划算架构演进和系统优化 （视频+PPT）淘宝交易系统演进之路 （专访）淘宝数据魔方技术架构解析淘宝技术发展历程和架构经验分享（视频... 阅读全文

摘要： 大数据安全规范 一、概述大数据的安全体系分为五个层次：周边安全、数据安全、访问安全(认证 - authentication和授权 - authorization)、访问行为可见、错误处理和异常管理。下面依次说明：1.周边安全技术即传统意义上提到的网络安全技术，如防... 阅读全文

摘要： 美女住酒店一晚结账时账单800元，她抱怨太贵。经理说这是标准收费，酒店附设泳池、健身房和wifi。美女说自己完全没使用，经理说饭店有提供，是她自己不用。 女客人打开皮包掏钱付账，但说要扣除经理和她共度春宵的700元，只拿出100元。经理急呼：“我哪有？”女客人：“我有... 阅读全文

摘要： mysql数据库切分前言通过MySQLReplication功能所实现的扩展总是会受到数据库大小的限制，一旦数据库过于庞大，尤其是当写入过于频繁，很难由一台主机支撑的时候，我们还是会面临到扩展瓶颈。这时候，我们就必须许找其他技术手段来解决这个瓶颈，那就是我们这一章所要... 阅读全文

摘要： 大数据风控指标介绍2016-03-24 大林1查准率与查全率先说个例子，申请人有400个，其中有160个是好人，240个是坏人。我们用一个模型A，挑出了100个好人，其中真正的好人是80个，剩下20个是漏网之鱼。我们定义一个“查准率”（precision），为挑出来的... 阅读全文

摘要： 如何确定Yarn中容器Container，Mapreduce相关参数的内存设置，对于初始集群，由于不知道集群的类型(如cpu密集、内存密集)我们需要根据经验提供给我们一个参考配置值，来作为基础的配置。完成这一任务有两种方式，确定YARN和MapReduce的内存设置，... 阅读全文

摘要： 不要在linux上启用net.ipv4.tcp_tw_recycle参数发布于 2015/07/27 莿鸟栖草堂本文为翻译英文BLOG《Coping with the TCP TIME-WAIT state on busy Linux servers》，但并非完整的翻... 阅读全文

摘要： 比如RDD里的计算调用了别的组件类里的方法(比如hbase里的put方法)，那么序列化时，会将该方法所属的对象的所有变量都序列化的，可能有些根本没有实现序列化导致直接报错。也就是spark的api没有做到用户无感知,在使用一些全局方法时还需自己控制。简单点的... 阅读全文

摘要： 电商数据分析基础指标体系傅志华 傅志华 信息流、物流和资金流三大平台是电子商务的三个最为重要的平台。而电子商务信息系统最核心的能力是大数据能力，包括大数据处理、数据分析和数据挖掘能力。无论是电商平台（如淘宝）还是在电商平台上销售产品的卖家，都需要掌握大数据分... 阅读全文