Fork me on GitHub
摘要: 大赛简介 目前互联网领域有很多公司都在做APP领域的“用户行为分析”产品,与Web时代的行为分析相类似,其目的都是帮助公司的运营、产品等部门更好地优化自家产品,比如查看日活和月活,查看渠道来源,提高留存、转化、活跃度等等。 在这个研发过程中,有个比较核心的需求,叫做“有序漏斗”。“有序漏斗”问题定义 阅读全文
posted @ 2017-08-09 15:27 程序优化 阅读(519) 评论(0) 推荐(0) 编辑
摘要: Apache DolphinScheduler 诞生记 DolphinScheduler,简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,又左右脑可互相换班,终生不用睡觉)。希望 DolphinScheduler 就像它的名字一样,成为一个“开箱即用”的灵活易用的调度系统。 1概述 DAG 阅读全文
posted @ 2020-08-03 18:18 程序优化 阅读(3272) 评论(0) 推荐(0) 编辑
摘要: 活动背景 2020年,大数据成为国家基建的一个重要组成,大数据在越来越多的领域展现威力。随着大数据的应用场景越来越多,大家对数据的响应速度和数据加工工作流的方便程度也提出了更高的要求。在这种背景下,相信做过大数据的技术小伙伴应该对 Apache 一词不会陌生,Apache 基金会旗下拥有被广泛使用的 阅读全文
posted @ 2020-07-21 12:16 程序优化 阅读(416) 评论(0) 推荐(0) 编辑
摘要: Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 近日,伯毅同学给社区贡献了工作流核心表结构的剖析文章,非常细致,喜欢的伙伴请转走 1. 工作流总体存储结 阅读全文
posted @ 2020-07-03 17:14 程序优化 阅读(2959) 评论(0) 推荐(0) 编辑
摘要: Easy Scheduler Release 1.0.2 Easy Scheduler 1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等支持,具体如下: 新特性: [[EasySch 阅读全文
posted @ 2019-04-27 09:09 程序优化 阅读(813) 评论(0) 推荐(0) 编辑
摘要: 为何要建数据仓库数据仓库整体架构数据仓库—分层 数据仓库—STG层数据仓库—ODS层数据仓库—DWD层数据仓库—DWS层dws层示例 数据仓库—DWS层数据仓... 阅读全文
posted @ 2017-09-05 22:34 程序优化 阅读(230) 评论(0) 推荐(0) 编辑
摘要: mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)首先将要导入的数据文件top5000W.txt放入到数据库数据目录/var/local/mysql/data/${db_name}/ 下,并确保导入用户拥有这个txt文件的... 阅读全文
posted @ 2017-07-16 11:39 程序优化 阅读(1979) 评论(0) 推荐(0) 编辑
摘要: 两步完成vi /etc/sysctl.conf net.ipv6.conf.all.disable_ipv6=1sysctl -p /etc/sysctl.conf 阅读全文
posted @ 2017-06-15 20:40 程序优化 阅读(293) 评论(0) 推荐(0) 编辑
摘要: 度量(指标)定义活跃用户指启动应用的用户(去重,即1台设备打开多次会被计为1个活跃用户)。是衡量一个应用运营情况最基础的一个指标,用以表示用户规模。通常根据不同的时间限定,有日活跃用户、周活跃用户、月活跃用户等指标。新增用户指首次安装启动应用的用户,卸载再安装的设备,... 阅读全文
posted @ 2017-06-08 23:57 程序优化 阅读(1123) 评论(0) 推荐(0) 编辑
摘要: 今天在腾讯云上搭的开发环境里的一台机器cpu load飚升老高,然后还能登陆上去,top后发现两个可疑进程、/root/目录下有修改过的文件、/opt目录被干掉了,后经分析,这台机器上有redis外网服务,/root目录下还有个READ_ME.txt, 内容如下:中... 阅读全文
posted @ 2017-06-06 16:03 程序优化 阅读(612) 评论(0) 推荐(0) 编辑