data - 随笔分类(第2页) - papering

漫谈航空业务维度建模之六脉神剑

摘要：小结： 1、模型服务需求，既快速完成分析又维度模型是数据仓库领域大师Ralph Kimall所倡导。维度建模以分析决策的需求出发构建模型，构建的数据模型为分析需求服务，因此它重点解决用户如何更快速完成分析需求，同时还有较好的大规模复杂查询的响应性能 https://mp.weixin.qq.co 阅读全文

posted @ 2019-04-25 16:55 papering 阅读(479) 评论(0) 推荐(0)

大数据和Hadoop时代的维度建模和Kimball数据集市

摘要：小结： 1、 Hadoop 文件系统中的存储是不可变的，换句话说，只能插入和追加记录，不能修改数据。如果你熟悉的是关系型数据仓库，这看起来可能有点奇怪。但是从内部机制看，数据库是以类似的机制工作，在一个进程异步地更新数据文件中的数据之前，将所有变更保存在一个不可变的预写式日志(WAL- write- 阅读全文

posted @ 2019-04-25 16:31 papering 阅读(414) 评论(0) 推荐(0)

from appium import webdriver 使用python爬虫,批量爬取抖音app视频（requests+Fiddler+appium）

摘要：使用python爬虫,批量爬取抖音app视频（requests+Fiddler+appium） - 北平吴彦祖 - 博客园 https://www.cnblogs.com/stevenshushu/p/9635097.html 抖音很火，楼主使用python随机爬取抖音视频，并且无水印下载，人家都说阅读全文

posted @ 2019-04-24 11:22 papering 阅读(1035) 评论(0) 推荐(0)

时间特征正弦化

摘要：时间特征 https://blog.csdn.net/haolexiao/article/details/85003454 这几天对于时间序列的预测，需要时间这一特征值，月份，星期等等。对于这些时间序列特征需要怎么去刻画和表示嗯？ one-hot方法一个直观想到的方法就是one-hot法，但是仔细阅读全文

posted @ 2019-04-23 15:32 papering 阅读(1031) 评论(0) 推荐(0)

异常访问分析

摘要：小伙伴：“15:03 查一下，这里是正常的不，怎么都是广州的查一下，这里是正常的不，怎么都是广州的查一下，这里是正常的不，怎么都是广州的查一下，这里是正常的不，怎么都是广州的查一下，这里是正常的不，怎么都是广州的 ”？查询该uid的广告页访客ipHERE uid=123 AND INSTR 阅读全文

posted @ 2019-03-01 15:47 papering 阅读(732) 评论(0) 推荐(0)

数据结构——栈（C语言实现）

摘要：数据结构——栈（C语言实现） - yyf的博客 - CSDN博客 https://blog.csdn.net/qq_18860653/article/details/80388025 阅读全文

posted @ 2019-01-28 11:28 papering 阅读(265) 评论(0) 推荐(0)

尽可能减少数据处理中的内存消耗

摘要：尽可能减少数据处理中的内存消耗服务器成本时间成本数据预处理阶段数据的结构化处理会消耗不必要的内存，比如多行的json字符串构成的文件的逐行字符串转json 在数据的业务层面，逐行结构化，占用接近恒定的内存，增加对内存的控制性阅读全文

posted @ 2019-01-02 17:28 papering 阅读(376) 评论(0) 推荐(0)

OLTP与OLAP的区别

摘要：oltp olap 阅读全文

posted @ 2018-12-15 22:46 papering 阅读(190) 评论(0) 推荐(0)

开窗函数

摘要：MySQL :: MySQL 8.0 Reference Manual :: 12.21 Window Functions https://dev.mysql.com/doc/refman/8.0/en/window-functions.html 阅读全文

posted @ 2018-11-27 16:55 papering 阅读(312) 评论(0) 推荐(0)

anemometer

摘要：anemometer 阅读全文

posted @ 2018-11-11 21:43 papering 阅读(141) 评论(0) 推荐(0)

前端健康度分析

摘要：DataWorks数据埋点的设计及未来发展的思考-博客-云栖社区-阿里云 https://yq.aliyun.com/articles/229854 什么是前端埋点？马总曾经说过现在是DT时代（大数据的时代）。数据已经成为一家公司最宝贵的财富，越来越多的互联网公司开始重视数据的应用。数据应用的过阅读全文

posted @ 2018-11-06 18:31 papering 阅读(974) 评论(0) 推荐(0)

美团点评前端无痕埋点实践

摘要：美团点评前端无痕埋点实践 - https://tech.meituan.com/mt_mobile_analytics_practice.html 阅读全文

posted @ 2018-11-01 14:46 papering 阅读(295) 评论(0) 推荐(0)

业务方通过什么方式来调用我们的采集脚本美团点评前端无痕埋点实践

摘要：web 埋点实现原理了解一下 - 霸天的专栏 - SegmentFault 思否 https://segmentfault.com/a/1190000014922668 2018-05-18 发布 web 埋点实现原理了解一下 2018-05-18 发布 web 埋点实现原理了解一下 2018-05 阅读全文

posted @ 2018-11-01 11:59 papering 阅读(1017) 评论(0) 推荐(0)

AJAX Form Submit Framework 原生js post json

摘要：实践： 1、 <!doctype html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> <title>Sending forms with pure AJAX – MDN</ 阅读全文

posted @ 2018-10-31 14:48 papering 阅读(357) 评论(0) 推荐(0)

系统根据用户cookies，为用户打上各种标签

摘要：DSP营销学院_品友学院 | 品友推广官网 http://e.ipinyou.com/school_article40.html 智能算法+动态出价=最大发挥推广费用的价值针对每一个曝光进行甄别和竞价，30毫秒内完成人群分析；根据科学预测的点击率合理出价，赢得目标人群曝光；自行设定价格及效果目标，阅读全文

posted @ 2018-10-29 17:16 papering 阅读(223) 评论(0) 推荐(0)

druid

摘要：实时分析型数据库 Druid | Interactive Analytics at Scale http://druid.io/ Druid is primarily used to store, query, and analyze large event streams. Examples of 阅读全文

posted @ 2018-10-26 17:43 papering 阅读(202) 评论(0) 推荐(0)

Web Tracking

摘要：采集方式_数据采集_用户指南_日志服务-阿里云 https://help.aliyun.com/document_detail/28981.html http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/31752/cn_zh 阅读全文

posted @ 2018-10-16 09:19 papering 阅读(894) 评论(0) 推荐(0)

DRDS和RDS主要用来存储用户交易信息，MongoDB主要用来存储商品维度信息

摘要：数据集成Data Integration-数加-大数据-阿里云 https://www.aliyun.com/product/cdp 数据集成支持的数据源数据集成支持的数据源数据集成支持的数据源数据集成支持的数据源数据源类型数据源来源数据源被读取目标数据源被写入产品实现方式阿里云数据库-关阅读全文

posted @ 2018-09-26 17:41 papering 阅读(783) 评论(0) 推荐(0)

前端埋点

摘要：// JavaScript Document if (window.$ == undefined) { document.writeln(''); } var _locationurl = window.location.href; var _submiturl = ''; if(_locationurl.indexOf('testabc') >= 0){ _submiturl =... 阅读全文

posted @ 2018-09-13 09:20 papering 阅读(284) 评论(0) 推荐(0)

爬虫站点的历史入库数据，对入库数据的无外网处理，幂等操作；反之，不幂等操作

摘要：爬虫站点的历史入库数据，对入库数据的无外网处理，幂等操作；反之，不幂等操作阅读全文

posted @ 2018-09-10 10:30 papering 阅读(231) 评论(0) 推荐(0)

papering

随笔分类 - data