摘要： 数据埋点方案 数据埋点方案分为三个部分 触发条件的设置 映射关系的管理 采集上报的规则处理 神策数据埋点方案学习 对于神策数据来说，底层数据模型用的是"Event+User"的事件模型，因此埋点在神策数据这里称为事件。埋点需求文档称为事件设计。 事件(埋点)设计的三个核心 1.数据模型 传统互联网时 阅读全文

摘要： 数据埋点概念拆分成三部分来学习： 术语：一些专业数据的说明，例如会话session，URL 定义：针对口径的说明和解释，例如订单数、支付订单，GMV 黑话：专业约定的俗语，例如渠道，来源 术语：一些专业数据的说明，例如会话session，URL 1.术语 会话，用户访问互联网的某个网站时，存储在会话 阅读全文

摘要： 1.什么是数据埋点？ 大数据业务中涉及的数据分为两部分， 流量数据：以用户浏览产品，记录用户浏览行为的日志 业务数据：以生产系统中产生的业务数据库记录 例如我在刷淘宝，并且浏览了一个商品，并加入购物车，淘宝记录了我加入购物车的行为或者记录了我浏览这个商品的时长等等数据，这类型的数据是流量数据。 而后 阅读全文

摘要： HashMap实现了Map接口，继承自AbstractMap，并且是LinkedHashMap的父类。 JDK8中的HashMap 在jdk8中，HashMap的底层的存储结构是一个Node对象的数组,也叫哈希桶,每个桶放的是链表，链表中的元素，就是HashMap中的元素。 涉及到扩容，关于扩容的参 阅读全文

摘要： 上一篇文章介绍了Logstash的配置，当我们将数据导入到ES后，就可以使用Kibana来分析和展示数据了。 一、设置索引 第一次登录Kibana，先设置索引样式(index pattern)。Kibana使用index pattern从ElasticSearch中提取数据。 下面选择一个表示时间的 阅读全文

摘要： Hadoop中的日志包含三个部分，Application Master产生的运行日志和Container的日志。 一、ApplicationMaster产生的作业运行日志 Application Master产生的日志信息详细记录了Map Reduce job的启动时间，运行时间，用了多少个Mapp 阅读全文

摘要： 在微信公众号看到一篇文章叫做《用ELK分析你的支付宝账单》，看了以后跃跃欲试，并且也很想学习一下ELK技术，所以就将这次的小实验当作ELK的入门吧。 一. 什么是ELK? ELK指的是elasticsearch, logstash和kibana，Elasticsearch是基于Lucene的分布式搜 阅读全文

摘要： 1. 什么是Sequence File呢？ 官方解释如下： A Sequence File is a file containing a sequence of binary Key/Value records, where both Key and Value are serialized obj 阅读全文

摘要： Barrier就是栅栏或者屏障，适用于这样的业务场景：当有些操作需要并行执行，但后续操作又需要串行执行，此时必须等待所有并行执行的线程全部结束，才开始串行，于是就需要一个屏障，来控制所有线程同时开始，并等待所有线程全部结束。 下面放上一个简陋的图以便理解。 要解决的问题如下： 1.如何控制所有线程同 阅读全文

摘要： 输入一棵二叉搜索树，将该二叉搜索树转换成一个排序的双向链表。要求不能创建任何新的结点，只能调整树中结点指针的指向。这题做了好久，但是后面看来并不是想象中那么难。例如一棵树其实链表的顺序就是这棵树中根遍历的顺序，所以我想到了用递归或者非递归。非递归的做法就是用栈对这棵树进行中根遍历，用栈进行中根遍历的... 阅读全文