摘要:一、分布式简介 1、架构简介 现在的互联网,几乎常见的复杂系统都会使用分布式架构,如果在不清楚概念之前,刚接触分布式架构这个名词会感觉十分的高大上,其实在对比单服务,集群服务之后,你就会发现本质上都是一样的。 絮叨一句:所谓Java架构师,基本就是看被单服务,集群,分布式不断暴打的频率,架构师因为被 阅读全文
posted @ 2020-04-17 07:52 知了一笑 阅读(893) 评论(0) 推荐(4) 编辑
摘要:数字营销产业链上最核心的角色就是就是受众人群,即浏览广告的用户,之所以称为受众人群,通常会把用户按照画像特点基于标签进行人群分类,根据广告的需求,可能是根据不同年龄段,地域,消费能力等各种标签。数字营销的基本就是广告主把营销内容传递到潜在的消费者,并触发用户交易动作。 阅读全文
posted @ 2021-01-18 22:29 知了一笑 阅读(31) 评论(0) 推荐(0) 编辑
摘要:用户画像,作为一种勾画目标用户、联系用户诉求与设计方向的有效工具,用户画像在各领域得到了广泛的应用。用户画像最初是在电商领域得到应用的,尤其在数字化营销范畴之内,核心的依赖依据就是描述用户画像的丰富标签。 阅读全文
posted @ 2021-01-14 23:22 知了一笑 阅读(233) 评论(0) 推荐(0) 编辑
摘要:HBase是一种分布式、可扩展、支持海量结构化数据存储的NoSQL数据库。HBase在Hadoop之上提供了类似于Bigtable的能力,基于列存储模式的而不是基于行的模式。存储数据特点:非结构化或者松散的半结构化数据,存储大表自然是需要具备水平扩展的能力,基于服务集群处理海量庞大数据。 阅读全文
posted @ 2021-01-11 08:01 知了一笑 阅读(148) 评论(0) 推荐(0) 编辑
摘要:基于标签对业务进行精准分析,从而影响运营思路和产品迭代的节奏,进而带来非常高的商业价值,但是这里需要对标签的质量进行评估,假设标签的覆盖场景非常低,而且准确度低,同样也会反向影响业务。 阅读全文
posted @ 2021-01-05 22:52 知了一笑 阅读(38) 评论(0) 推荐(0) 编辑
摘要:Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,是一个可以对Hadoop中的大规模存储的数据进行查询和分析存储的组件,Hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行,使用成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。 阅读全文
posted @ 2021-01-04 08:00 知了一笑 阅读(164) 评论(0) 推荐(0) 编辑
摘要:标签特点:精确描述定位和搜索,具有生命周期的特性,可以计算,配置和规则化处理。可以用标签来描述各种结构和非结构化[文档、图片、视频等]的数据,从而使这些内容被高效的管理。 阅读全文
posted @ 2020-12-30 23:50 知了一笑 阅读(187) 评论(0) 推荐(1) 编辑
摘要:智能数字时代,数据不论形态、格式和类型,已经迅速成为企业最有战略意义的资产;数据资产已经成为了可以形成业务洞察及优势的战略资源,数据的体量、多样性和复杂性也正以指数级增长。就像其他重要的企业资产,数据需要适当的管理和治理水平,以确保它的潜在价值得到认识和发挥作用。 阅读全文
posted @ 2020-12-26 22:05 知了一笑 阅读(53) 评论(0) 推荐(0) 编辑
摘要:验证第三方服务的身份,验证邮箱用户的身份,记录和管理认证Token,为资源服务器提供Token校验。场景:第三方网站借助用户的邮箱登录,并访问邮箱账户的基础信息,头像、名称等。 阅读全文
posted @ 2020-12-22 08:06 知了一笑 阅读(399) 评论(0) 推荐(1) 编辑
摘要:现在产品常见的客户端有PC端、H5端、APP端、小程序等各个场景的入口,更有一些物联网设备或者专门做的数据采集机制,不同的场景下的数据类型都是要区分的。通过不同端口下各类数据埋点,获取各个场景下的不同事件的数据来分析产品的优缺点,获取具有建设性的分析结果。 阅读全文
posted @ 2020-12-15 23:27 知了一笑 阅读(252) 评论(0) 推荐(0) 编辑
摘要:MapReduce应用开发遵循Yarn规范的MapReduceApplicationMaster,所以可以在Yarn上运行,其它计算框架如果也遵守该规范,这样就实现资源的统一调度管理。调度器的基本作用就是根据节点资源的使用情况和作业需求,将任务调度到各个节点上执行。 阅读全文
posted @ 2020-12-13 16:44 知了一笑 阅读(132) 评论(0) 推荐(0) 编辑
摘要:数据在现在互联网的行业中可以说是最核心的话题,数据的价值已经被称为资产了,大部分的互联网应用都会源源不断的产生各种数据,如何管理和使用这些数据,让这些看似平常的数据产生更大的价值,一直是热门的探索领域。比如常见的风控、营销、推广等各种业务,都需要依赖大量的用户行为数据作为依赖,才能精准的对相关流程做出分析判断。 阅读全文
posted @ 2020-12-08 21:56 知了一笑 阅读(170) 评论(0) 推荐(1) 编辑
摘要:本文源码:GitHub·点这里 || GitEE·点这里 一、量化思维 在编程体系中有很多复杂的业务是很难理解的,但是又需要做一个量化分析,给业务人员或者运营,或者用户一个参考标准,例如常见指数,芝麻分数,店铺等级,这类业务评定标准非常复杂,因为影响结果的因素很多。 在多个维度的业务考量模型中,有一 阅读全文
posted @ 2020-12-02 21:51 知了一笑 阅读(208) 评论(0) 推荐(1) 编辑
摘要:常规分布式架构系统来说,划分出十来个独立的微服务模块是很常见的,然后不同的开发人员分工几个服务块,负责日常开发和维护,微服务之间会出现版本差异也是自然的。例如用户服务需要开发版本为7.0,其他服务可能高于这个版本或者低于这个版本,所以对服务发布这块做持续集成就很有必要。 阅读全文
posted @ 2020-11-25 23:12 知了一笑 阅读(415) 评论(0) 推荐(0) 编辑
摘要:MapReduce既是一个编程模型,也是一个计算组件,处理的过程分为两个阶段,Map阶段:负责把任务分解为多个小任务,Reduce负责把多个小任务的处理结果进行汇总。其中Map阶段主要输入是一对Key-Value,经过map计算后输出一对Key-Value值;然后将相同Key合并,形成Key-Value集合;再将这个Key-Value集合转入Reduce阶段,经过计算输出最终Key-Value结果集。 阅读全文
posted @ 2020-11-22 22:25 知了一笑 阅读(161) 评论(0) 推荐(0) 编辑
摘要:配置版本号,区分灰度版本和默认正常版本; 自定义拦截器,管理版本号或其他标识参数在请求中传递; 自定义服务选中策略,基于版本标识路由服务; 如果灰度服务不存在,则基于规则选中默认服务; 阅读全文
posted @ 2020-11-19 23:54 知了一笑 阅读(394) 评论(0) 推荐(0) 编辑