duanxz - 博客园

2018年7月18日

摘要：使用Zipkin和Brave实现http服务调用的跟踪，Brave 是用来装备Java程序的类库，提供了面向标准Servlet、Spring MVC、Http Client、JAX RS、Jersey、Resteasy 和 MySQL 等接口的装备能力，可以通过编写简单的配置和代码，让基于这些框架构阅读全文

posted @ 2018-07-18 23:38 duanxz 阅读(4176) 评论(1) 推荐(0)

2018年7月17日

透过CAT，来看分布式实时监控系统的设计与实现

摘要： 2011年底，我加入大众点评网，出于很偶然的机会，决定开发CAT，为各个业务线打造分布式实时监控系统，CAT的核心概念源自eBay闭源系统CAL eBay的几大法宝之一。在当今互联网时代，业务需求旺盛，开发团队往往采用scrum等敏捷开发流程，加班加点快速迭代以满足业务需求，是常态。采用分布式系统阅读全文

posted @ 2018-07-17 22:50 duanxz 阅读(1325) 评论(0) 推荐(0)

基于Cat的分布式调用追踪

摘要： Cat是美团点评出的一款APM工具，同类的产品也有不少，知名的开源产品如zipkin和pinpoint；国内收费的产品如oneapm。考虑到Cat在互联网公司的应用比较广，因此被纳入选型队列，我也有幸参与技术预言。使用Cat断断续续将近两周的时间，感觉它还算是很轻量级的。文档相对来说薄弱一些，没有阅读全文

posted @ 2018-07-17 22:45 duanxz 阅读(1468) 评论(0) 推荐(1)

pinpoint 安装部署

摘要：序章简单的说，Pinpoint是一款对Java编写的大规模分布式系统的APM工具，有些人也喜欢称呼这类工具为调用链系统、分布式跟踪系统。我们知道，前端向后台发起一个查询请求，后台服务可能要调用多个服务，每个服务可能又会调用其它服务，最终将结果返回，汇总到页面上。如果某个环节发生异常，工程师很难准确阅读全文

posted @ 2018-07-17 22:01 duanxz 阅读(8356) 评论(0) 推荐(1)

2018年7月16日

微服务之分布式跟踪系统（springboot+pinpoint）

摘要：这篇文章介绍一下在微服务(springboot开发)的项目中使用pintpoint监控的过程及效果展示。背景随着项目微服务的进行，微服务数量逐渐增加，服务间的调用也越来越复杂，我们急切需要一个APM工具帮我们监控各个服务的性能及对服务间的调用进行跟踪，而通过调研多个开源APM工具后，最终我们选择阅读全文

posted @ 2018-07-16 23:13 duanxz 阅读(3008) 评论(0) 推荐(0)

分布式追踪系统设计与实现

摘要：分布式追踪系统分布式系统为什么需要 Tracing？先介绍一个概念：分布式跟踪，或分布式追踪。电商平台由数以百计的分布式服务构成，每一个请求路由过来后，会经过多个业务系统并留下足迹，并产生对各种Cache或DB的访问，但是这些分散的数据对于问题排查，或是流程优化都帮助有限。对于这么一个跨进程/ 阅读全文

posted @ 2018-07-16 23:08 duanxz 阅读(2115) 评论(0) 推荐(0)

2018年7月13日

QLExpress 规则引擎使用介绍

摘要：一个轻量级的类java语法规则引擎，作为一个嵌入式规则引擎在业务系统中使用。让业务规则定义简便而不失灵活。让业务人员就可以定义业务规则。支持标准的JAVA语法，还可以支持自定义操作符号、操作符号重载、函数定义、宏定义、数据延迟加载等 QLExpress的特性 1、编译执行：编译生成基础指令后执行，阅读全文

posted @ 2018-07-13 23:50 duanxz 阅读(30500) 评论(0) 推荐(1)

几个常见规则引擎的简单介绍和演示

摘要： Ilog JRules 是最有名的商用BRMS； Drools 是最活跃的开源规则引擎； Jess 是Clips的java实现，就如JRuby之于Ruby，是AI系的代表； Visual Rules（旗正规则引擎）国内商业规则引擎品牌。今天对比了一下这四个颇有代表性的规则引擎的规则语言。其中Ilo 阅读全文

posted @ 2018-07-13 23:38 duanxz 阅读(24835) 评论(0) 推荐(0)

大数据对账

摘要：大阅读全文

posted @ 2018-07-13 23:37 duanxz 阅读(944) 评论(0) 推荐(0)

2018年6月21日

美团配送资金安全治理之对账体系建设

摘要：随着美团配送业务的飞速发展，单量已经达到千万级别，同时每天产生的资金额已经超过几千万，清结算系统在保证线上服务稳定可靠的前提下，如何系统化的保障资金安全是非常核心且重要的课题。总结起来，配送清结算业务主要有以下几个特点： 1. 场景多：包括专送、众包、快送、跑腿、外部单等多条业务线；订单补贴、活动发阅读全文

posted @ 2018-06-21 11:32 duanxz 阅读(1767) 评论(0) 推荐(0)

2018年6月20日

美的支付-对账系统实现

摘要：对账，可以发现渠道方与我方交易中的差异。根据差异的不同，再做具体的操作。随着美的支付接入的渠道增多，日交易量逐渐增大的情况下，人工对账已经不能满足财务的要求，系统对账提上日程待解决的问题 01 替代人工对账，解放人工对账的工作量，提升对账效率，实现系统自动化 02 对账差异可自动进行对应处理，输出阅读全文

posted @ 2018-06-20 16:14 duanxz 阅读(9884) 评论(6) 推荐(0)

redis之set应用实现对账(集合比较)功能

摘要：《redis使用之bitmap》《Redis实现布隆过滤器》《》现状：每日在进行系统之间的订单对账时，往往是这样的操作流程； 1.从外部系统拉取数据存入本地数据库； 2.查询本地订单数据集合localSet； 3.查询外部系统订单数据集合outerSet; 4.以本地localSet为基准，对阅读全文

posted @ 2018-06-20 14:39 duanxz 阅读(5958) 评论(5) 推荐(0)

2018年6月19日

Sqoop-1.4.6安装部署及详细使用介绍

摘要：之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用，综合比较后选择Sqoop1。 Sqoop1安装配置比较简单一、安装部署（1）、下载安装包下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar. 阅读全文

posted @ 2018-06-19 22:58 duanxz 阅读(5907) 评论(0) 推荐(0)

用sqoop将mysql的数据导入到hive表

摘要：一、先将mysql一张表的数据用sqoop导入到hdfs 1.1、先在mysql中准备一张测试用的表下面将 user_info表中的前100条数据导导出来只要id user_name和 age 这3个字段，数据存在hdfs 目录 /tmp/sqoop/user_info下。阅读全文

posted @ 2018-06-19 22:57 duanxz 阅读(391) 评论(0) 推荐(0)

如何修改CSV文件的分隔符

摘要： Excel转成CSV文件，在Windows下默认的列表分隔符是逗号（，）。在某些情况下，我们可能需要更改列表分隔符，如某个单元格内容包含逗号，而这可能导致使用它的程序出错，这样就需要更改列表分隔符；再比如Mac OS X下CSV文件的列表分隔符是分号（；）,而且还不方便修改，为了统一两个系统的列表阅读全文

posted @ 2018-06-19 19:30 duanxz 阅读(7280) 评论(0) 推荐(0)

hive命令的3种调用方式

摘要： hive-script.sql类似于script一样，直接写查询命令就行例如： [root@cloud4 shell]# vi hive_script3.sql select * from t1; select count(*) from t1; 不进入交互模式，执行一个hive script 这阅读全文

posted @ 2018-06-19 09:25 duanxz 阅读(544) 评论(0) 推荐(0)

2018年6月17日

Hive之示例一：基本操作与案例

摘要： 1. 创建数据库，切换数据库 2. 创建管理表 emp.txt文件内容如下：在hadoop中查看数据，如下: 3. 创建外部表创建外部表时直接指定表位置上传数据文件到指定路径在hive中创建数据表指定location 4. 创建分区表注：分区字段不能与表中其他字段重复，否则报错 FAILE 阅读全文

posted @ 2018-06-17 00:26 duanxz 阅读(5492) 评论(0) 推荐(0)

2018年6月16日

Hive之一：hive2.1.1安装部署

摘要：一、Hive 运行模式与 Hadoop 类似，Hive 也有 3 种运行模式： 1. 内嵌模式将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。阅读全文

posted @ 2018-06-16 22:52 duanxz 阅读(2578) 评论(0) 推荐(0)

2018年6月14日

HiveQL详解

摘要： Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，阅读全文

posted @ 2018-06-14 09:56 duanxz 阅读(3363) 评论(0) 推荐(0)

2018年6月13日

Hive数据类型及文本文件数据编码

摘要：本文参考Apache官网，更多内容请参考：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types 1. 数值型 1. Integral Types (TINYINT, SMALLINT, INT/INTEGER, B 阅读全文

posted @ 2018-06-13 22:55 duanxz 阅读(1868) 评论(0) 推荐(0)

flume-示例2

摘要： flume-示例2 阅读全文

posted @ 2018-06-13 22:52 duanxz 阅读(187) 评论(0) 推荐(0)

Flume监听文件目录sink至hdfs配置

摘要：一：flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。，Flume架构分为三个部分源-Source，接收器-Sink，通道-Channel。二：配阅读全文

posted @ 2018-06-13 17:10 duanxz 阅读(1075) 评论(0) 推荐(0)

flume http source示例讲解

摘要：一、介绍 flume自带的Http Source可以通过Http Post接收事件。场景：对于有些应用程序环境，它可能不能部署Flume SDK及其依赖项，或客户端代码倾向于通过HTTP而不是Flume的PRC发送数据的情况，此时HTTP SOURCE可以用来将数据接收到Flume中。从客户端的阅读全文

posted @ 2018-06-13 15:09 duanxz 阅读(2111) 评论(0) 推荐(0)

2018年6月8日

flume=示例

摘要： flume=示例阅读全文

posted @ 2018-06-08 20:18 duanxz 阅读(186) 评论(0) 推荐(0)

flume-拦截器、channel选择器、sink组合sink处理器

摘要： 1. Flume Interceptors Flume有能力修改/删除流程中的events。这是在拦截器（interceptor）的帮助下完成的。拦截器（Interceptors）是实现org.apache.flume.interceptor.Interceptor接口的类。一个intercepto 阅读全文

posted @ 2018-06-08 20:17 duanxz 阅读(866) 评论(0) 推荐(0)