随笔 - 1526  文章 - 418 评论 - 290 trackbacks - 0

摘要: 0. 关键概念 关键概念 ConceptsFunction Topic 用于划分Message的逻辑概念,一个Topic可以分布在多个Broker上。 Partition 是Kafka中横向扩展和一切并行化的基础,每个Topic都至少被切分为1个Partition。 Offset 消息在Partit阅读全文
posted @ 2016-02-14 13:56 一天不进步,就是退步 阅读(8175) 评论(0) 编辑
摘要: 分析netty从源码开始准备工作:1.下载源代码:https://github.com/netty/netty.git 我下载的版本为4.12. eclipse导入maven工程。netty提供了一个netty-example工程,分类如下:FundamentalEcho‐ the very ba...阅读全文
posted @ 2015-12-14 19:16 一天不进步,就是退步 阅读(13030) 评论(1) 编辑
摘要: ZooKeeper Client Library提供了丰富直观的API供用户程序使用,下面是一些常用的API:create(path, data, flags): 创建一个ZNode, path是其路径,data是要存储在该ZNode上的数据,flags常用的有: PERSISTEN, PERSIS...阅读全文
posted @ 2015-11-20 12:09 一天不进步,就是退步 阅读(8120) 评论(0) 编辑
摘要: zookeeper简介 zookeeper是为分布式应用提供分布式协作服务的开源软件。它提供了一组简单的原子操作,分布式应用可以基于这些原子操作来实现更高层次的同步服务,配置维护,组管理和命名。zookeeper的设计使基于它的编程非常容易,若我们熟悉目录树结构的文件系统,也会很容易使用zooke...阅读全文
posted @ 2015-11-16 14:53 一天不进步,就是退步 阅读(8679) 评论(1) 编辑
摘要: spark简介Spark(注意不要同Apache Spark混淆)的设计初衷是,可以简单容易地创建REST API或Web应用程序。它是一个灵活、简洁的框架,大小只有1MB。Spark允许用户自己选择设计应用程序的模板引擎以及选择最适合他们项目的库,比如,HTML解析功能就有Freemarker、M...阅读全文
posted @ 2015-07-17 17:00 一天不进步,就是退步 阅读(8319) 评论(1) 编辑
摘要: Jodd 是一个开源的 Java 工具集, 包含一些实用的工具类和小型框架。简单,却很强大!jodd-http是一个轻巧的HTTP客户端。现在我们以一个简单的示例从源码层看看是如何实现的? HttpRequest httpRequest = HttpRequest.get("http://jod...阅读全文
posted @ 2015-06-11 19:25 一天不进步,就是退步 阅读(10183) 评论(0) 编辑
摘要: 1. 引言 事务特性 事务是并发控制的单元,是用户定义的一个操作序列。这些操作要么都做,要么都不做,是一个不可分割的工作单位。通过事务将逻辑相关的一组操作绑定在一起,以便服务器 保持数据的完整性。事务通常是以begin transaction开始,以commit或rollback结束。Commint阅读全文
posted @ 2015-05-08 08:26 一天不进步,就是退步 阅读(21720) 评论(1) 编辑
摘要: 0 概述 Spring将替我们完成所有使用JDBC API进行开发的单调乏味的、底层细节处理工作。下表描述了哪些是spring帮助我们做好的,哪些是我们要做的。 工作模式 使用Spring进行基本的JDBC访问数据库有多种选择。Spring至少提供了三种不同的工作模式:JdbcTemplate, 一阅读全文
posted @ 2015-05-06 08:48 一天不进步,就是退步 阅读(10538) 评论(1) 编辑
摘要: 概述Logback建立于三个主要类之上:日志记录器(Logger),输出端(Appender)和日志格式化器(Layout)。这三种组件协同工作,使开发者可以按照消息类型和级别来记录消息,还可以在程序运行期内控制消息的输出格式和输出目的地。1.日志记录器(Logger):控制要输出哪些日志记录语句,...阅读全文
posted @ 2015-04-22 17:00 一天不进步,就是退步 阅读(22705) 评论(0) 编辑
摘要: 1. shiro介绍Apache Shiro是一个强大易用的Java安全框架,提供了认证、授权、加密和会话管理等功能:认证 - 用户身份识别,常被称为用户“登录”;授权 - 访问控制;密码加密 - 保护或隐藏数据防止被偷窥;会话管理 - 每用户相关的时间敏感的状态。对于任何一个应用程序,Shiro都...阅读全文
posted @ 2015-04-17 08:27 一天不进步,就是退步 阅读(50881) 评论(3) 编辑
摘要: 1. 背景 注解可以减少代码的开发量,spring提供了丰富的注解功能,因项目中用到不少注解,因此下定决心,经spring4.x中涉及到的注解罗列出来,供查询使用。 2. spring注解图 2.1 spring-context模块的注解图 2.2 spring-web注解 2.3 spring其它阅读全文
posted @ 2015-04-16 16:12 一天不进步,就是退步 阅读(32842) 评论(64) 编辑
摘要: log4j在日常开发中经常使用,但有时候对 配置文件应该放到什么位置有疑惑。现在我们通过从代码的角度来看待这个问题,看完后你也许会恍然大悟哦。开始吧。Log4j的组成及架构: Log4j由三个重要的组成构成:日志记录器(Loggers),输出端(Appenders)和日志格式化器(Layout)。1...阅读全文
posted @ 2015-01-23 06:31 一天不进步,就是退步 阅读(5285) 评论(4) 编辑
摘要: org.quartz包包org.quartz是Quartz的主包,包含了客户端接口。其中接口有:Calendar接口:定义了一个关联Trigger可能(或者不可能)触发的时间空间。它没有定义触发的真实时间,而是用在在普通的Schedule需要限制Trigger触发的时候。大部分Calendar包含默...阅读全文
posted @ 2015-01-21 08:09 一天不进步,就是退步 阅读(10377) 评论(5) 编辑
摘要: spring beans下面有如下源文件包: org.springframework.beans, 包含了操作java bean的接口和类。org.springframework.beans.annotation, 支持包,提供对java 5注解处理bean样式的支持。org.springframe阅读全文
posted @ 2015-01-15 11:51 一天不进步,就是退步 阅读(36429) 评论(12) 编辑
摘要: 导读: XmlBeanFactory继承自DefaultListableBeanFactory,扩展了从xml文档中读取bean definition的能力。从本质上讲,XmlBeanFactory等同于DefaultListableBeanFactory+XmlBeanDefinitionRead阅读全文
posted @ 2015-01-08 11:19 一天不进步,就是退步 阅读(7854) 评论(0) 编辑
摘要: 随着spring注解的引入,越来越多的开发者开始使用注解,这篇文章将对注解的机制进行串联式的讲解,不求深入透彻,但求串起spring beans注解的珍珠,展示给大家。 1. spring beans常用的注解: public @interface Autowired:可以对成员变量、方法和构造函数阅读全文
posted @ 2015-01-05 20:50 一天不进步,就是退步 阅读(17337) 评论(0) 编辑
摘要: bean的定义,包装是java bean的基础。再怎么强调它的重要性都不为过,因此深入 了解这块的代码对以后的代码研究可以起到事半功倍的功效。 1. Bean的定义BeanDefinition 1.1 BeanDefinition 作用 一个BeanDefinition描述了一个bean的实例,包括阅读全文
posted @ 2014-12-30 17:14 一天不进步,就是退步 阅读(13577) 评论(0) 编辑
摘要: spring提供了有两种方式的bean definition解析器:PropertiesBeanDefinitionReader和XmLBeanDefinitionReader即属性文件格式的bean definition解析器和xml文件格式的bean definition解析器。 我们先从简单的阅读全文
posted @ 2014-12-29 11:03 一天不进步,就是退步 阅读(6099) 评论(1) 编辑
摘要: spring Ioc容器的实现,从根源上是beanfactory,但真正可以作为一个可以独立使用的ioc容器还是DefaultListableBeanFactory,因此可以这么说,DefaultListableBeanFactory 是整个spring ioc的始祖,研究透它的前生今世对我们理解s...阅读全文
posted @ 2014-12-26 17:33 一天不进步,就是退步 阅读(17793) 评论(0) 编辑
摘要: 做项目时碰到Controller不能使用aop进行拦截,从网上搜索得知:使用spring mvc 启动了两个context:applicationContext 和WebapplicationContext。 首先我们来了解applicationContext 和WebapplicationCont阅读全文
posted @ 2014-11-26 11:38 一天不进步,就是退步 阅读(33440) 评论(2) 编辑
摘要: https://tech.meituan.com/waimai_ups.html 美团外卖经过3年的飞速发展,品类已经从单一的外卖扩展到了美食、夜宵、鲜花、商超等多个品类。用户群体也从早期的学生为主扩展到学生、白领、社区以及商旅,甚至包括在KTV等娱乐场所消费的人群。随着供给和消费人群的多样化,如何阅读全文
posted @ 2018-10-19 17:12 一天不进步,就是退步 阅读(3) 评论(0)  编辑
摘要: https://tech.meituan.com/deep_learning_ocr.html 背景 计算机视觉是利用摄像机和电脑代替人眼,使得计算机拥有类似于人类的对目标进行检测、识别、理解、跟踪、判别决策的功能。以美团业务为例,在商家上单、团单展示、消费评价等多个环节都会涉及计算机视觉的应用,包阅读全文
posted @ 2018-10-19 14:32 一天不进步,就是退步 阅读(2) 评论(0)  编辑
摘要: https://tech.meituan.com/meishi_data_flink.html 引言 近些年,企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技阅读全文
posted @ 2018-10-19 14:29 一天不进步,就是退步 阅读(3) 评论(0)  编辑
摘要: http://www.infoq.com/cn/articles/4-billion-mobile-device-user-portrait-and-tag-architecture 大家好,我是来自TalkingData的王鹏,很高兴在这里和大家一起探讨大数据的应用。 说起大数据的应用可能很多朋友阅读全文
posted @ 2018-10-19 12:20 一天不进步,就是退步 阅读(7) 评论(0)  编辑
摘要: 1. 利用logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。 2.sigmoid函数的分类 Sigmoid函数公式定义 3.梯度上升法 基本思想:要找个某个函数的最大值,最好的方法是沿着该函数的梯度方向探寻。 梯度上升算法用来求函数的最大值,对函数求导来得阅读全文
posted @ 2018-10-17 16:54 一天不进步,就是退步 阅读(8) 评论(0) 编辑
摘要: 1.朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法, 最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型(Naive Bayesian Model,NBM) 2.朴素贝叶斯公式 P(B|A)的意思是在A事件的情况下,发生B事件的概率。 3.朴素贝叶阅读全文
posted @ 2018-10-17 15:43 一天不进步,就是退步 阅读(7) 评论(0) 编辑
摘要: 1、决策树的构造 createBranch伪代码: 检测数据集中的每个子项是否属于同一分类: IF SO RETURN 类标签 ELSE 寻找划分数据集的最好特征 划分数据集 创建分支节点 FOR 每个划分的子集 调用函数createBranch并增加返回结果到分支节点中 RETURN 分支节点 划阅读全文
posted @ 2018-10-10 16:12 一天不进步,就是退步 阅读(13) 评论(0) 编辑
摘要: 从百度搜索,净是csdn下载的,现在csdn下载弄的很恶心,垄断并且只想赚钱了,不想使用, 去github上找到了。 https://github.com/PacktPublishing/Learning-Data-Mining-with-Python阅读全文
posted @ 2018-10-09 11:12 一天不进步,就是退步 阅读(20) 评论(0) 编辑
摘要: Hive:把sql解析后用MapReduce跑 SparkSQL:把sql解析后用Spark跑,比hive快点 Phoenix:一个绕过了MapReduce运行在HBase上的SQL框架 Drill/Impala/Presto 交互式查询,都是类似google Dremel的东西,区别这里就不说了 阅读全文
posted @ 2018-10-08 17:53 一天不进步,就是退步 阅读(19) 评论(0) 编辑
摘要: https://mp.weixin.qq.com/s/3eDrbITbi66e3dzwYJPmeQ 监控系统是整个 IT 架构中的重中之重,小到故障排查、问题定位,大到业务预测、运营管理,都离不开监控系统,可以说一个稳定、健康的 IT 架构中必然会有一个可信赖的监控系统。 但是,难道监控就只是监控?阅读全文
posted @ 2018-10-08 10:02 一天不进步,就是退步 阅读(21) 评论(0)  编辑