2017年10月17日

机器学习-线性回归

摘要: 对于形如 的线性回归。 假设,当的n个数据。注意这里表示第i个数据,且他有m个维度。 对于h(X),这里的目标其实就是估计出,模型就确定了。这个的计算可以通过最小二乘来估计。 从极大似然的角度来说: h(X)是假设,但这个模型往往和实际值有差距,通过增加误差来拟合给定数据更加合理。假设误差是独立同分 阅读全文

posted @ 2017-10-17 01:02 parkin 阅读(113) 评论(0) 推荐(0) 编辑

2017年10月11日

dubbo

摘要: dubbo原理结构 组件角色: Registry注册中心: 通过将服务统一管理起来,可以有效地优化内部应用对服务发布/使用的流程和管理。服务注册中心可以通过特定协议来完成服务对外的统一。Dubbo提供的注册中心有如下几种类型可供选择: Multicast注册中心 Zookeeper注册中心 Redi 阅读全文

posted @ 2017-10-11 21:50 parkin 阅读(118) 评论(0) 推荐(0) 编辑

深入理解Java虚拟机读书笔记(一)- java内存区域和垃圾收集

摘要: jvm内存模型如下图 垃圾回收: 方法区: 这部分的垃圾回收性价比低,一般不要求回收,暂认为是永久代 heap:新生代和永久代之分。永久代主要回收废弃常量和无用的类。 垃圾回收算法: 1. 标记-清除算法 标记判断: a) 该类所有实例都已经被回收,也就是heap中,不存在该类任何实例。 b) 加载 阅读全文

posted @ 2017-10-11 21:18 parkin 阅读(76) 评论(0) 推荐(0) 编辑

2017年10月9日

用户画像

摘要: 之前在新媒的时候做过用户画像的工作,当时主要是对文本进行打标签。 标签的抽取形式有两种,a) 文本分类的类标签; b)还有文本关键词的抽取和预先定义的标签体系的匹配。 但这其实也仅仅是一部分,比较全面的用户画像体系,应该包括 1. 浏览或购买商品的标签,也就是类似上面文本打标签的过程。 2. 通过访 阅读全文

posted @ 2017-10-09 12:28 parkin 阅读(178) 评论(0) 推荐(0) 编辑

2017年10月1日

java-动态代理

摘要: java动态代理有2种实现,JdkDynamicAopProxy和Cglib2AopProxy。 spring的AOP是都用到了这2中实现,jdk动态代理是由java内部的反射机制来实现的,用ProxyGenerator.generateProxyClass(...,...)来生成字节码,cglib 阅读全文

posted @ 2017-10-01 22:44 parkin 阅读(89) 评论(0) 推荐(0) 编辑

2017年8月22日

机器学习-马尔科夫模型分词

摘要: 马尔科夫模型 假设观测状态O(1,2,3,4,...,k)共k个观测状态,每个观测状态的按一定概率依赖于前一个观测状态。即对于输入P(ABCD) = P(A)P(B|A)P(C|B)P(D|C) P(A)是初始概率。P(O=i|O=j0 https://github.com/ic7y/ml/blob 阅读全文

posted @ 2017-08-22 18:38 parkin 阅读(98) 评论(0) 推荐(0) 编辑

2017年8月20日

机器学习-逻辑回归

摘要: (整理的简单,公式也没使用公式编辑器。) 对于数据集D={(x1,y1),(x2,y2),...,{xn,yn}} ,而xi= {xi1,xi2,...,xim} 代表m维 。 在线性回归中,我们想学习一个线性的函数 f(x) = w1*x1+w2*x2+w3*x3+...+wm*xm+b . 向量 阅读全文

posted @ 2017-08-20 20:32 parkin 阅读(128) 评论(0) 推荐(0) 编辑

2017年7月11日

Hive环境搭建

摘要: hive 环境搭建需要hadoop的环境。hadoop环境的搭建不在这里赘述。参考:http://www.cnblogs.com/parkin/p/6952370.html 1.准备阶段 hive 官网下载 : http://mirror.bit.edu.cn/apache/hive/hive-2. 阅读全文

posted @ 2017-07-11 17:18 parkin 阅读(277) 评论(0) 推荐(0) 编辑

2017年6月6日

hadoop - spark on yarn 集群搭建

摘要: 一、环境准备 1. 机器: 3 台虚拟机 2. jdk版本 [xx@l-qta3.sp.beta.cn0 ~]$ java -versionjava version "1.7.0_45"Java(TM) SE Runtime Environment (build 1.7.0_45-b18)Java 阅读全文

posted @ 2017-06-06 16:44 parkin 阅读(795) 评论(0) 推荐(0) 编辑

导航