上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 70 下一页

2018年5月25日

机器学习概念

摘要: 极大似然 使用极大似然的大的前提是模型已知,数据独立同分布; 他的价值在于可以通过局部数据来获取全局的参数,具体的实现就是通过求导数为零的方式来创造 评估方法 评估就是利用测试数据来评估一下用训练数据训练的模型。 评估方法牵涉到一个很重要的环节就是对数据集进行划分;主要有三种:第一种留出法(leav 阅读全文

posted @ 2018-05-25 16:40 张叫兽的技术研究院 阅读(398) 评论(0) 推荐(0)

Spark性能调优

摘要: 1.压缩 KyroSerializer相比于JavaSerialize处理性能上10倍以上(综合了内存以及CPU);但是对于基本类型比如Int等压缩效果和javaSerializer相比并没有明显优势;另外Kyro支持的Java对象类型比较少,需要做相关配置。 2. Shuffle原理以及Manag 阅读全文

posted @ 2018-05-25 16:32 张叫兽的技术研究院 阅读(350) 评论(0) 推荐(0)

2018年5月6日

解决问题的应用软件+操作系统+硬件思路

摘要: 刚才一瞬间发现一切编译之后都不好用了; 之前的一个操作是解决Errors running builder 'Integrated External Tool Builder' on project '的异常问题;难道是因为它吗? 就在我打算重新解压缩工程的时候;突然想到之前把网线给拔了,会不会是.. 阅读全文

posted @ 2018-05-06 19:41 张叫兽的技术研究院 阅读(155) 评论(0) 推荐(0)

最小单元和上层建筑

摘要: 理解技术首先是合,就是掌握抽象的流程为主,就像金字塔的塔尖,向下拓展;流程清晰之后就是分,要把流程进行拆分,或者说分离,因为只有分离了你才更加有掌控力,因为如果是揉在一起你很难对于进行埋点,入口,出口控制;只有分离,都拆开了,你才能够更好对其进行修改。 以上的心得是我在读dockerone.io里面 阅读全文

posted @ 2018-05-06 19:33 张叫兽的技术研究院 阅读(202) 评论(0) 推荐(0)

application项目获取bean

摘要: 对于web项目,编程方式获取bean如下: 但是对于应用类项目要如何获取呢?方式之一就是通过实现ApplicationContextAware接口。 1. 定义接口 2. 在applicationContext里面定义bean;只有这样定义才可以在spring初始化加载的时候填充该类的applica 阅读全文

posted @ 2018-05-06 19:18 张叫兽的技术研究院 阅读(495) 评论(0) 推荐(0)

有些文件不需要配置,只需要放到resources下面

摘要: 今天和一位同事探讨了一个问题,开始的时候我事先的读取某个映射文件是配置在applicationContext.xml的bean定义里面;但是他提出来,是否可以不需要配置呢?直接作为一个资源文件完事,这样测试联调部署都方便。确实,如果一个文件的作用只是存一些数据,并且一般不变,那么完全可以放到配置里面 阅读全文

posted @ 2018-05-06 18:18 张叫兽的技术研究院 阅读(272) 评论(0) 推荐(0)

2018年5月5日

RAFT算法

摘要: 接触到RAFT是在学习KUDU的时候,KUDU的官方文档中一个连接指向了RAFT;只是觉得这个算法一定有其特点,要知道KUDU可以是一帮HBASE的大神写的。原始开始了解。 RAFT是一致性算法,说到一致性算法很多都会想到zookeeper,是的,这是我们接触比较多的内部包含一致性算法的应用产品了。 阅读全文

posted @ 2018-05-05 21:11 张叫兽的技术研究院 阅读(206) 评论(0) 推荐(0)

2018年4月29日

HBase,region以及HFile概念

摘要: 什么是HBase的Region? 大家一定对一个词不陌生:域分区,这个域就是Region;Region定义为key的一个取值范围的子集的数据载体;比如常见的域分区有固定大小分区,比如1-10一个region,2-50一个region以此类推;不过更常见的Hash分区;但是region在每台机器的物理 阅读全文

posted @ 2018-04-29 23:08 张叫兽的技术研究院 阅读(1137) 评论(0) 推荐(0)

xmlns和xsi之schemaLocation

摘要: appplicationContex.xml文件报错:元素 "util:constant" 的前缀 "util" 未绑定 在根节点添加了“xmlns:util="http://www.springframework.org/schema/util” 继续报错:通配符的匹配很全面, 但无法找到元素 ' 阅读全文

posted @ 2018-04-29 18:16 张叫兽的技术研究院 阅读(341) 评论(0) 推荐(0)

由spring的工厂构造bean想到的

摘要: 被Spring管理的bean可以是直接创建实例,还可以通过工厂模式来进行创建。例如brave的tracing bean定义: 1. Spring的工厂模式获取bean class + factory-method属性的定义指出了该bean的获取方式是静态工厂模式; 与之类似的是实例工厂模式,在spr 阅读全文

posted @ 2018-04-29 18:13 张叫兽的技术研究院 阅读(288) 评论(0) 推荐(0)

上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 70 下一页

导航