spark过滤算子+StringIndexer算子出发的一个逻辑bug
摘要：
问题描述： 在一段spark机器学习的程序中，同时用到了Filter算子和StringIndexer算子，其中StringIndexer在前，filter在后，并且filter是对stringindexer的输出列设置了过滤条件，filter算子之后将数据集灌到随机森林中（试过决策树分类和逻辑回归同 阅读全文
spark和深度学习集成调研
摘要：
http://dy.163.com/v2/article/detail/E2TMAOTU0518KCLV.html http://www.elecfans.com/d/676451.html https://gitbook.cn/gitchat/column/5bfb6741ae0e5f436e35 阅读全文
收藏一个不错的个人博客
摘要：
http://muziyuchen.com 大数据常见组件的知识点整理的很好 阅读全文
二分法中的逼近法
摘要：
leetcode地址： https://leetcode.com/problems/find-smallest-letter-greater-than-target/description/ 难度：easy 描述： Given a list of sorted characters letters 阅读全文
netty服务端启动--ServerBootstrap源码解析
摘要：
netty服务端启动 ServerBootstrap源码解析 前面的第一篇文章中，我以spark中的netty客户端的创建为切入点，分析了netty的客户端引导类Bootstrap的参数设置以及启动过程。显然，我们还有另一个重要的部分 服务端的初始化和启动过程没有探究，所以这一节，我们就来从源码层面 阅读全文
ChannelPipeline----贯穿io事件处理的大动脉
摘要：
ChannelPipeline贯穿io事件处理的大动脉 上一篇，我们分析了NioEventLoop及其相关类的主干逻辑代码，我们知道netty采用线程封闭的方式来避免多线程之间的资源竞争，最大限度地减少并发问题，减少锁的使用，因而能够有效减低线程切换的开销，减少cpu的使用时间。此外，我们还简单分析 阅读全文
netty中的发动机--EventLoop及其实现类NioEventLoop的源码分析
摘要：
EventLoop 在之前介绍Bootstrap的初始化以及启动过程时，我们多次接触了NioEventLoopGroup这个类，关于这个类的理解，还需要了解netty的线程模型。NioEventLoopGroup可以理解为一组线程，这些线程每一个都可以独立地处理多个channel产生的io事件。 N 阅读全文
idea中从代码自动定位到左侧类结构位置
摘要：
标题的意思表达的不是很清楚，下面是这个设置的方法： 图中红圈中就是设置的位置，把鼠标悬浮在上面，可以看到这个设置的名称是Autoscroll from source， 它的作用是，你在代码中点击一个方法的时候，左边的structure区域会自动定位到这个方法，并且展示出这个方法所属的类，方法的声明不 阅读全文
Trie树的java实现
摘要：
leetcode 地址： https://leetcode.com/problems/implement-trie-prefix-tree/description/ 难度：中等 描述：略 解题思路： Trie树 也就是字典查找树，是一种能够实现在一个字符串集中实现快速查找和匹配的多叉树结构，关于Tr 阅读全文
Bootstrap初始化过程源码分析--netty客户端的启动
摘要：
Bootstrap初始化过程 netty的客户端引导类是Bootstrap，我们看一下spark的rpc中客户端部分对Bootstrap的初始化过程 TransportClientFactory.createClient(InetSocketAddress address) 只需要贴出Bootstr 阅读全文