parkin

摘要： 强化学习 Reinforce Learning 强化学习区别于机器学习的一点是，强化学习是来做决策的。根据环境的反馈，做出决策。 外界环境情况复杂，和环境的交互主要有 环境的状态 stat、智能体的动作、和对动作带来收益的评价 reward。 这里面涉及2个对象，agent 和 env。 agent 阅读全文

摘要： 经常会遇到 类似 org.apache.spark.shuffle.FetchFailedException: java.io.FileNotFoundException 。主要是shuffle 导致内存不足引起的。shuffle 分为 shuffle read 和write 。 1. shuffl 阅读全文

摘要： spark 读写hive表主要是通过sparkssSession 读表的时候，很简单，直接像写sql一样sparkSession.sql("select * from xx") 就可以了。 这里主要是写数据，因为数据格式有很多类型，比如orc,parquet 等，这里就需要按需要的格式写数据。 首先 阅读全文

摘要： 用spark shell 进入console环境 查看字符集 修改字符集为UTF-8 到此我的问题，其实并没解决。 情况依旧。 然后发现文件在hdfs上以OrcOutputFormat格式存储，所以显示乱码。 需要引入解码类 scala> import org.apache.spark.sql.hi 阅读全文

摘要： 参考： 陈天奇slides : https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf Friedman GBDT 论文: http://ishare.down.sina.com.cn/28081146.pdf?ssig=NHjGnmO 阅读全文

摘要： 1 package struct; 2 3 /** 4 * Created by moi on 2017/10/18. 5 */ 6 public class LinkList { 7 /** 8 * Definition for singly-linked list. 9 */ 10 public class ListNode { 1... 阅读全文

摘要： 1 package sort; 2 3 /** 4 * @Description 5 * @Author Created by t.wu on 2017/8/21. 6 */ 7 public class QuickSort { 8 9 public void sort(int[] a, int l, int r) { 10 if (l = 0... 阅读全文

摘要： 1 package algorithm; 2 3 /** 4 * Created by moi on 2017/10/18. 5 */ 6 public class PowerOf2 { 7 8 public static int powOf2(int n){ 9 if(n==0){ 10 return 1; 11 ... 阅读全文

摘要： 简单框架编写 http://blog.csdn.net/u013177446/article/details/67638021 netty解决拆包粘包问题 http://www.cnblogs.com/huzi007/p/5515069.html nio教程 http://ifeve.com/jav 阅读全文

摘要： 随机森林 用法： 1. 样本的相似度，认为在一个叶子节点的两个样本是相似的，来计算样本相似度矩阵。 2. 特征选择：修改节点的特征选择，看预测的结果有没有显著变化，有的话，说明被替换的特征比较重要，反之，不重要。 3. Isolation Forest: 随机选择特征，随机选择分割点生成一定深度的决 阅读全文