Mr.Yan

摘要： Error: Cannot retrieve repository metadata (repomd.xml) for repository: rpmforge. Please verify its path and try again 解决办法：（或者把/etc/yum.repos.d下的文件全部 阅读全文

摘要： explain怎么用？ 比如说你查看一个 select count（1） from table 某个表的时候，在语句前面加一个explain就可以了。 具体说一下各个字段都是什么意思： id：自增长的id，其实没什么用，做一个标示作用； select_type: 查看数据查询的查询 ，主要有下面这个 阅读全文

摘要： 题目：给定十亿个数字，怎么去判断这个数据是否存在； 这个一个典型的查找问题，我们知道面对查找的时候，最快的查找是基于hash查找，那么都是在O（1）的时间内找到指定的数据集，但是这样要把数据全部load到内存里，内存大部分的时候是不支持一次性load十亿的数据的，而且hash的空间利用率来说相对比较 阅读全文

摘要： 一.反欺诈几种发展阶段： 1.黑名单，信誉库和指纹设备。这个很好理解，就是针对已有的出现过过信用的人进行标记，但是这种无法标记没有信用记录的人； 2.规则规律。这个根据一些好的信用的人一些特性，或者一些黑名单的人进行标记统计，总结出一些规则，然后通过规则去过滤避免一些风险； 3.有监督机器学习。有监 阅读全文

摘要： 1.clone() 复制 2.getClass() 获取对象的class 3.equals() 对象值比较,重写equals方法必须重写hashcode，对象的约定，例如不重写，hashMap的kv不一致； 4.hashCode() 对象的hash值 5.tostring() 默认方法是 包名@改对 阅读全文

摘要： 1.比较webFS 和 httpFS 两个比较基本没啥区别，只是说两个竞争公司不同的人写的，功能上都是一致的，都支持REST的HDFS API。 最大的区别是httpfs可以HA模式访问，webHDFS只能单节点namenode访问； 2.安装 执行 sudo yum install hadoop- 阅读全文

摘要： 1.我们在使用spark计算的时候，操作数据集的感觉很方便是因为spark帮我们封装了一个rdd（弹性分布式数据集Resilient Distributed Dataset）； 那么rdd数据本身是如何存储的呢，又是如何调度读取的？ spark大部分时候都是在集群上上运行的，那么数据本身一定是也是分 阅读全文

摘要： 版本 Tensorflow的安装，我使用anaconda3.6 安装 最新版本 1.11.0； 废物不多说，先拿案例代码basic classification跑一下结果： 再来详解一下代码： 阅读全文

摘要： 前面我们应知道了一个任务提交会由DAG拆分为job，stage，task，最后提交给TaskScheduler，在提交taskscheduler中会根据master初始化taskscheduler和schedulerbackend两个类，并且初始化一个调度池； 1.调度池比较 根据mode初始化调度 阅读全文

摘要： 上次分析了dagshceduler是如何将任务拆分成job，stage，task的，但是拆分后的仅仅是一个逻辑结果，保存为一个resultstage对象，并没执行； 而将任务正在执行的是spark的taskscheduler模块和shcedulerbackend模块， taskcheduler模块负 阅读全文