emmm

摘要： <script src="https://blog-static.cnblogs.com/files/yyhh/L2Dwidget.min.js"></script> <script type="text/javascript">L2Dwidget.init();</script> 阅读全文

摘要： 堆(内存) 堆表示程序可用的内存区，也叫动态内存区。堆内存的分配与释放次序是随机的，这就是说，如果你按次序分配三块内存，那么到时并不按分配时的次序释放内存。 堆管理器会负责所有操作，你只需简单地使用GetMem 函数请求新内存或调用constructor 建立对象， Delphi 会返回一个新的内存 阅读全文

摘要： 1.执行MR任务报Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads():?subprocess failed with code 1可能是map 的结果中存在参数不一致的情况导致的 还有就是map.py 或是 red.py 阅读全文

摘要： Spark（笔记） RDD： RDD是什么？ 弹性 内存和磁盘之间同步数据 RDD可以变成另外一个RDD RDD内部存储数据类型丰富 存什么数据？ RDD不存数据，只存数据的分区信息和读取方法（HDFS，其他RDD） 依赖（向上依赖）： 顶部RDD 非顶部RDD：记录自己来源于谁 — lineage 阅读全文

摘要： Spark（笔记） spark运行模式： 本地模式 standalone模式：独立集群（封闭） yarn模式：（开放） yarn-client：AM（driver）在提交任务的本地启动 （交互 / 调试方便） yarn-cluster：AM（driver）在某个NN上启动 yarn-client：A 阅读全文

摘要： Spark 1. RDD abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transient private var deps: Seq[Dependency[_]] ) extends Seri 阅读全文

摘要： plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常显示负号 阅读全文

摘要： HDFS Hadoop 1.0: 3个组件： Namenode SecondNamenode Datanode Namenode SecondNamenode Datanode namenode（主节点，master，只有一个，单点故障的风险）中间存储信息（元数据） 2种映射关系： datanode 阅读全文

摘要： Yarn: 定位：分布式操作系统 作用：资源整合——让系统的资源可以最大化的利用 在同一套硬件集群上同时可以运行MR任务，Spark任务，Storm任务等 Yarn中包含重要的角色：RM、NM、AM 1.jobtracker（主进程：任务调度、资源分配） 2.tasktracker（从进程：接受请求 阅读全文

摘要： 编程第一题： 考点：辗转相除法： 辗转相除法， 又名欧几里德算法（Euclidean algorithm），是求最大公约数的一种方法。它的具体做法是：用较大数除以较小数，再用出现的余数（第一余数）去除除数，再用出现的余数（第二余数）去除第一余数，如此反复，直到最后余数是0为止。如果是求两个数的最大公 阅读全文