静悟生慧

摘要： Python3 面向对象 https://www.runoob.com/python3/python3-class.html Python3 数据结构 https://www.runoob.com/python3/python3-data-structure.html Python3 函数 http 阅读全文

摘要： maven其实是有一个默认的仓库.m2仓库和默认的settings.xml配置文件，我们在这个默认的settings.xml文件中也添加了一个JAVA8_HOME的变量后，编译就通过了，这就说明，maven编译的时候找的不是我在idea中配置的我自定义的settings.xml，而是先找的它默认的那 阅读全文

摘要： 1、在Visual Studio Code的官网上https://code.visualstudio.com/Download直接下载mac版的,解压后安装。 2、安装扩展应用插件 C\C++，C\C++ Clang Command Adapter，CodeLLDB（用来debug，解决Catali 阅读全文

摘要： 关于Keras模型Keras有两种类型的模型，序贯模型（Sequential）和函数式模型（Model），函数式模型应用更为广泛，序贯模型是函数式模型的一种特殊情况。 两类模型有一些方法是相同的： model.summary()：打印出模型概况，它实际调用的是keras.utils.print_su 阅读全文

摘要： shuffle 和 stage shuffle 是划分 DAG 中 stage 的标识,同时影响 Spark 执行速度的关键步骤. RDD 的 Transformation 函数中,又分为窄依赖(narrow dependency)和宽依赖(wide dependency)的操作.窄依赖跟宽依赖的区 阅读全文

摘要： 具体现象 内存CPU比例失调 一个Spark任务消耗 120(executor)*4G = 480G内存仅仅使用120个 core.几个SprakSQL任务就将整个系统资源吃光. 设置超过40个executor,但未指定分区数,导致多数executor空闲. 原因分析 SparkSQL配置时Core 阅读全文

摘要： Git global setup 【基本设置】 git config --global user.name "XXXXXXXX" git config --global user.email "XXXXXXXX" ...或在命令行上创建一个新的存储库【克隆到本地，然后添加README】 git cl 阅读全文

摘要： 使用hadoop job -list来列出当前hadoop正在执行的jobs 然后使用hadoop job -kill job_1546932571227_0082来杀死该job任务， 原文链接：https://blog.csdn.net/zhy_2117/java/article/details/ 阅读全文

摘要： hive中如何控制mapper的数量 参考文档：https://www.cnblogs.com/1130136248wlxk/articles/5352154.html 1. 决定map的数据的决定因素有: input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在h 阅读全文

摘要： spark UI 界面：http://blog.csdn.net/u013013024/article/details/73498508几个概念的解释：http://blog.csdn.net/jiangwlee/article/details/50774561 数据倾斜处理： https://bl 阅读全文