苏轶然

摘要： 大量推送本地文件到hdfs如下 hadoop fs -put ${local_path} ${hdfs_path}报错。 在hadoop命令下发现： 查找JAVA_HEAP_MAX 发现 继续查找HADOOP_HEAPSIZE 发现 以及 调整JVM堆的最大值： 阅读全文

摘要： hdfs 路径不支持‘：’，但Linux支持。 可以查看此文件： /Users/suanec/ksp/yarn/hadoop-2.7.3-src/hadoop-hdfs-project/hadoop-hdfs-client/src/main/java/org/apache/hadoop/hdfs/D 阅读全文

摘要： 按如下修改可避开此问题。 阅读全文

摘要： Hello, every one. I have a problem to add excludes to scala-maven-plugin. There are two scala files:Spark_1.6.1.scala and Spark_2.0.1.scala in src/mai 阅读全文

摘要： 完成后，在python中import mxnet即可。如果python为自行编译，可能会出现bz2 导入失败。找不到模块。 可以参考 ： missing python bz2 module 按操作解决。 阅读全文

摘要： Stage the parts you want with git add -p, then discard (git checkout -- filename) the unstaged changes. Update for Git 1.6.5+ In version 1.6.5, Git le 阅读全文

摘要： Yarn Node Labels + Capacity-Scheduler 在yarn-site.xml中开启capacity-schedule 配置capacity-scheduler.xml文件 添加Yarn Node Labels yarn rmadmin -addToClusterNodeL 阅读全文

摘要： 原：JVM调优总结 -Xms -Xmx -Xmn -Xss java -Xmx3550m -Xms3550m -Xmn2g-Xss128k-Xmx3550m：设置JVM最大可用内存为3550M。-Xms3550m：设置JVM促使内存为3550m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后J 阅读全文

摘要： "Weiflow——微博机器学习框架" 本文从开发效率（易用性）、可扩展性、执行效率三个方面，介绍了微博机器学习框架Weiflow在微博的应用和最佳实践。 在上期《基于Spark的大规模机器学习在微博的应用》一文中我们提到，在机器学习流中，模型训练只是其中耗时最短的一环。如果把机器学习流比作烹饪，那 阅读全文

摘要： 一、方差公式 其中公式中μ为平均数，N为这组数据的个数，x1、x2、x3……xN为这组数据具体数值。 二、标准差公式 其中公式中数值X1，X2，X3，......XN(皆为实数)，其平均值(算术平均值)为μ，标准差为σ。 三、四分位数 四分位数Qi所在的位置公式为： 即 Q1的位置= (n+1) × 阅读全文