摘要： 物理CPU:物理CPU是相对于虚拟CPU而言的概念，指实际存在的处理器,就是我们可以看的见，摸得着的CPU，就是插在主板上面的。 物理核：CPU中包含的物理内核个数，比如我们通常说的双核CPU，单核CPU。 在linux系统下面的/proc/cpuinfo文件的条目中： 1.有多少个不同的physi 阅读全文

摘要： 首先贴上我的程序：实现的是读入一个文本文件， 然后过滤出包含有“in”的单词 ，计算出现频率写入文件（win7系统） 但是这个程序只能执行一次，第二次本地已经有了\\opt\\eric\\spark-demo这个文件之后，程序就回报错，所以应该在saveasTextFile之前将其删除。 因此发现了 阅读全文

摘要： 一、命令： 1. “一次性执行”： hive -e "select * from mytable limit 3"; 2. 输出到文件中： -S :静默模式 hive -S -e "select * from mytable limit 3" > /tmp/myquery 3. 模糊查找“wareh 阅读全文

摘要： 实现方案： 1.初始化一个空的Queue。 2.从根节点开始 ，把根节点插入Queue。 3.循环如果Queue非空的话： 1) 从Queue中取出节点，并将这个节点的所有孩子插入Queue。 2) 打印出取出的节点。 代码： 阅读全文

摘要： 接着上一篇极简入门 ，打算尝试一下 spark2.2.0 ，结果搞了一下午。 1. 版本问题： sbt 没有换 还是之前的版本，其他的版本 ， spark官网上这么说的： 2. build.sbt 文件： 3. 本地intellij idea里直接run spark 程序 ，不使用spark-sub 阅读全文

摘要： 1.windows上下载安装sbt 去sbt官网下载 sbt包，解压到指定目录,不需要安装。记得配置环境变量。 新建 SBT_HOME ，值是sbt包的解压路径，比如C:\Users\***\Tools\sbt-0.13.15\sbt（建议不要放在C盘） 并在path 中添加 %SBT_HOME%\ 阅读全文