cfox

摘要： // 将dataframe存储到hdfs myDF.write.orc("hdfs://nsxxxx/user/admin/dir") // 读取操作 val mdf = spark.read.orc("hdfs://nsxxxx/user/admin/dir") 阅读全文

摘要： 查看jar包内容 jar vtf /jar/path/org/apache/commons/commons-lang3/3.3.2/commons-lang3-3.3.2.jar 0 Sun Apr 06 14:19:20 CST 2014 META-INF/ 1854 Sun Apr 06 14: 阅读全文

摘要： 指标术语 CTR （Click-Through-Rate）即点击通过率，是互联网广告常用的术语，指网络广告（图片广告/文字广告/关键词广告/排名广告/视频广告等）的点击到达率，即该广告的实际点击次数（严格的来说，可以是到达目标页面的数量）除以广告的展现量（Show content） CVR (Con 阅读全文

摘要： 1.num-executors 参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只 阅读全文

摘要： 简介 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 http://spark.apache.org/sql/ 为什么要学习Spark SQL？我们已经学习了Hive，它是将Hive SQL转换成MapRed 阅读全文

摘要： python脚本如下： #!/bin/env python # -*- coding=utf-8 -*- import sys import datetime d_user = { "user1": "true", "user2": "true" } for line in sys.stdin: l 阅读全文

摘要： 关于 SBT是 Scala 的构建工具，全称是 Simple Build Tool， 类似 Maven 或 Gradle。 SBT 的野心很大，采用Scala编程语言本身编写配置文件，这使得它稍显另类，虽然增强了灵活性，但是对于初学者来说同时也增加了上手难度。 SBT有很多版本从1.0.0进行了Sc 阅读全文

摘要： 前提：Java环境已就绪 一、安装IDEA 暂忽略 二、安装插件 1、安装Scala插件Intellij IDEA->Preferences->Configure->Plugins 在输入框中输入Scala，找到Scala后，点击右边的install按钮，完成安装后重启Intellij IDEA生效 阅读全文

摘要： 简介 Scala是一门多范式的编程语言，一种类似java的编程语言，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。 Hello World object HelloWorld{ def main(args : Array[String]){ println("HelloWor 阅读全文

摘要： boost spirit学习使用 阅读全文