摘要： 遇到错误：-Dmaven.multiModuleProjectDirectory system propery is not set. Check $M2_HOME解决办法：在环境变量中设置M2_HOME。设置之后仍然报错，maven与你的IDE不兼容，建议换低版本的maven，或者根据不同的id... 阅读全文

摘要： 1,ctrl + a 跳至第一个字母,相当于home 2,ctrl + e 跳至最后一个字母,相当于end 3,ctrl + u 删除此处至最前面所有字符 4,ctrl + k 删除此处至末尾所有字符 5,ctrl + w 删除此处至左边单词(即... 阅读全文

摘要： 1,使用IDEA软件进行开发. 在idea中新建scala project, File-->New-->Project.选择Scala-->Scala 2,在编辑窗口中完成WordCount程序的编写,完整程序如下: object WordCount { def main(ar... 阅读全文

摘要： 1,从spark的example中找到KafkaWordCount.scala文件复制到idea编辑器中,引入包: 2,编辑configuration, (1)KafkaWordCountProducer 选择KafkaWordCount.scala中的KafkaW... 阅读全文

摘要： 参考spark官方文档,Spark Streaming + Kafka Integration Guide,其中提到Spark Streaming如何从Kafka中接收数据.主要有两种方法,一种是使用Receivers的旧方法,另一种是不使用Receivers的新方法(从Spark 1.3才... 阅读全文

摘要： 1,将SPARK_HOME中的DirectKafkaWordCount程序复制到idea中. 2,由于在KafkaWordCount中已引入相关jar包,此步可略过 3,配置configurations参数 关于program arguments参数,程序中定义如下: /** *... 阅读全文

摘要： Hadoop：2.4.0 Spark：1.4.0 Ubuntu 14.0 1、首先启动Hadoop的HDFS系统。 HADOOP_HOME/sbin/start-dfs.sh 2、在Linux中生成一个文件test.txt，保存在/home/testjars/目录下 3、通... 阅读全文

摘要： 1,DataFrame是一个将数据格式化为列形式的分布式容器,类似于一个关系型数据库表. 编程入口:SQLContext 2,SQLContext由SparkContext对象创建 也可创建一个功能更加全面的HiveContext对象,HiveContext是SQLContext的子类,... 阅读全文

摘要： 1 创建表的时候写注释create table test1( field_name int comment '字段的注释')comment='表的注释'; 2 修改表的注释alter table test1 comment '修改后的表的注释'; 3 修改字段的注释alter table ... 阅读全文

摘要： 参考自:http://m.blog.csdn.net/blog/u014731529/25917149 平常总会遇到一些不认识的单词，汉字等等。一直使用Chrome 浏览器的翻译插件，不过插件的翻译总是那么简单，复制了去查又太麻烦了。于是，就在软件中心找到了星际译王，装完我立马感觉到... 阅读全文