吴一达

摘要： 1,ctrl + a 跳至第一个字母,相当于home 2,ctrl + e 跳至最后一个字母,相当于end 3,ctrl + u 删除此处至最前面所有字符 4,ctrl + k 删除此处至末尾所有字符 5,ctrl + w 删除此处至左边单词(即... 阅读全文

摘要： 1,使用IDEA软件进行开发. 在idea中新建scala project, File-->New-->Project.选择Scala-->Scala 2,在编辑窗口中完成WordCount程序的编写,完整程序如下: object WordCount { def main(ar... 阅读全文

摘要： 1,从spark的example中找到KafkaWordCount.scala文件复制到idea编辑器中,引入包: 2,编辑configuration, (1)KafkaWordCountProducer 选择KafkaWordCount.scala中的KafkaW... 阅读全文

摘要： 参考spark官方文档,Spark Streaming + Kafka Integration Guide,其中提到Spark Streaming如何从Kafka中接收数据.主要有两种方法,一种是使用Receivers的旧方法,另一种是不使用Receivers的新方法(从Spark 1.3才... 阅读全文

摘要： 1,将SPARK_HOME中的DirectKafkaWordCount程序复制到idea中. 2,由于在KafkaWordCount中已引入相关jar包,此步可略过 3,配置configurations参数 关于program arguments参数,程序中定义如下: /** *... 阅读全文

摘要： Hadoop：2.4.0 Spark：1.4.0 Ubuntu 14.0 1、首先启动Hadoop的HDFS系统。 HADOOP_HOME/sbin/start-dfs.sh 2、在Linux中生成一个文件test.txt，保存在/home/testjars/目录下 3、通... 阅读全文

摘要： 1,DataFrame是一个将数据格式化为列形式的分布式容器,类似于一个关系型数据库表. 编程入口:SQLContext 2,SQLContext由SparkContext对象创建 也可创建一个功能更加全面的HiveContext对象,HiveContext是SQLContext的子类,... 阅读全文

摘要： 1 创建表的时候写注释create table test1( field_name int comment '字段的注释')comment='表的注释'; 2 修改表的注释alter table test1 comment '修改后的表的注释'; 3 修改字段的注释alter table ... 阅读全文

摘要： 参考自:http://m.blog.csdn.net/blog/u014731529/25917149 平常总会遇到一些不认识的单词，汉字等等。一直使用Chrome 浏览器的翻译插件，不过插件的翻译总是那么简单，复制了去查又太麻烦了。于是，就在软件中心找到了星际译王，装完我立马感觉到... 阅读全文

摘要： 进入 http://ftp.mozilla.org/pub/mozilla.org/firefox/nightly 按版本选择下去，帮助(help)-->关于,查看浏览器的版本号 所以，目录是35.0.1-candidates/build1/linux-i686/xpi/ 选择其中的zh-CN... 阅读全文

摘要： 原文:http://blog.csdn.net/windone0109/article/details/2817792 查找目录：find /（查找范围） -name '查找关键字' -type d 查找文件：find /（查找范围） -name 查找关键字 -print ... 阅读全文

摘要： 1.获取软件 32位版本: wget https://dl.google.com/linux/direct/google-chrome-stable_current_i386.deb 64位版本: wget https://dl.google... 阅读全文

摘要： 准备工作： 1、下载hadoop2x-eclipse-plugin-master.zip Github地址：https://github.com/winghc/hadoop2x-eclipse-plugin 百度网盘地址：http... 阅读全文

摘要： 如图,该文件在gedit打开中文显示正常 在命令行中用vim打开,显示内容如下: 使用命令进行编码转换 iconv -f gbk -t utf8 ./SogouQ.mini > ./sougou.data 转换后vim中显示正常 阅读全文

摘要： 报错如下 解决方案:将FLUME_HOME/lib目录下的jar文件,替换成HADOOP_HOME/share/hadoop/common/lib下版本更新的jar文件 阅读全文

摘要： 1,下载kafka安装包,解压缩,tar -zxvf kafka_2.10-0.8.2.1.tgz 2,修改/etc/profile文件,增加KAFKA_HOME变量 3,进入KAFKA_HOME/config目录 (1)修改server.properties文件 broker.id=... 阅读全文

摘要： 在hive中,show tables,create 等命令能正常执行,删除表drop table x时,会出现卡住的现象. 进入mysql, show variables like 'char%' 可以看到 按理说是正确的. 后面发现,是在建好hive数据库后,没有第一时间将ch... 阅读全文

摘要： MLlib支持几种数据类型:本地向量(local vectors),和存储在一个简单机器中的矩阵(matrices),以及由一个或多个RDDs组成的分布式矩阵. 1,本地向量(Local Vector) 一个本地向量是由从0开始的整型下标和double型值组成,存储在一个... 阅读全文

摘要： 在Android开发中，编写多线程通常会使用到Thread和Handler,细心的朋友会发现，很常见的写法会被编辑器提示有问题，new Handler(){} 内的代码背景颜色会变成黄色。Android Studio的提示大概就是需要定义成静态之类的，以防止内存泄露问题。时间仓促，... 阅读全文