吴一达

摘要： 1,基于Flume的Push模式(Flume-style Push-based Approach) Flume被用于在Flume agents之间推送数据.在这种方式下,Spark Streaming可以很方便的建立一个receiver,起到一个Avro agent的作用.Fl... 阅读全文

摘要： 1,程序为spark的example中的FlumeEventCount示例 object FlumeEventCount { def main(args: Array[String]) { StreamingExamples.setStreamingLogLevels() //... 阅读全文

摘要： 本文主要分析Spark SQL官方文档中有关于JDBC To Other Databases部分，以MySQL数据库为例，结合数据读写操作的实例代码进行详细的分析。本文中的代码需要使用到Mysql JDBC连接jar包。 一、从mysql读取数据 1、单表查询 完... 阅读全文

摘要： 1、hadoop fs 指令 -ls -ls 查看指定路径的当前目录结构 -lsr -lsr 递归查看指定路径的目录结构 -du -du 统计目录下个文件大小 -dus -dus 汇总统计目录下文件(夹)大小 -count -count [-q] 统计文件(夹)数量 -mv -mv... 阅读全文

摘要： 1、采用伪分布模式安装 将hadoop-****.tar.gz复制到linux的/usr/local目录下。 2、解压，重命名 #tar -xzvf hadoop-1.0.4.tar.gz #mv hadoop-1.0.4 hadoop 3、配置环境... 阅读全文

摘要： 1、在Vmware中安装好虚拟机。 2、客户机（即虚拟机中的centos）网络连接使用仅主机模式Host-only 3、在主机中网络配置上，配置IP地址 1、使用PieTTY远程连接该虚拟机 2、使用winSCP可以用于主机，客户机之间的文件传递 将该会话保存，就不需要每次进... 阅读全文

摘要： 主要内容参考自： centos下vmware 桥接设置静态ip例子 关于虚拟机网络配置的文章： Win7+VMware Workstation环境下的CentOS-Linux网络连接设置（推荐阅读） win7 访问本机的CentOS 6.3 上的web项目以及 互相通信访问（ ... 阅读全文

摘要： 持续更新中。。。 1.编程界牛人太多了，还是要好好a题，好好弄清楚基础算法，并且用代码实现 2.c/c++方向其实来回来去那么几道题，做好了记到脑子里。 下面就是我打算把不会的，不清楚的都贴上来然后好好解析做一下： 1 2 3 ... 阅读全文

摘要： 1. 使用场景在重写ListView的BaseAdapter时，我们常常在getView()方法中复用convertView，以提高性能。convertView在Item为单一的同种类型布局时，能够回收并重用，但是多个Item布局类型不同时，convertView的回收和重用会出现... 阅读全文

摘要： 一．nginx root指令1. Nginx配置相关配置如下图：通过配置root目录到“/wwwroot/html/”位置在用虚拟主机方法，主机名称是test，需要大家配置一下自己pc的host文件，另外需要配置server的nginx.conf文件，添加“include vhost/t.conf... 阅读全文