上一页 1 ··· 28 29 30 31 32 33 34 35 36 ··· 156 下一页

2015年9月23日

Spark Streaming + Flume整合官网文档阅读及运行示例

摘要: 1,基于Flume的Push模式(Flume-style Push-based Approach) Flume被用于在Flume agents之间推送数据.在这种方式下,Spark Streaming可以很方便的建立一个receiver,起到一个Avro agent的作用.Fl... 阅读全文

posted @ 2015-09-23 15:56 吴一达 阅读(302) 评论(0) 推荐(0)

Spark-streaming 连接flume

摘要: 1,程序为spark的example中的FlumeEventCount示例 object FlumeEventCount { def main(args: Array[String]) { StreamingExamples.setStreamingLogLevels() //... 阅读全文

posted @ 2015-09-23 14:17 吴一达 阅读(231) 评论(0) 推荐(0)

Spark-SQL连接MySql关系型数据库

摘要: 本文主要分析Spark SQL官方文档中有关于JDBC To Other Databases部分,以MySQL数据库为例,结合数据读写操作的实例代码进行详细的分析。本文中的代码需要使用到Mysql JDBC连接jar包。 一、从mysql读取数据 1、单表查询 完... 阅读全文

posted @ 2015-09-23 11:58 吴一达 阅读(425) 评论(0) 推荐(0)

2015年9月22日

Hadoop分布式存储系统HDFS

摘要: 1、hadoop fs 指令 -ls -ls 查看指定路径的当前目录结构 -lsr -lsr 递归查看指定路径的目录结构 -du -du 统计目录下个文件大小 -dus -dus 汇总统计目录下文件(夹)大小 -count -count [-q] 统计文件(夹)数量 -mv -mv... 阅读全文

posted @ 2015-09-22 10:12 吴一达 阅读(203) 评论(0) 推荐(0)

Hadoop-1.0.4伪分布安装与配置

摘要: 1、采用伪分布模式安装 将hadoop-****.tar.gz复制到linux的/usr/local目录下。 2、解压,重命名 #tar -xzvf hadoop-1.0.4.tar.gz #mv hadoop-1.0.4 hadoop 3、配置环境... 阅读全文

posted @ 2015-09-22 10:09 吴一达 阅读(133) 评论(0) 推荐(0)

CentOS配置

摘要: 1、在Vmware中安装好虚拟机。 2、客户机(即虚拟机中的centos)网络连接使用仅主机模式Host-only 3、在主机中网络配置上,配置IP地址 1、使用PieTTY远程连接该虚拟机 2、使用winSCP可以用于主机,客户机之间的文件传递 将该会话保存,就不需要每次进... 阅读全文

posted @ 2015-09-22 10:07 吴一达 阅读(192) 评论(0) 推荐(0)

win7 VMware CentOS桥接(bridge)模式网络配置

摘要: 主要内容参考自: centos下vmware 桥接设置静态ip例子 关于虚拟机网络配置的文章: Win7+VMware Workstation环境下的CentOS-Linux网络连接设置(推荐阅读) win7 访问本机的CentOS 6.3 上的web项目以及 互相通信访问( ... 阅读全文

posted @ 2015-09-22 10:03 吴一达 阅读(395) 评论(0) 推荐(0)

2015年9月19日

最近在线笔试的一些感想和总结,阿里巴巴,腾讯,百度,360。c++研发,机器学习等岗位

摘要: 持续更新中。。。 1.编程界牛人太多了,还是要好好a题,好好弄清楚基础算法,并且用代码实现 2.c/c++方向其实来回来去那么几道题,做好了记到脑子里。 下面就是我打算把不会的,不清楚的都贴上来然后好好解析做一下: 1 2 3 ... 阅读全文

posted @ 2015-09-19 00:29 吴一达 阅读(126) 评论(0) 推荐(0)

2015年9月15日

Android开发-Listview中显示不同的视图布局

摘要: 1. 使用场景在重写ListView的BaseAdapter时,我们常常在getView()方法中复用convertView,以提高性能。convertView在Item为单一的同种类型布局时,能够回收并重用,但是多个Item布局类型不同时,convertView的回收和重用会出现... 阅读全文

posted @ 2015-09-15 20:53 吴一达 阅读(150) 评论(0) 推荐(0)

2015年9月8日

nginx root、alias、location指令使用方法

摘要: 一.nginx root指令1. Nginx配置相关配置如下图:通过配置root目录到“/wwwroot/html/”位置在用虚拟主机方法,主机名称是test,需要大家配置一下自己pc的host文件,另外需要配置server的nginx.conf文件,添加“include vhost/t.conf... 阅读全文

posted @ 2015-09-08 15:46 吴一达 阅读(469) 评论(0) 推荐(0)

上一页 1 ··· 28 29 30 31 32 33 34 35 36 ··· 156 下一页

导航