shishanyuan - 博客园

2015年1月12日

Hadoop第10周练习—Mahout部署及进行20newsgroup数据分析例子

摘要： 1运行环境说明... 31.1硬软件环境... 31.2机器网络环境... 32书面作业0：搭建Mahout环境... 32.1Mahout介绍... 32.2部署过程... 42.2.1 下载Mahout42.2.2 上传Mahout42.2.3 解压缩... 42.2.4 设置环境变量... 5... 阅读全文

posted @ 2015-01-12 09:05 shishanyuan 阅读(5683) 评论(0) 推荐(2)

2015年1月7日

Hadoop第9周练习—Hive部署测试（含MySql部署）

摘要： 1运行环境说明... 31.1硬软件环境... 31.2机器网络环境... 32书面作业1：搭建Hive环境... 32.1书面作业1内容... 32.2搭建过程... 42.2.1 安装MySql数据库... 42.2.2 安装Hive. 102.2.3 验证部署... 153问题解决... 17... 阅读全文

posted @ 2015-01-07 08:52 shishanyuan 阅读(7075) 评论(0) 推荐(0)

2015年1月4日

Hadoop第8周练习—Pig部署及统计访问日志例子

摘要： 1 运行环境说明... 31.1 硬软件环境... 31.2 机器网络环境... 32 书面作业0：搭建Pig环境... 32.1 Pig介绍... 32.2 部署过程... 42.2.1 下载Pig. 42.2.2 上传Pig. 42.2.3 解压缩... 52.2.4 设置环境变量... 62.... 阅读全文

posted @ 2015-01-04 09:09 shishanyuan 阅读(4201) 评论(1) 推荐(2)

2014年12月30日

Hadoop第7周练习—MapReduce进行数据查询和实现推简单荐系统

摘要： 1运行环境说明... 31.1硬软件环境... 31.2机器网络环境... 32书面作业1：计算员工相关... 32.1书面作业1内容... 32.2实现过程... 42.2.1 准备测试数据... 42.2.2 问题1：求各个部门的总工资... 52.2.3 问题2：求各个部门的人数和平均工资..... 阅读全文

posted @ 2014-12-30 08:51 shishanyuan 阅读(21094) 评论(7) 推荐(9)

2014年12月24日

Hadoop第6周练习—在Eclipse中安装Hadoop插件及测试(Linux操作系统)

摘要： 1 运行环境说明... 31.1 硬软件环境... 31.2 机器网络环境... 32 书面作业1：安装Eclipse并测试... 32.1 书面作业1内容... 32.2 实现过程... 42.2.1 下载Eclipse. 42.2.2 解压elipse. 52.2.3 启动eclipse. 62... 阅读全文

posted @ 2014-12-24 09:04 shishanyuan 阅读(32913) 评论(0) 推荐(3)

2014年12月22日

Hadoop第5周练习—MapReduce计算气象温度等例子

摘要： 1 运行环境说明... 41.1 硬软件环境... 41.2 机器网络环境... 42 书面作业1：对云计算的看法... 42.1 书面作业1内容... 42.2 回答... 53 书面作业2：使用MapReduce求每年最低温度... 63.1 书面作业2内容... 63.2 运行代码... 63... 阅读全文

posted @ 2014-12-22 12:33 shishanyuan 阅读(16588) 评论(6) 推荐(1)

2014年12月19日

Hadoop第4周练习—HDFS读写文件操作

摘要： 1 运行环境说明... 3 1.1 硬软件环境... 3 1.2 机器网络环境... 3 2 书面作业1：编译并运行《权威指南》中的例3.2. 3 2.1 书面作业1内容... 3 2.2 运行代码... 3 2.3 实现过程... 4 2.3.1 创建代码目录... 4 2.3.2 建立例子文件上阅读全文

posted @ 2014-12-19 07:17 shishanyuan 阅读(84106) 评论(4) 推荐(3)

2014年12月15日

Hadoop第3周练习--Hadoop2.X编译安装和实验

摘要： 1 作业题目... 52 编译Hadoop2.X 64bit. 52.1 运行环境说明... 52.1.1 硬软件环境... 52.1.2 集群网络环境... 62.2 环境搭建... 62.2.1 JDK安装和Java环境变量配置... 62.2.2 安装并设置maven. 82.2.3 以roo... 阅读全文

posted @ 2014-12-15 09:02 shishanyuan 阅读(11929) 评论(3) 推荐(0)

2014年12月12日

Hadoop第1~2周练习—Hadoop1.X和2.X安装

摘要： 1 练习题目2 Hadoop1.X安装2.1 准备工作2.1.1 硬软件环境2.1.2 集群网络环境2.1.3 安装使用工具2.2 环境搭建2.2.1 安装操作系统2.2.2 配置本地环境2.2.3 设置操作系统环境2.3 Hadoop变量配置2.3.1 下载并解压hadoop安装包2.3.2 在H... 阅读全文

posted @ 2014-12-12 21:52 shishanyuan 阅读(10814) 评论(8) 推荐(7)

2013年6月19日

4、总结：基于Oracle Logminer数据同步

摘要：最近开发Oracle数据同步功能，做了些调研和验证，这个工作过去有段时间，怕时间长了忘记，故用博客共享出来。在这系列中共写了三篇文章，第一篇是写LogMiner配置及使用，第二篇是测试了LogMiner读取日志文件性能，验证可行性，第三篇是使用LogMiner进行数据同步Demo，在该Demo中通过LogMiner在源数据库读取在线/归档日志文件，然后在目标数据库上执行。以下为三篇文章PDF文件：1、1.OracleLogminer配置使用.pdf2、2.OracleLogminer性能测试.pdf3、3.使用OracleLogminer同步Demo.pdf 阅读全文

posted @ 2013-06-19 14:01 shishanyuan 阅读(4049) 评论(1) 推荐(0)

石山园

公告