吴裕雄 - 博客园

吴裕雄--天生自然HADOOP操作实验学习笔记：hbase的javaAPI应用

摘要：实验目的进一步了解hbase的操作熟悉使用IDEA进行java开发熟悉hbase的javaAPI 实验原理前面已经了解通过hbase的shell操作hbase，确实比较难以使用，另外通过hive也可以操作hbase，今天我们学习通过javaAPI操作hbase。 1.创建连接我们以前在hb 阅读全文

posted @ 2020-01-08 22:26 吴裕雄阅读(355) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：使用hive操作hbase

摘要：实验目的熟悉hive和hbase的操作熟悉hadoop、hbase、hive、zookeeper的关系熟练大数据环境的搭建学会分析日志排除问题实验原理 1.hive整合hbase原理前面大家已经了解了Hive和Hbase，Hive是一个mapreduce的客户端，把sql语句转化为map 阅读全文

posted @ 2020-01-08 22:11 吴裕雄阅读(393) 评论(0) 推荐(0)

吴裕雄--天生自然云计算安全策略：云计算安全

摘要：云计算安全云计算是继计算机、互联网出现后信息领域又一次改革，云计算的应用使各个企业能够对先进信息技术进行更好更快的利用，能够降低企业前期的运营成本，将企业的可获利润最大化。但是云计算在给各行各业带来福利时，云计算安全事件也时有发生，由云计算问题引发的计算机网络安全信任危机也愈演愈烈。如2011年3 阅读全文

posted @ 2020-01-08 22:01 吴裕雄阅读(223) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：hbase的shell应用v2.0

摘要： HRegion 当表的大小超过设置值的时候，HBase会自动地将表划分为不同的区域，每个区域包含所有行的一个子集。对用户来说，每个表是一堆数据的集合，靠主键来区分。从物理上来说，一张表被拆分成了多块，每一块就是一个HRegion。我们用表名+开始/结束主键来区分每一个HRegion，一个HRegio 阅读全文

posted @ 2020-01-08 21:55 吴裕雄阅读(188) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：hive DDL

摘要：实验目的了解hive DDL的基本格式了解hive和hdfs的关系学习hive在hdfs中的保存方式学习一些典型常用的hiveDDL 实验原理有关hive的安装和原理我们已经了解，这次实验我们通过使用hive进行简单的测试进一步了解hive。hive DDL的意思是Hive Data De 阅读全文

posted @ 2020-01-08 21:41 吴裕雄阅读(303) 评论(0) 推荐(0)

论善

摘要：阅读全文

posted @ 2020-01-08 19:50 吴裕雄阅读(356) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：mapreduce和yarn命令

摘要：实验目的了解集群运行的原理学习mapred和yarn脚本原理学习使用Hadoop命令提交mapreduce程序学习对mapred、yarn脚本进行基本操作实验原理 1.hadoop的shell脚本上一节介绍了hadoop脚本的使用，这一节介绍mapreduce和yarn的shell命令，阅读全文

posted @ 2020-01-08 19:44 吴裕雄阅读(397) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：hdfs简单的shell命令

摘要：实验目的了解bin/hadoop脚本的原理学会使用fs shell脚本进行基本操作学习使用hadoop shell进行简单的统计计算实验原理 1.hadoop的shell脚本当hadoop集群正常工作后，我们就可以使用hadoop进行我们需要的操作。我们的操作主要分为两种，第一种是使用sh 阅读全文

posted @ 2020-01-08 19:28 吴裕雄阅读(568) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：mapreduce代码编程

摘要：实验目的深入了解mapreduce的底层了解IDEA的使用学会通过本地和集群环境提交程序实验原理 1.回忆mapreduce模型前面进行了很多基础工作，本次实验是使用mapreduce的API进行简单的大数据业务处理。 MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行阅读全文

posted @ 2020-01-08 19:04 吴裕雄阅读(266) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：分布式及RPC通信简介

摘要：实验目的掌握GOF设计模式的代理模式了解掌握socket编程、java反射、动态代理了解NIO、多线程掌握hadoop的RPC框架使用API 实验原理 1.什么是RPC 在hadoop出现以前，我们写的程序一般都是单机版本，只能在一台机器上处理，而一台机器的处理能力总是有限的，hadoop让阅读全文

posted @ 2020-01-08 18:35 吴裕雄阅读(190) 评论(0) 推荐(0)

2020年1月8日