2020 年 1月 8 日随笔档案 - 吴裕雄

吴裕雄--天生自然HADOOP操作实验学习笔记：hbase微博案例

摘要：实验目的熟悉hbase表格设计的方法熟悉hbase的javaAPI 通过API理解掌握hbase的数据的逻辑视图了解MVC的服务端设计方式实验原理上次我们已经初步设计了学生选课案例的，具体功能还不完善，但是实现方式都是在已经设计好的表格之上，调用hbase已有的API，本次我们将会实现一个阅读全文

posted @ 2020-01-08 23:31 吴裕雄阅读(371) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：hbase学生选课案例

摘要：实验目的复习hbase的shell操作和javaAPI操作了解javaWeb项目的MVC设计学会dao(数据库访问对象)和service层的代码编写规范学会设计hbase表格实验原理前面我们已经了解hbase的shell操作、javaAPI操作，并且能够使用hive操作hbase表格（实阅读全文

posted @ 2020-01-08 22:48 吴裕雄阅读(860) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：hbase的javaAPI应用

摘要：实验目的进一步了解hbase的操作熟悉使用IDEA进行java开发熟悉hbase的javaAPI 实验原理前面已经了解通过hbase的shell操作hbase，确实比较难以使用，另外通过hive也可以操作hbase，今天我们学习通过javaAPI操作hbase。 1.创建连接我们以前在hb 阅读全文

posted @ 2020-01-08 22:26 吴裕雄阅读(355) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：使用hive操作hbase

摘要：实验目的熟悉hive和hbase的操作熟悉hadoop、hbase、hive、zookeeper的关系熟练大数据环境的搭建学会分析日志排除问题实验原理 1.hive整合hbase原理前面大家已经了解了Hive和Hbase，Hive是一个mapreduce的客户端，把sql语句转化为map 阅读全文

posted @ 2020-01-08 22:11 吴裕雄阅读(393) 评论(0) 推荐(0)

吴裕雄--天生自然云计算安全策略：云计算安全

摘要：云计算安全云计算是继计算机、互联网出现后信息领域又一次改革，云计算的应用使各个企业能够对先进信息技术进行更好更快的利用，能够降低企业前期的运营成本，将企业的可获利润最大化。但是云计算在给各行各业带来福利时，云计算安全事件也时有发生，由云计算问题引发的计算机网络安全信任危机也愈演愈烈。如2011年3 阅读全文

posted @ 2020-01-08 22:01 吴裕雄阅读(223) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：hbase的shell应用v2.0

摘要： HRegion 当表的大小超过设置值的时候，HBase会自动地将表划分为不同的区域，每个区域包含所有行的一个子集。对用户来说，每个表是一堆数据的集合，靠主键来区分。从物理上来说，一张表被拆分成了多块，每一块就是一个HRegion。我们用表名+开始/结束主键来区分每一个HRegion，一个HRegio 阅读全文

posted @ 2020-01-08 21:55 吴裕雄阅读(188) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：hive DDL

摘要：实验目的了解hive DDL的基本格式了解hive和hdfs的关系学习hive在hdfs中的保存方式学习一些典型常用的hiveDDL 实验原理有关hive的安装和原理我们已经了解，这次实验我们通过使用hive进行简单的测试进一步了解hive。hive DDL的意思是Hive Data De 阅读全文

posted @ 2020-01-08 21:41 吴裕雄阅读(303) 评论(0) 推荐(0)

论善

摘要：阅读全文

posted @ 2020-01-08 19:50 吴裕雄阅读(356) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：mapreduce和yarn命令

摘要：实验目的了解集群运行的原理学习mapred和yarn脚本原理学习使用Hadoop命令提交mapreduce程序学习对mapred、yarn脚本进行基本操作实验原理 1.hadoop的shell脚本上一节介绍了hadoop脚本的使用，这一节介绍mapreduce和yarn的shell命令，阅读全文

posted @ 2020-01-08 19:44 吴裕雄阅读(397) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：hdfs简单的shell命令

摘要：实验目的了解bin/hadoop脚本的原理学会使用fs shell脚本进行基本操作学习使用hadoop shell进行简单的统计计算实验原理 1.hadoop的shell脚本当hadoop集群正常工作后，我们就可以使用hadoop进行我们需要的操作。我们的操作主要分为两种，第一种是使用sh 阅读全文

posted @ 2020-01-08 19:28 吴裕雄阅读(568) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：mapreduce代码编程

摘要：实验目的深入了解mapreduce的底层了解IDEA的使用学会通过本地和集群环境提交程序实验原理 1.回忆mapreduce模型前面进行了很多基础工作，本次实验是使用mapreduce的API进行简单的大数据业务处理。 MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行阅读全文

posted @ 2020-01-08 19:04 吴裕雄阅读(266) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：分布式及RPC通信简介

摘要：实验目的掌握GOF设计模式的代理模式了解掌握socket编程、java反射、动态代理了解NIO、多线程掌握hadoop的RPC框架使用API 实验原理 1.什么是RPC 在hadoop出现以前，我们写的程序一般都是单机版本，只能在一台机器上处理，而一台机器的处理能力总是有限的，hadoop让阅读全文

posted @ 2020-01-08 18:35 吴裕雄阅读(190) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：分布式资源调度系统yarn的安装

摘要：实验目的复习配置hadoop初始化环境复习配置hdfs的配置文件学会配置hadoop的配置文件了解yarn的原理实验原理 1.yarn是什么前面安装好了hdfs文件系统，我们可以根据需求进行数据的读写操作。hdfs解决了大数据的存储，接下来的问题就是根据实际的业务需求进行计算。目前大数据阅读全文

posted @ 2020-01-08 00:53 吴裕雄阅读(282) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：tf-idf算法

摘要：实验目的通过实验了解tf-idf算法原理通过实验了解mapreduce的更多组件学会自定义分区，读写缓存文件了解mapreduce程序的设计方法实验原理 1.TF-IDF简介 TF-IDF(term frequency–inverse document frequency)是一种用于资讯检阅读全文

posted @ 2020-01-08 00:43 吴裕雄阅读(343) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：hive安装

摘要：实验目的了解hive的原理和安装方式学习使用MySQL数据库使用hive进行基本操作实验原理 1.Hive Hive是一个数据仓库技术，包括解释器、编译器、优化器，一次将一个sql语句装化为mapreduce代码，然后对代码进行编译，最后优化执行。实质是一个客户端程序，类似jsp和servl 阅读全文

posted @ 2020-01-08 00:25 吴裕雄阅读(242) 评论(0) 推荐(0)

吴裕雄--天生自然HADOOP操作实验学习笔记：hdfs分布式文件系统安装

摘要：实验目的复习安装jdk 学习免密码登录掌握安装配置hdfs集群的方法掌握hdfs集群的简单使用和检查其工作状态实验原理 1.hdfs是什么 hadoop安装的第一部分是安装hdfs，hdfs是一个磁盘文件系统，提供的功能类似于本地文件系统一样，可以通过命令进行增删改查文件，不同的是，hdfs 阅读全文

posted @ 2020-01-08 00:09 吴裕雄阅读(238) 评论(0) 推荐(0)

2020年1月8日