xiaohaigege666 - 博客园

大数据实训第6天

摘要： Hive实战之谷粒影音 1.1 需求描述统计硅谷影音视频网站的常规指标，各种TopN指标： --统计视频观看数Top10 --统计视频类别热度Top10 --统计视频观看数Top20所属类别 --统计视频观看数Top50所关联视频的所属类别Rank --统计每个类别中的视频热度Top10 --统计阅读全文

posted @ 2019-09-05 21:21 xiaohaigege666 阅读(393) 评论(0) 推荐(0)

大数据实训第5天

摘要：分区表和分桶表的区别： Hive 数据表可以根据某些字段进行分区操作，细化数据管理，可以让部分查询更快。同时表和分区也可以进一步被划分为 Buckets，分桶表的原理和 MapReduce 编程中的 HashPartitioner 的原理类似。分区和分桶都是细化数据管理，但是分区表是手动添加区分阅读全文

posted @ 2019-09-04 21:41 xiaohaigege666 阅读(258) 评论(0) 推荐(0)

大数据实训第4天

摘要： Hadoop自带的例子中，有一个计算Pi值的例子。这个程序的原理是这样的。假如有一个边长为1的正方形。以正方形的一个端点为圆心，以1为半径，画一个圆弧，于是在正方形内就有了一个直角扇形。在正方形里随机生成若干的点，则有些点是在扇形内，有些点是在扇形外。正方形的面积是1，扇形的面积是0.25*Pi。阅读全文

posted @ 2019-09-03 21:15 xiaohaigege666 阅读(175) 评论(0) 推荐(0)

大数据实训第三天

摘要： 1.创建项目创建三个类：Mapper、Reducer、Main驱动类（需要导入 jar包） 2.代码 WordMapper.java：package wordcount;import java.io.IOException;import java.util.StringTokenizer;impor 阅读全文

posted @ 2019-09-02 16:11 xiaohaigege666 阅读(208) 评论(0) 推荐(0)

大数据实训第二天

摘要：使用jsp/servlet简单实现文件上传与下载使用JSP/Servlet简单实现文件上传与下载通过学习黑马jsp教学视频，我学会了使用jsp与servlet简单地实现web的文件的上传与下载，首先感谢黑马。好了，下面来简单了解如何通过使用jsp与servlet实现文件上传与下载。在写代码之前阅读全文

posted @ 2019-09-01 21:33 xiaohaigege666 阅读(378) 评论(0) 推荐(0)

大数据实训第一天

摘要：数据库增删改查： c3p0-config.xml <?xml version="1.0" encoding="utf-8" ?> <c3p0-config> <default-config> <property name="jdbcUrl">jdbc:mysql://localhost:3306/c 阅读全文

posted @ 2019-08-31 21:39 xiaohaigege666 阅读(196) 评论(0) 推荐(0)

大型高并发与高可用缓存架构总结4

摘要：一、redis安装 redis安装有yum和编译两种方式，本文以编译方式安装，参考文档为官网安装文档 1.gcc安装 [root@redis-master ~]# yum -y install gcc 2.下载安装包 [root@redis-master ~]# wget http://downlo 阅读全文

posted @ 2019-06-17 09:23 xiaohaigege666 阅读(464) 评论(0) 推荐(0)

大型高并发与高可用缓存架构总结3

摘要：缓存雪崩解决方案redis集群彻底崩溃，缓存服务大量对redis的请求等待，占用资源，随后缓存服务大量的请求进入源头服务去查询DB，使DB压力过大崩溃，此时对源头服务的请求也大量等待占用资源，缓存服务大量的资源全部耗费在访问redis和源服务无果，最后使自身无法提供服务，最终会导致整个网站崩溃。事前阅读全文

posted @ 2019-06-15 15:21 xiaohaigege666 阅读(204) 评论(0) 推荐(0)

1

摘要： 1 阅读全文

posted @ 2019-06-12 23:57 xiaohaigege666 阅读(80) 评论(0) 推荐(0)

SOA架构下的人事信息管理系统的构建与分析

摘要：【摘要】本文讨论《企业人事信息系统》项目的需求分析方法与工具的选用。该系统的建设目标是帮助该企业管理好企业内部的人员和人员的活动，人事信息管理指的是企业员工从招聘面试到离职退休的全过程，涉及的主要活动包括面试、报到、培训、升职、离职或其他的人事变动，也包括电子化考勤、工资性收入的计算与分发、使用其阅读全文

posted @ 2019-06-09 11:00 xiaohaigege666 阅读(335) 评论(0) 推荐(0)