随笔档案「2017年9月」 - ZC_Surpass

摘要：1.准备工作在Flume的安装及简单的使用（一）的基础上系统环境之上添加hadoop-2.7.3 ，并创建hadoop伪分布集群并创建。hadoop伪分布集群的搭建，请参考：http://blog.csdn.net/qq_38799155/article/detai... 阅读全文

posted @ 2017-09-19 03:07 ZC_Surpass 阅读(605) 评论(0) 推荐(0)

摘要：1.Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据，同时Flume提供对数据的简单处理，并将数据处理结果写入各种数据接收方的能力。 Flume作为Cl... 阅读全文

posted @ 2017-09-18 22:55 ZC_Surpass 阅读(9156) 评论(0) 推荐(1)

摘要：1. 环境的介绍在一台虚拟机上模拟6个节点（官方说最少6个，3master，3slave），创建出3 master、3 salve 环境。 redis 采用 redis-4.0.1 版本。在网上随便可以找到的配置多个redis，（总体有两种方式，一种是虚拟的，貌似走... 阅读全文

posted @ 2017-09-14 16:54 ZC_Surpass 阅读(147) 评论(0) 推荐(0)

摘要：1.产生的背景随着互联网的快速发展、需求频繁变更、内容数量的俱增、时间的持续增长，图片数量也会越来越多。在实际需求中，会出现在若干个页面或同一个页面不同位置，展示同一条信息以及其缩略图。在这时，如果使用 CSS 控制图片显示的大小，对于那些与该位置不成比例的图片，缩小... 阅读全文

posted @ 2017-09-12 17:44 ZC_Surpass 阅读(624) 评论(0) 推荐(0)

redis的安装及使用

摘要：1.redis的简介1.1 Redis是什么 REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。Redis提供了一些丰富的数据结构，包括 lists, sets, order... 阅读全文

posted @ 2017-09-11 22:47 ZC_Surpass 阅读(218) 评论(0) 推荐(0)

centos7下安装lua-5.3.4

摘要：Lua的简介Lua是一种轻巧小型的脚本语言，使用C语言编写，其设计的目的就是为内嵌到应用程序中，从而为应用程序提供灵活的拓展和定制功能，所以lua并没有提供庞大的库支持，也不适合作为一门单独的语言进行开发应用程序，一般只作为内嵌在其它应用程序中，实现高性能，高拓展以及... 阅读全文

posted @ 2017-09-09 12:27 ZC_Surpass 阅读(848) 评论(0) 推荐(0)

摘要：简介四种压缩格式的优缺点以及应用场景的介绍：1 gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。 ... 阅读全文

posted @ 2017-09-07 14:47 ZC_Surpass 阅读(281) 评论(0) 推荐(0)

压缩在hadoop中的应用

摘要：压缩在hadoop中的应用1.1压缩简介 Hadoop 作为一个较通用的海量数据处理平台，每次运算都会需要处理大量数据，我们会在 Hadoop 系统中对数据进行压缩处理来优化磁盘使用率，提高数据在磁盘和网络中的传输速度，从而提高系统处理数据的效率。在使用压缩方式方面，... 阅读全文

posted @ 2017-09-07 12:28 ZC_Surpass 阅读(294) 评论(0) 推荐(0)

hue在centos7下的安装

摘要：1.hue简介1.1什么是hue？ HUE=Hadoop User ExperienceHue是一个开源的Apache hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于... 阅读全文

posted @ 2017-09-05 13:12 ZC_Surpass 阅读(396) 评论(0) 推荐(0)

摘要：一、安装准备1.已经装好的hadoop环境是hadoop 2.7.3 参考博客：http://blog.csdn.net/qq_38799155/article/details/777488312.下载sqoop的安装包（注意是hadoop200）下载地址：http... 阅读全文

posted @ 2017-09-01 23:52 ZC_Surpass 阅读(573) 评论(0) 推荐(0)

ZC_Surpass