随笔分类 -  Data

摘要：SPARK Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读 阅读全文

摘要：大数据通用处理平台 Spark Flink Hadoop 分布式存储 HDFS 资源调度 Yarn Mesos 机器学习工具 Mahout Spark Mlib TensorFlow (Google 系) Amazon Machine Learning DMTK (微软分布式机器学习工具) 数据分析 阅读全文

摘要：摘要：本文则主要介绍TalkingData在大数据平台建设过程中，逐渐引入Spark，并且以Hadoop YARN和Spark为基础来构建移动大数据平台的过程。 当下，Spark已经在国内得到了广泛的认可和支持：2014年，Spark Summit China在北京召开，场面火爆；同年，Spark 阅读全文

摘要：一．RAID定义RAID(Redundant Array of Independent Disk 独立冗余磁盘阵列)技术是加州大学伯克利分校1987年提出，最初是为了组合小的廉价磁盘来代替大的昂贵磁盘，同时希望磁盘失效时不会使对数据的访问受损 失而开发出一定水平的数据保护技术。RAID就是一种由多块 阅读全文

摘要：一、rsync概述 1.1、rsync的优点与不足 rsync与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。 随着应用系统规模的不断扩 阅读全文

摘要：1、什么是Memcached 1.1、Memcached概述 Memcached是一个免费的开源的、高性能的、具有又分布式内存对象的缓存系统，它通过减轻数据库负载加速动态WEB应用， 1.2、Memcached和数据库交互流程 (1)、检查客户端请求的数据是在Memcached中存在，如果存在，直接 阅读全文

摘要：本文主要内容 Redis与其他软件的相同之处和不同之处 Redis的用法 使用Python示例代码与Redis进行简单的互动 使用Redis解决实际问题 Redis是一个远程内存数据库，它不仅性能强劲，而且还具有复制特性以及为解决问题而生的独一无二的数据模型。Redis提供了5种不同类型的数 据结构 阅读全文

摘要：从数据爆炸开始。。。 一、 第三次工业革命 第一次：18世纪60年代，手工工厂向机器大生产过渡，以蒸汽机的发明和使用为标志。 第二次：19世纪70年代，各种新技术新发明不断被应用于工业生产，以电力的发明使用为标志。 第三次：20世界四五十年代末，以高新技术为代表的新科学技术革命，以原子能、航天技术和 阅读全文

摘要：DRBD 数据镜像软件 一、DRBD介绍 1.1、数据镜像软件DRBD介绍 分布式块设备复制(Distributed Relicated Block Deivce,DRBD)，是一种基于软件、基于网络的块复制存储解决方案，主要用于对服务器之间的磁盘、分区、逻辑卷等进行数据镜像，当用户将数据写入本地磁 阅读全文

摘要：数据恢复软件Extundelete介绍 一、概述 作为一名运维人员，保证数据的安全是根本职责，所以在维护系统的时候，要慎重和细心，但是有时也难免发生出现数据被误删除的情况，这个时候该如何快速、有效地恢复数据呢？ 1.1、如何使用rm –rf命令 在Linux系统下，通过 rm –rf 可以将如何数据 阅读全文

摘要：一、Redis概述 1.1、什么是Redis Redis是一种高级key-value数据库。它跟memcached类似，不过数据 可以持久化，而且支持的数据类型很丰富。有字符串，链表，集 合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis 阅读全文

摘要：待完善 Hadoop2.6.0部署与应用 一、 环境准备 硬件：3台虚拟机 内存：至少512MB 硬盘：至少20G 操作系统：rhel6.4 64位 最小化安装 主机名 IP（局域网） 描述 Master 192.168.111.5 hdfs主节点，yarn主节点 slaves1 192.168.1 阅读全文