大数据 - 文章分类 - lixin05

流计算

摘要：流计算一、流计算概述 1.1 静态数据和流数据 • 很多企业为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据。技术人员可以利用数据挖掘和OLAP（On-Line Analytical Processing）分析工具从静态数据中找到对企业有价值的信息 • 近年来，在Web应用阅读全文

posted @ 2022-04-14 10:40 lixin05 阅读(1291) 评论(0) 推荐(0)

MapReduce

摘要：MapReduce 一、概述 1.1 分布式并行编程 •“摩尔定律”， CPU性能大约每隔18个月翻一番 •从2005年开始摩尔定律逐渐失效，需要处理的数据量快速增加，人们开始借助于分布式并行编程来提高程序性能 •分布式程序运行在大规模计算机集群上，可以并行执行大规模数据处理任务，从而获得海量的计阅读全文

posted @ 2022-04-01 23:38 lixin05 阅读(445) 评论(0) 推荐(0)

Spark

摘要：Spark 一、Spark概述 1.1 Spark简介 •Spark最初由美国加州伯克利大学（UCBerkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序 •2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为A 阅读全文

posted @ 2022-03-10 11:44 lixin05 阅读(312) 评论(0) 推荐(0)

Hadoop架构再探讨

摘要：Hadoop架构再探讨一、Hadoop的优化与发展 1.1Hadoop的局限与不足 Hadoop1.0的核心组件（仅指MapReduce和HDFS，不包括Hadoop生态系统内的Pig、Hive、HBase等其他组件），主要存在以下不足： •抽象层次低，需人工编码 •表达能力有限 •开发者自己管理阅读全文

posted @ 2022-03-10 11:12 lixin05 阅读(362) 评论(0) 推荐(0)

云数据库

摘要：云数据库一、云数据库概述 1.1 云计算是云数据库兴起的基础 1.2 云数据库概念云数据库是部署和虚拟化在云计算环境中的数据库。云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法，它极大地增强了数据库的存储能力，消除了人员、硬件、软件的重复配置，让软、硬件升级变得更加容易。云数据阅读全文

posted @ 2022-03-10 10:25 lixin05 阅读(843) 评论(0) 推荐(0)

NoSQL数据库

摘要：NoSQL数据库一、NoSQL简介最初表示“反SQL”运动用新型的非关系数据库取代关系数据库，现在表示关系和非关系型数据库各有优缺点彼此都无法互相取代。通常，NoSQL数据库具有以下几个特点：（1）灵活的可扩展性（2）灵活的数据模型（3）与云计算紧密融合二、NoSQL兴起的原因 1、关阅读全文

posted @ 2022-03-10 09:42 lixin05 阅读(593) 评论(0) 推荐(0)

分布式数据库HBase

摘要：分布式数据库HBase 一、概述 1.1 HBase简介 HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数阅读全文

posted @ 2022-02-16 17:31 lixin05 阅读(225) 评论(0) 推荐(0)

分布式文件系统HDFS

摘要：分布式文件系统HDFS 一、分布式文件系统 1.1 计算机集群结构分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。分布式文件系统所采用的计算机集群，都是由普通硬件构成的，大大降低了硬件上的开销。 1.2 分布式文件系统的结构分布式文件系统在物理结构上是由计算阅读全文

posted @ 2022-02-16 14:47 lixin05 阅读(1292) 评论(0) 推荐(0)

大数据处理架构Hadoop

摘要：大数据处理架构Hadoop 一、概述 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构，基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中。 Hadoop的核心是分布式文件系统HDF 阅读全文

posted @ 2022-02-16 01:40 lixin05 阅读(863) 评论(0) 推荐(0)

大数据概述

摘要：大数据概述一、大数据时代 1.1 第三次信息化浪潮 IT领域每隔十五年就会迎来一次重大变革，信息科技为大数据时代提供技术支撑：存储设备容量不断增加 CPU处理能力大幅提升网络带宽不断增加 1.2 数据产生方式的变革： 1.3 大数据的发展历程：二、大数据概念 2.1 数据量大根据IDC作阅读全文

posted @ 2022-02-16 01:12 lixin05 阅读(867) 评论(0) 推荐(0)

大数据之Pregel图计算原理

摘要：大数据之图计算相关原理最近在看大数据图计算相关的论文，故将图计算的原理简单梳理一遍，参考资料为<<大数据技术原理与应用>> 一、图计算简介 1.1. 图结构：图形数据结构与一般数据结构不同，它必须要反映数据所对应元素之间的几何关系和拓扑关系。图形数据结构通常是指由若干个图形数据元素按一定关系所组阅读全文

posted @ 2022-02-09 23:30 lixin05 阅读(1938) 评论(0) 推荐(0)

文章分类 - 大数据