东东w - 博客园

2019年9月3日

摘要： # ##redis集群概述 Redis Cluster与Redis3.0.0同时发布，以此结束了Redis无官方集群方案的时代。 redis cluster是去中心化，去中间件的，也就是说，集群中的每个节点都是平等的关系，都是对等的，每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点阅读全文

posted @ 2019-09-03 19:29 东东w 阅读(168) 评论(0) 推荐(0)

搭建Spark高可用集群

摘要： Spark简介官网地址：http://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎。从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内存并行计算框架阅读全文

posted @ 2019-09-03 13:57 东东w 阅读(2605) 评论(0) 推荐(0)

redis持久化

摘要： ## # Redis持久化介绍所有的数据都存在内存中，从内存当中同步到硬盘上，这个过程叫做持久化过程。持久化操作，两种方式：rdb方式、aof方式，可以单独使用或者结合使用。 rdb持久化方法：在指定的时间间隔写入硬盘 aof方式：将以日志，记录每一个操作，服务器启动后就构建数据库。 RDB方式阅读全文

posted @ 2019-09-03 07:23 东东w 阅读(289) 评论(0) 推荐(0)

2019年9月1日

elasticsearch简介

摘要： ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可阅读全文

posted @ 2019-09-01 20:22 东东w 阅读(221) 评论(0) 推荐(0)

redis

摘要： NoSQL 介绍Redis之前，先了解下NoSQL （Not noly SQL）不仅仅是SQL属于非关系型数据库；Redis就属于非关系型数据库；传统的Mysql ,oracle ,sql server 等都是关系型数据库使用NoSQL主要应对以下问题，传统关系型数据库力不从心 High perf 阅读全文

posted @ 2019-09-01 16:47 东东w 阅读(262) 评论(0) 推荐(0)

java反射机制

摘要：什么是反射反射就是把Java类中的各个成分映射成一个个的Java对象。即在运行状态中，对于任意一个类，都能够知道这个类的所以属性和方法；对于任意一个对象，都能调用它的任意一个方法和属性。这种动态获取信息及动态调用对象方法的功能叫Java的反射机制。简单的说就是通过class文件对象，去使用该文件中阅读全文

posted @ 2019-09-01 13:46 东东w 阅读(1198) 评论(0) 推荐(1)

2019年8月31日

hdfs的客户端操作

摘要： hdfs的客户端操作 hdfs的客户端有多种形式：网页形式命令行形式客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群联网文件的切块大小和存储的副本数量，都是由客户端决定！所谓的由客户端决定，是通过配置参数来定的 hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：阅读全文

posted @ 2019-08-31 12:47 东东w 阅读(1149) 评论(0) 推荐(0)

hdfs运行机制

摘要： hdfs：分布式文件系统 hdfs有着文件系统共同的特征： 1、有目录结构，顶层目录是： / 2、系统中存放的就是文件 3、系统可以提供对文件的：创建、删除、修改、查看、移动等功能 hdfs跟普通的单机文件系统有区别： 1、单机文件系统中存放的文件，是在一台机器的操作系统中 2、hdfs的文件系统会阅读全文

posted @ 2019-08-31 08:15 东东w 阅读(539) 评论(0) 推荐(0)

大数据概念

摘要：什么是大数据基本概念在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！换个角度说，大数据是： 1、有海量的数据 2、有对海量阅读全文

posted @ 2019-08-31 08:13 东东w 阅读(282) 评论(0) 推荐(0)

2019年7月2日

hive

摘要： hive介绍 hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 hive的好处： 1.操作接口采用类SQL语法，提供快速开发的能力。 2.避免了去写MapReduce，减少开发人员的学习成本。 3.功能扩展很方便 hive的特点阅读全文

posted @ 2019-07-02 12:32 东东w 阅读(193) 评论(0) 推荐(0)