大数据技术 - 随笔分类 - coshaho

Hbase安装

摘要：1、centos下载并解压jdk 关键是要添加--no-cookie --header "Cookie: oraclelicense=accept-securebackup-cookie" 2、设置环境变量（1）解压JDK （2）vi /etc/profile （3）source /etc/pro 阅读全文

posted @ 2019-04-21 12:51 coshaho 阅读(310) 评论(0) 推荐(0)

Hbase伪分布式安装

摘要：前面的文章已经讲过hadoop伪分布式安装，这里直接介绍hbase伪分布式安装。 1、下载hbase 版本hbase 1.2.6 2、解压hbase 3、修改hbase-env.sh 新增如下内容 4、修改hbase-site.xml hbase.rootdir使用hadoop文件系统 hb 阅读全文

posted @ 2017-09-13 23:13 coshaho 阅读(629) 评论(0) 推荐(0)

HDFS文件操作

摘要：hadoop装好后，文件系统中没有任何目录与文件 1、创建文件夹参数-p表示递归创建文件夹 2、浏览文件 3、上传本地文件到HDFS 4、查看文件 HDFS Shell命令介绍文章很多，这里就不一一列举了，引用一篇文章来介绍：https://segmentfault.com/a/11900 阅读全文

posted @ 2017-08-18 21:29 coshaho 阅读(612) 评论(0) 推荐(0)

Hadoop伪分布式部署

摘要：Hadoop 的配置文件位于 /$HADOOP_HOME/etc/hadoop/ 1、修改core-site.xml 2、修改hdfs-site.xml 3、修改mapred-site.xml 4、修改yarn-site.xml 5、格式化namenode 6、修改hadoop-env. 阅读全文

posted @ 2017-08-17 23:21 coshaho 阅读(271) 评论(0) 推荐(0)

Hadoop单机安装

摘要：环境：ubuntu kylin 15.10，hadoop 2.8.1，jdk 8 1、新建用户cauchy 2、hosts中添加hadoop映射注：使用cauchy用户执行ifconfig命令查看ip地址发现没有权限，执行如下命令解决 3、使用cauchy用户安装SSH 报错：没有sudo权限。需阅读全文

posted @ 2017-08-17 00:02 coshaho 阅读(610) 评论(0) 推荐(0)

Storm集成Siddhi

摘要：《Siddhi初探》中我们介绍了Siddhi的基本使用方法，并表示我们将把Siddhi集成到Storm中作为流任务处理引擎。本文将用《Storm初探》中的例子讲解如何集成Siddhi。《Storm初探》中的例子把名字字符串进行分割与输出，我们将增加一个SIddhiBolt进行名字过滤，过滤规则是筛阅读全文

posted @ 2017-06-26 23:53 coshaho 阅读(1197) 评论(0) 推荐(0)

Siddhi初探

摘要：官方对Siddhi的介绍如下： Siddhi CEP is a lightweight, easy-to-use Open Source Complex Event Processing Engine (CEP) under Apache Software License v2.0. Siddhi是阅读全文

posted @ 2017-06-19 23:21 coshaho 阅读(6670) 评论(0) 推荐(0)

Ignite缓存大小管理

摘要：Ignite使用计算机内存存储缓存数据，达到提升缓存读写性能的。但是计算机内存往往是有限的，我们必须合理管理Ignite对内存的使用。 Ignite可以使用JVM堆外内存和堆内内存。使用堆外内存基本上会对JVM垃圾回收造成影响，也不会对JVM中的其他进程数据造成影响。但是使用堆内内存性能更高。一般阅读全文

posted @ 2017-06-15 14:59 coshaho 阅读(4666) 评论(0) 推荐(0)

Zookeeper使用实例——服务节点管理

摘要：分布式处理中，总会存在多个服务节点同时工作，并且节点数量会随着网络规模的变化而动态增减，服务节点也有可能发生宕机与恢复。面对着动态增减的服务节点，我们如何保证客户请求被服务器正确处理呢。我们可以通过zookeeper临时节点创建与自动删除来掌握服务节点的动态增减。 ignite分布式缓存支持使用zo 阅读全文

posted @ 2017-06-14 21:38 coshaho 阅读(7914) 评论(0) 推荐(0)

Zookeeper使用实例——分布式共享锁

摘要：前一讲中我们知道，Zookeeper通过维护一个分布式目录数据结构，实现分布式协调服务。本文主要介绍利用Zookeeper有序目录的创建和删除，实现分布式共享锁。举个例子，性能管理系统中，告警规则只允许最多创建450条，我们如何保证这个约束呢？如果只有一个web节点，我们只需要简单的把规则数量查阅读全文

posted @ 2017-06-12 23:16 coshaho 阅读(10510) 评论(5) 推荐(3)

Zookeeper初探

摘要：分布式编程中，网络中各个节点的数据同步，数据一致性保障，事务控制，容错控保障等都需要一个稳定可靠的协调服务。Zookeeper则是分布式程序中使用最广泛的协调服务技术。从前面的kafka，storm，ignite使用文章中我们可以看到，Zookeeper广泛用于这些方分布式大数据技术的节点选举以及数阅读全文

posted @ 2017-06-10 23:50 coshaho 阅读(656) 评论(0) 推荐(0)

Storm消息可靠处理机制

摘要：在很多应用场景中，分布式系统的可靠性保障尤其重要。比如电商平台中，客户的购买请求需要可靠处理，不能因为节点故障等原因丢失请求；比如告警系统中，产生的核心告警必须及时完整的知会监控人员，不能因为网络故障而丢失数据。 Storm消息可靠性保障是Storm核心特性之一，其中消息树的跟踪管理机制是Storm 阅读全文

posted @ 2017-06-05 23:59 coshaho 阅读(450) 评论(0) 推荐(0)

Storm初探

摘要：Storm是一种分布式流式处理技术，这一点和Spark与Hadoop的批处理特性有明显的区别。在数据连续产生，响应时延要求较低的场景中，Storm具有Spark不可比拟的优势。网络性能监控系统中，Storm可以在秒级Dashboard监控，分钟级告警监控中大显生手。学习任何技术，首先从Hell 阅读全文

posted @ 2017-06-04 23:25 coshaho 阅读(262) 评论(0) 推荐(0)

Ignite集群管理——基于Zookeeper的节点发现

摘要：Ignite支持基于组播，静态IP，Zookeeper，JDBC等方式发现节点，本文主要介绍基于Zookeeper的节点发现。环境准备，两台笔记本电脑A，B。A笔记本上使用VMware虚拟机安装了Ubuntu系统C。 1、 C安装Zookeeper 由于主要测试Ignite，这里仅仅简单安装一个z 阅读全文

posted @ 2017-06-03 23:12 coshaho 阅读(4042) 评论(1) 推荐(0)

Ignite集群管理——基于静态IP的节点发现

摘要：Ignite作为分布式内存，集群管理必不可少，Ignite支持基于组播，静态IP，Zookeeper，JDBC等方式发现节点，本文主要介绍基于静态IP的节点发现。两个最重要的TCP通信设置类： 1、 TcpDiscoverySpi 用于设置集群维持与节点发现的tcp通信ip，port。 2、 Tc 阅读全文

posted @ 2017-05-30 20:45 coshaho 阅读(4611) 评论(0) 推荐(0)

Ignite内存数据库与sql支持

摘要：Ignite采用h2作为内存数据库，支持h2的一切sql语法。如果是本地缓存或者复制缓存，sql执行直接在本地h2数据库中执行，如果是分区缓存，ignite则会分解sql到多个h2数据库执行后再汇总。通过@QuerySqlField注解可以轻松的把对象属性映射到表字段，下述代码实现了缓存对象与h2 阅读全文

posted @ 2017-05-25 23:23 coshaho 阅读(8849) 评论(0) 推荐(0)

Ignite初探

摘要：Guava是一个很方便的本地缓存工具，但是在多节点处理的过程中，本地缓存无法满足数据一致性的问题。分布式缓存Ignite很好的解决了数据一致性，可靠性，事务性等方面的问题。 Ignite支持分区方式和复制方式存储数据，侧重于不同读写比例的分布式缓存使用。同时，Ignite可以缓存整个数据库数据，支持阅读全文

posted @ 2017-05-14 22:55 coshaho 阅读(888) 评论(0) 推荐(0)

本地缓存之GUAVA

摘要：项目开发中，很多配置数据需要缓存，一般来说，开发人员都会手动写HashMap，HashSet或者ConcurrentHashMap，ConcurrentHashSet缓存数据，但是这样的缓存往往存在内存泄漏，刷新机制不健全等缺点。实际上有不少第三方组件实现了功能完善的本地缓存，建议大家直接使用成熟的阅读全文

posted @ 2017-02-21 22:19 coshaho 阅读(12195) 评论(0) 推荐(1)

Storm安装

摘要：Storm也依赖于Zookeeper和Java，上一篇文章中已经讲了Zookeepeer和Java的安装，在此不再赘述。 1、Python安装（1）解压后在Python根目录下执行configure配置（2）编译（3）安装（4）检查安装结果 2、安装Storm （1）解压（2）配置stor 阅读全文

posted @ 2016-10-16 14:00 coshaho 阅读(304) 评论(0) 推荐(0)

Kafka安装

摘要：Kafka基于Zookeeper管理分布式节点，Zookeeper是基于Java开发，所以，安装Kafka就必须安装JDK和Zookeeper。一、安装JDK 1、新建一个存放jdk的目录，并解压jdk到该目录下；如下图所示，jdk存放目录为/home/coshaho/jdk，版本为jdk1.7 阅读全文

posted @ 2016-09-25 17:29 coshaho 阅读(581) 评论(0) 推荐(0)

coshaho

随笔分类 - 大数据技术

公告