_XiongH - 博客园

2019年7月28日

摘要：概述 Apache Sqoop（SQL-to-Hadoop）项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里阅读全文

posted @ 2019-07-28 14:08 _XiongH 阅读(304) 评论(0) 推荐(0)

Hbase基础知识

摘要： Hbase HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文《Bigtable》一个结构化数据的分布式存储系统" 非关系型数据库和关系型数据库传统关系型数据库的缺陷 1）高并发读写的瓶颈 2）可扩展性的限制 3）事务一致性的负面影响 4）复杂阅读全文

posted @ 2019-07-28 14:03 _XiongH 阅读(471) 评论(0) 推荐(0)

Flume基础知识

摘要：概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。主要作用：实时读取服务器本地磁盘数据，将数据写入HDFS；优点： Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到阅读全文

posted @ 2019-07-28 14:00 _XiongH 阅读(600) 评论(0) 推荐(1)

2019年7月27日

Kafka基础知识

摘要： 1. kafka介绍 1.1. 主要功能根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： 1：It lets you publish and subscribe to streams of records.发布和订阅消息流，这个功能类似于消息队列，这也是kafka 阅读全文

posted @ 2019-07-27 21:36 _XiongH 阅读(222) 评论(0) 推荐(0)

ZooKeeper基础知识

摘要： 1、分布式协调技术在介绍ZooKeeper之前先介绍一种技术——分布式协调技术。什么是分布式协调技术？其实分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种临界资源，防止造成"脏数据"的后果。有人可能会说这个简单，写一个调度算法就轻松解决了。说这句话的人，可能对阅读全文

posted @ 2019-07-27 20:56 _XiongH 阅读(208) 评论(0) 推荐(0)

2019年7月24日

Spark内存模型详解

摘要： 1 堆内和堆外内存规划 Spark执行器(Executor)的内存管理建立在 JVM 的内存管理之上，Spark 对 JVM 的空间（OnHeap+Off-heap）进行了更为详细的分配，以充分利用内存。同时，Spark 引入了Off-heap 内存模式，使之可以直接在工作节点的系统内存中开辟空间，阅读全文

posted @ 2019-07-24 20:34 _XiongH 阅读(9306) 评论(0) 推荐(0)

2019年7月18日

大数据开发---数据仓库技术

摘要： 1、什么是数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 2、数据仓库的特点阅读全文

posted @ 2019-07-18 19:43 _XiongH 阅读(1605) 评论(0) 推荐(0)

2019年7月17日

解决SyntaxError: Non-UTF-8 code starting with '\xc9' in file.....

摘要：在开发python代码过程中，如果代码中有中文注释时，比如：就会报如下错错误：解决办法很简单，就是在代码最开始部分增加：# coding=gbk 即可：阅读全文

posted @ 2019-07-17 19:40 _XiongH 阅读(6713) 评论(0) 推荐(0)

Python3中 yield 关键字用法

摘要：今天在看Python书籍的时候，有段代码中用到了 yield 关键字，不知道作什么用，不甚理解。查了些资料，觉得 yield 挺好用的，给大家分享下：在Python3中任何使用到 yield 的函数称为生成器，如：另外一种说法：生成器就是一个返回迭代器的函数，与普通函数的区别是生成器包含yiel 阅读全文

posted @ 2019-07-17 19:35 _XiongH 阅读(1979) 评论(0) 推荐(1)

2019年7月13日

推荐机制-协同过滤和基于内容推荐的区别

摘要：基于用户统计学的推荐基于用户统计学的推荐机制（Demographic-based Recommendation）是一种最易于实现的推荐方法，它只是简单的根据系统用户的基本信息发现用户的相关程度，然后将相似用户喜爱的其他物品推荐给当前用户，图1给出了这种推荐的工作原理。 (图1) 从图中可以很清楚的阅读全文

posted @ 2019-07-13 15:56 _XiongH 阅读(2596) 评论(0) 推荐(3)

BigData

公告