随笔分类 -  大数据

Hive总结
摘要：一、什么是Hive 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将SQL语句转换为 MapReduce 任务 阅读全文
posted @ 2019-04-18 16:03 上下求索suo 阅读(586) 评论(0) 推荐(0)
mapreduce总结
摘要：一、mapreduce简介 MapReduce执行流程 Client: 用来提交MapReduce作业。 JobTracker: 用来协调作业的运行。 TaskTracker: 用来处理作业划分后的任务。 MapReduce原理 MapReduce的执行过程： 1、Map任务处理 第一阶段是把输入文 阅读全文
posted @ 2019-02-22 17:28 上下求索suo 阅读(231) 评论(0) 推荐(0)
kafka入门教程
摘要：一、介绍 kafka是一个分布式流处理平台，kafka提供了类似于JMS的特性，但在设计实现上又完全不同，它并不是基于JMS规范实现的（kafka的实现不包含事务特性性）。kafka对消息的保存时以Topic进行归类的，向Topic发送消息的称谓Producer,从Topic接受消息的称谓Consu 阅读全文
posted @ 2019-02-12 17:14 上下求索suo 阅读(312) 评论(0) 推荐(0)
linux常用命令
摘要：1、ls命令 就是list的缩写，通过ls 命令不仅可以查看linux文件夹包含的文件，而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等 常用参数搭配： ls -a 列出目录所有文件，包含以.开始的隐藏文件 ls -A 列出除.及..的其它文件 ls -r 反序排列 ls -t 阅读全文
posted @ 2019-01-03 11:17 上下求索suo 阅读(315) 评论(0) 推荐(0)
虚拟机网络连接模式简介
摘要：在使用VMware Workstation(以下简称：VMware)创建虚拟机的过程中，配置虚拟机的网络连接是非常重要的一环，当我们为虚拟机配置网络连接时，我们可以看到如下图所示的几种网络连接模式：桥接模式、NAT模式、仅主机模式、自定义网络连接模式。那么这几种网络连接模式都各自有什么主要用途，它们 阅读全文
posted @ 2018-11-22 11:44 上下求索suo 阅读(179) 评论(0) 推荐(0)
HDFS简介
摘要：1.什么是hdfs HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。 优点： 支持超大文件 支持超大文件。超大文件在这里指的是几百M，几百GB，甚至几T 阅读全文
posted @ 2018-08-10 15:53 上下求索suo 阅读(409) 评论(0) 推荐(0)
centos系统安装mysql
摘要：方式一、 通过yum install mysql-server安装mysql服务器。chkconfig mysqld on设置开机启动，并service mysqld start启动mysql服务，并根据提示设置root的初试密码：mysqladmin -u root password 'xxxx' 阅读全文
posted @ 2018-08-09 16:55 上下求索suo 阅读(129) 评论(0) 推荐(0)