随笔分类 -  Hadoop

MapReduce
摘要：1、MapReduce编程模型： 1） Map阶段 2） Reduce阶段 2、实现map和reduce函数的编写。其主要包括： 正常情况下开发流程如上图所示，但是在实际开发过程中，这样开发会非常的繁琐，比较慢。写完代码后不知道对错，只能走一遍流程才知道程序哪里出了问题。能不能有一个更好的方法？答案 阅读全文
posted @ 2018-11-03 11:19 小呆蝎子 阅读(184) 评论(0) 推荐(0)
在集群环境中安装R语言
摘要：在Linux系统中（我用的是CentOS）安装R语言，过程中会出现一些问题，比较繁琐，请参考博文： https://blog.csdn.net/alex_starsky/article/details/52717080 https://blog.csdn.net/wumiqing1/article/ 阅读全文
posted @ 2018-10-25 14:33 小呆蝎子 阅读(580) 评论(0) 推荐(0)
在集群上运行python编写的spark应用程序时遇到的一些问题…
摘要：1、 如何将编写的应用程序提交给spark进行处理 首先，在Windows或Linux下编写程序。其次，将编写好的应用程序上传至服务器（自己定义好存放的文件目录）。最后，将程序提交给spark进行处理。如果程序没有问题，一些依赖的包已经安装，配置没有问题，那么程序即可以正常运行。 2、 在程序运行过 阅读全文
posted @ 2018-10-24 16:19 小呆蝎子 阅读(2789) 评论(0) 推荐(1)
使用Python连接Hbase数据库
摘要：在使用Python连接Hbase数据库时，会出现如下错误提示，主要原因是版本带来的语法兼容性问题，因此需要用Hbase.py和ttypes.py将路径D:\Program Files\ProgramData\Anaconda3\Lib\site-packages\hbase(自己的Python安装目 阅读全文
posted @ 2018-10-18 14:35 小呆蝎子 阅读(3883) 评论(0) 推荐(0)
Hbase学习笔记，你想知道的Hbase
摘要：1、 什么是Hbase？ HBase是一个构建在HDFS之上的、分布式的、面向列的开源数据库，不同于一般的关系数据库，它是一个适合于非结构化海量数据存储的数据库，是由Google Bigtable的开源实现，它主要用于存储海量数据，是Hadoop生态系统中的重要一员。Hbase可以使用shell、w 阅读全文
posted @ 2018-10-17 16:40 小呆蝎子 阅读(368) 评论(0) 推荐(0)
Hive学习笔记，你想知道的Hive
摘要：1、 什么是Hive（蜂巢）? Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。Hive是基于HDFS之上的数据仓库，也就是说Hive中的数据最终都是以文件的形式保存到HDFS，下表为其对应关系。而Hive的元信息（e.g.,表名、列名 阅读全文
posted @ 2018-10-16 19:34 小呆蝎子 阅读(447) 评论(0) 推荐(1)
那些安装CDH集群过程中踩过的坑......（比较全）
摘要：一、登录Cloudera Manager (http://192.168.201.128:7180/cmf/login)时，无法访问web页面 针对此问题网上有较多的解决方案（e.g. https://www.cnblogs.com/zlslch/p/7078119.html)， 如果还不能解决你的 阅读全文
posted @ 2018-10-12 11:32 小呆蝎子 阅读(5458) 评论(0) 推荐(0)
Hadoop:eclipse配置hadoop-eclipse-plugin
摘要：参考博文：https://www.cnblogs.com/supiaopiao/p/7240308.html 1、首先下载并准备三个文件：hadoop-eclipse-plugin-2.7.3.jar，winutils.exe 和 hadoop.dll 2、在window中解压Hadoop，我使用的 阅读全文
posted @ 2018-10-04 21:33 小呆蝎子 阅读(5739) 评论(0) 推荐(1)
CM+CDH构建企业大数据平台
摘要：1、 CM是什么？ Cloudera Manager的缩写，它是Cloudera公司研发的一款可以让企业对大数据平台的管理和维护变得更简单更直观的管理工具。 2、 CDH是什么？ Cloudera’s Distribution including Apache Hadoop (CDH)，官网：htt 阅读全文
posted @ 2018-09-30 19:10 小呆蝎子 阅读(2132) 评论(0) 推荐(0)
HDFS常用命令
摘要：官网：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html ./hadoop fs -ls / 查看当前目录下的文件或文件夹（或是通过http://192.168.201.128: 阅读全文
posted @ 2018-09-29 16:15 小呆蝎子 阅读(756) 评论(0) 推荐(0)
VMware虚拟机克隆Linux系统后找不到eth0网卡
摘要：在VMware上克隆好虚拟机后总是找不到eth0网卡 对于这种情况的解决方法是： 1、利用命令 cp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth2，这里也可以选择改成其他名字 2 阅读全文
posted @ 2018-09-22 09:54 小呆蝎子 阅读(551) 评论(0) 推荐(0)
Cloudera CDH的安装
摘要：1、 首先准备材料，包括CDH5.15.1、CM5.15.1、JDK1.8.X、MySQL5.7.14（注意在下载时，一定要根据自己的Linux系统版本，下载相应的版本，可以参照官网的版本支持信息https://www.cloudera.com/documentation/enterprise/6/ 阅读全文
posted @ 2018-09-21 08:59 小呆蝎子 阅读(402) 评论(0) 推荐(1)
SSH远程登录的密钥验证授权机制
摘要：一、授权机制 二、具体操作 1、利用命令ssh-keygen -t rsa -P ""，连续按三个回车，生成密钥对 2、指定目录下查看已经生成好的密钥和公钥 3、利用命令cat id_rsa.pub >> authorized_keys将公钥加入到授权列表 4、给予文件authroized_keys 阅读全文
posted @ 2018-09-19 15:57 小呆蝎子 阅读(2241) 评论(0) 推荐(0)
Hadoop伪分布式环境搭建
摘要：一、准备Linux环境 1、安装目前常用的VMware，和Linux虚拟机（可以复制、拷贝） 2、使用 vim /etc/sysconfig/network进行修改主机名 3、使用 vim /etc/sysconfig/network-scripts/ifcfg-eth0 进行修改IP,设置自己的I 阅读全文
posted @ 2018-09-18 20:53 小呆蝎子 阅读(834) 评论(0) 推荐(0)