随笔分类 -  大数据/hadoop

大数据集群常见问题总结
摘要：项目将近尾声，上线一切顺利，在开发过程中遇到了不少的问题，趁着空闲时间对项目中遇到的常见问题做一个总结，当作一个笔记，问题如下： 出现这种情况大多是结点断了，没有连接上。检查配置，重新启动服务即可。 2. java.lang.OutOfMemoryError: Java heap space 出现这 阅读全文
posted @ 2018-02-20 18:51 我心自在 阅读(2185) 评论(0) 推荐(0)
Hadoop、Hbase基本命令及调优方式
摘要：HDFS基本命令 接触大数据挺长时间了，项目刚刚上完线，趁着空闲时间整理下大数据hadoop、Hbase等常用命令以及各自的优化方式，当做是一个学习笔记吧。 HDFS命令基本格式：Hadoop fs -cmd < args > ls 命令 hadoop fs -ls / 列出hdfs文件系统根目录下 阅读全文
posted @ 2018-02-08 15:55 我心自在 阅读(1861) 评论(0) 推荐(0)
解决：java.io.IOException: No FileSystem for scheme: hdfs
摘要：解决：java.io.IOException: No FileSystem for scheme: hdfs 开发项目初期，写完代码开始放到服务器上开始测试的时候，报出这样的一个错，不知道怎么处理了，尝试了重新配置HDFS的Configuration，也不行，无奈之下，只好查看源代码，分析错误是从哪 阅读全文
posted @ 2018-01-18 15:17 我心自在 阅读(1762) 评论(0) 推荐(0)
记一次Hbase查询速度优化经历
摘要：项目背景： 在这次影像系统中，我们利用大数据平台做的是文件（图片、视频等）批次的增删改查，每个批次都包含多个文件，上传完成以后要添加文件索引（文件信息及批次信息），由于在Hbase存储的过程中，每个文件都对应一个文件rowKey，一个批次就会有很多个RoweKey，查询的下载的时候就必须根据每个文件 阅读全文
posted @ 2018-01-08 14:29 我心自在 阅读(16119) 评论(2) 推荐(1)
hadoop集群搭建--CentOS部署Hadoop服务
摘要：在了解了Hadoop的相关知识后，接下来就是Hadoop环境的搭建，搭建Hadoop环境是正式学习大数据的开始，接下来就开始搭建环境！我们用到环境为：VMware 12+CentOS6.4 hadoop安装步骤大纲： 1、准备硬件（一台虚拟主机） 2、虚拟机装linux系统（这里我们装的是CentO 阅读全文
posted @ 2017-05-02 15:03 我心自在 阅读(5187) 评论(0) 推荐(0)
大数据及hadoop相关知识介绍
摘要：一、大数据的基本概念 1.1什么是大数据 互联网企业是最早收集大数据的行业，最典型的代表就是Google和百度，这两个公司是做搜索引擎的，数量都非常庞大，每天都要去把互联网上的各种各样的网页信息抓取下来存储到本地，然后进行分析，处理，当用户想通过搜索引擎搜索一些他们关心的信息时，Google和百度就 阅读全文
posted @ 2017-04-28 11:02 我心自在 阅读(744) 评论(0) 推荐(0)