随笔分类 -  BigData_relevant

上一页 1 2
大数据相关问题
HDFS(分布式存储)_Hadoop核心_002-----------通过javaAPI的方式操作HDFS
摘要：10-HDFS的API操作-配置Window系统下的Hadoop 11-HDFS的API操作-获取FileSystem方式1 1.9. HDFS 的 API 操作1.9.1. 导入 Maven 依赖 1.9.2. 概述在 Java 中操作 HDFS, 主要涉及以下 Class: Configurat 阅读全文
posted @ 2020-03-26 16:29 Curedfisher 阅读(245) 评论(0) 推荐(0)
HDFS(分布式存储)_Hadoop核心_001
摘要：1.HDFS概述 2-HDFS的namenode和datanode 3-HDFS的文件副本机制 4-HDFS的块缓存和访问权限 注意:block只是个逻辑单位(说的时候只说这个文件是几个block) HDFS系统跟linux系统很像,也有一个根目录,根目录下有子目录 5-HDFS的Secondary 阅读全文
posted @ 2020-03-26 07:28 Curedfisher 阅读(280) 评论(0) 推荐(0)
Hadoop笔记
摘要：# Hadoop01-入门&集群环境搭建 #### 今日内容 ​ Hadoop的介绍 ​ 集群环境搭建准备工作 ​ Linux命令和Shell脚本增强 ​ 集群环境搭建 ### 大数据概述 ​ 大数据: 就是对海量数据进行分析处理，得到一些有价值的信息，然后帮助企业做出判断和决策. ​ 处理流程: 阅读全文
posted @ 2020-03-24 18:07 Curedfisher 阅读(249) 评论(0) 推荐(0)
第二集:Hodoop介绍及集群搭建
摘要：16-hadoop的架构 17-hadoop的安装-准备工作 利用NodePad++的FtpNpp插件更改下面6个配置文件: 18-hadoop的安装-配置文件修改 core-site.xml <configuration> <property> <name>fs.defaultFS</name> 阅读全文
posted @ 2020-03-24 17:33 Curedfisher 阅读(364) 评论(0) 推荐(0)
第一集:大数据常用Linux命令总结+环境集群搭建+zookeeper概述
摘要：5-Linux命令增强 注意:locate命令查找速度非常快,原因是会生成locatedb数据库;所以在获取最新数据前需执行updatedb命令 7-Linux的shell脚本1 注意:.sh为默认后缀名,也可以指定其他后缀名 bash为shell的解析器 ./代表当前目录,是相对路径的一种写法. 阅读全文
posted @ 2020-03-23 18:04 Curedfisher 阅读(215) 评论(0) 推荐(0)
Hadoop入门及环境集群搭建
摘要：1-Hadoop的介绍 2-环境搭建-准备三台虚拟机 保证5个VM服务正常运行 3-环境搭建-网络模式和内存设置 4-环境搭建-网络配置 (2)修改ip地址: (3)修改主机名 (4)设置ip和域名映射 (5)输入命令reboot,重启; ((6)重启后,ping www.baidu.com,测试网 阅读全文
posted @ 2020-03-23 10:01 Curedfisher 阅读(178) 评论(0) 推荐(0)
(数据挖掘)大数据Flume+kafka+zookeeper+Strom/Spark/Fink......
摘要：图中黑点代表求婚注册者.假如是一个程序员 阅读全文
posted @ 2020-02-21 07:47 Curedfisher 阅读(174) 评论(0) 推荐(0)
(数据分析)大数据Flume+kafka+zookeeper+Strom/Spark/Fink......
摘要：1.Flume框架: 例如:你正在下一部电影,电影下载到了C盘,现在想下电影的同时,实时存在D盘,可以用Flume. Flume:实时抽取的功能 2.kafka:消息的转发和推送 工作原理:类似于微信公众号,例如十个人关注了某一公众号,当这个公众号有一条信息更新的时候,会把这条信息同时推送给这10个 阅读全文
posted @ 2020-02-20 11:14 Curedfisher 阅读(483) 评论(0) 推荐(0)

上一页 1 2