Bingmous

Hadoop - HDFS学习笔记（详细）

摘要：第1章 HDFS概述 hdfs背景意义 hdfs是一个分布式文件系统使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。优缺点高容错性，适合处理大数据（数据PB级别，百万规模文件），可部署在廉价机器上不适合低时延数据访问，无法高效存储大量小文件，不支持并发写入、随机修改（仅追加） h 阅读全文

posted @ 2020-07-07 10:58 Bingmous 阅读(182) 评论(0) 推荐(0)

hdfs刷新节点失败，未显示Refresh nodes successful

摘要：使用命令：hdfs dfsadmin -refreshNodes 没有显示Refresh nodes successful，而是：refreshNodes: /opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclu... 阅读全文

posted @ 2020-07-06 23:20 Bingmous 阅读(97) 评论(0) 推荐(0)

hadoop 无法访问50070

摘要： windows无法访问hadoop web端口 windows hosts文件：C:\Windows\System32\drivers\etccentos防火墙没有关，关闭参考hadoop core-site.xml配置文件中的namenode地址：fs.de... 阅读全文

posted @ 2020-07-06 12:08 Bingmous 阅读(36) 评论(0) 推荐(0)

centos虚拟机开机icmp_seq=1 Destination Host Unreachable

摘要：目录今天打开虚拟机发现无法远程，进入虚拟机后无法ping通VMnet8，发现VMnet8的属性都变成自动的了，设置后依然不通，移除所有配置后重新添加网络后解决解决办法：计算机 - 系统属性 - 设备管理器 - 网络适配器：右键卸载VMnet1和VMnet8 打开虚拟机 - 编辑 - 虚拟网络编阅读全文

posted @ 2020-07-06 11:11 Bingmous 阅读(403) 评论(0) 推荐(0)

idea中maven配置 Unable to import maven project: See logs for details

摘要： Help -> show log in Explorer 1) No implementation for org.apache.maven.model.path.PathTranslator was bound. while locating org.ap... 阅读全文

posted @ 2020-07-04 20:22 Bingmous 阅读(53) 评论(0) 推荐(0)

Hadoop - 入门学习笔记（详细）

摘要：目录第1章大数据概论第2章从Hadoop框架讨论大数据生态第3章 Hadoop运行环境搭建（开发重点）第4章 Hadoop运行模式本地模式：默认配置伪分布式模式：按照完全分布式模式配置，但是只有一个节点完全分布式模式（开发重点）第5章 Ha... 阅读全文

posted @ 2020-07-04 13:01 Bingmous 阅读(166) 评论(0) 推荐(0)

Hadoop2.7.2源码编译过程

摘要：目录准备工作 jar包安装源码编译准备工作 CentOS可以联网，验证：ping www.baidu.com 是畅通的jar 包准备(hadoop 源码、JDK8、maven、ant 、protobuf) （1）hadoop-2.7.2-src.tar.... 阅读全文

posted @ 2020-07-04 10:40 Bingmous 阅读(32) 评论(0) 推荐(0)

使用lrzsz在windows、Linux之间互传文件

摘要：使用xshell自带的传输太慢使用lrzsz进行文件互传： xshell远程linux安装工具：yum install -y lrzsz，检查是否安装成功：rpm -qa |grep lrzsz上传文件：rz，-y覆盖，就会打开本地选择文件对话框，选择文件，确定就可以上传到当前所在目录。下载文件：阅读全文

posted @ 2020-07-02 10:32 Bingmous 阅读(54) 评论(0) 推荐(0)

Java高级部分概要笔记

摘要：复习多线程程序、进程、线程的概念、区别并行、并发创建线程的四种方式：继承Thread、实现Runnable接口、实现Callable接口、线程池线程的生命周期线程的同步方式，三种：同步方法，同步代码块，lock线程的通信，notify，notifyAll，... 阅读全文

posted @ 2020-05-28 23:34 Bingmous 阅读(56) 评论(0) 推荐(0)

idea常用快捷键及配置

摘要：目录常用快捷键修改配置Appearance & BehaviorEditorBuilde，Execution，DeploymentAdvanced SettingsProject设置（Alt + 1）其他设置对新工程的配置运行模板配置插件CLion相关快捷键配置修改对新工程的配置创建live tem 阅读全文

posted @ 2020-05-21 00:01 Bingmous 阅读(402) 评论(0) 推荐(0)

导航

公告