Coreqi

摘要： Hadoop2.x Hadoop3.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml workers core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves 阅读全文

摘要： 端口名称 Hadoop2.x Hadoop3.x HDFS NameNode内部通信端口 8020 / 9000 8020 / 9000 / 9820 HDFS NameNode HTTP UI 50070 9870 YARN MapReduce查看执行任务端口 8088 8088 历史服务器通信端 阅读全文

摘要： 1.各个模板分开启动/停止 1.整体启动/停止 HDFS start-dfs.sh / stop-dfs.sh 2.整体启动/停止 YARN start-yarn.sh / stop-yarn.sh 2.各个服务组件逐一启动/停止 1.分别启动/停止 HDFS组件 hdfs --daemon sta 阅读全文

摘要： 本文章的前置Hadoop-3.3.6分布式集群搭建步骤 概念： 集群中的每台Hadoop节点的运行都会产生日志，开启日志聚集后，将所有运行日志信息上传到Hadoop HDFS系统上，可以更好的查看运行详情，方便开发及调试。 注意：需要重启NodeManage、ResourceManager和Hist 阅读全文

摘要： 本文章的前置Hadoop-3.3.6分布式集群搭建步骤 1.在mapred-site.xml中配置历史服务器 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuratio 阅读全文

摘要： 1.HDFS的Shell操作 1.基本语法 hadoop fs 具体命令 hdfs dfs 具体命令 hadoop fs 和hdfs dfs 是相等的 1.新建文件夹 hadoop fs -mkdir {folderName} hadoop fs -mkdir /coreqi 2.上传文件 1.从本 阅读全文

摘要： 1.下载JDK8 Linux 安装Openjdk 2.下载Hadoop3.3.6 Hadoop 安装及环境变量配置 3.创建hadoop数据存储的目录 mkdir -p /opt/hadoop/tmp /opt/hadoop/hdfs/data /opt/hadoop/hdfs/name 4.配置h 阅读全文

摘要： 本地模式总结起来大概有以下几点： 单机运行，常用来演示，生产环境不适用 文件存储在操作系统的文件系统中而非Hadoop的HDFS中 1.安装JDK https://www.cnblogs.com/fanqisoft/p/16949738.html 2.安装Hadoop https://www.cnb 阅读全文

摘要： 1.下载 https://hadoop.apache.org/releases.html 2.环境变量配置 在/etc/profile.d中配置 1.新建hadoop.sh vi /etc/profile.d/hadoop.sh export HADOOP_HOME=/usr/hadoop/hado 阅读全文

摘要： 在前端使用导入Word文档并自动解析成html再插入到tinymce编辑器中，可以使用mammoth.js识别Word内容转换为Html并set到编辑器中，使用mammoth只可解析.docx格式的Word，目前的mammoth不支持.doc格式，后续升级也许会加上解析doc的功能。 mammoth 阅读全文