LCode丶

摘要： 部署环境及软件： VMware Workstation 10 CentOS 7 Hadoop 2.5 环境部署 1、准备虚拟机 可先建立一台虚拟机， 需要安装jdk，准备好haddop软件包， 然后通过VMware克隆获得相同配置虚拟机。 2、主机名、IP地址等设置 三台机器： 配置映射： /etc 阅读全文

摘要： VMware安装之后正常使用，第二次使用时突然发现没有显示ip，操作系统也没显示有线连接，重启网络服务无效，报错如上图。 百度无数个方法，包括设置MAC地址，关闭networkManager等均无效。 后来发现主机上网络中心的VMware网络适配器显示无法识别的网络： 关于网络适配器无法识别网络的解 阅读全文

摘要： 1、添加用户，首先用adduser命令添加一个普通用户，命令如下：#adduser tommy //添加一个名为tommy的用户#passwd tommy //修改密码 Changing password for user tommy.New UNIX password: //在这里输入新密码Ret 阅读全文

摘要： 在用VirtualBox创建新的虚拟机后，原来的虚拟机的ip有时会受到影响，从而自动修改掉，但是因为之前有很多的设置，所以导致很麻烦。 以下暂时把设置虚拟机的静态ip作为解决办法(未经验证，只是尝试) 环境为：CentOS 7 首先查看ip信息： ip addr 如图enp0s8对应主机网段的ip地 阅读全文

摘要： YARN简介： Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨 阅读全文

摘要： 离线计算框架 MapReduce 思想：分而治之（将大数据集分为小的数据集） 思想：分而治之（将大数据集分为小的数据集） 将计算过程分为两个阶段，Map和Reduce Map阶段并行处理输入数据 Reduce阶段对Map结果进行汇总 Shuffle连接Map和Reduce两个阶段 Map Task将 阅读全文

摘要： Hadoop是什么？ Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 用户可以在不了解分布式底层细节的情况下，开发分 阅读全文

摘要： rpm命令是RPM软件包的管理工具。rpm原本是Red Hat Linux发行版专门用来管理Linux各项套件的程序，由于它遵循GPL规则且功能强大方便，因而广受欢迎。逐渐受到其他发行版的采用。RPM套件管理方式的出现，让Linux易于安装，升级，间接提升了Linux的适用度。 语法： 选项： -i 阅读全文

摘要： 磁盘分区 一般情况下 主分区+扩展分区<=4 (系统一般装载主分区，扩展分区不能直接使用，需要再分逻辑分区方可使用) 有3+1,2+1等分配情况 Linux系统默认所有设备文件在/dev文件夹下面 /dev/sda --硬盘一 sda1第一个分区 sda2第二个分区 sda3第三个分区 /dev/s 阅读全文

摘要： 压缩与解压 tar: -c:创建一个压缩包的参数指令 -x:解开一个压缩包的参数指令 -t:查看一个压缩包的里面的文件列表 -v:显示压缩和解压的详细过程 -f:使用档名,f后直接接档名！不要在加参数 tar.gz 压缩： tar –zcvf包名.tar.gz 压缩的目标文件/文件夹 (参数z代表g 阅读全文