Thank CAT

摘要： Hadoop集群搭建笔记 本文档在最小化安装centos7后的操作。 首先，对于大数据集群提前进行主机名、IP地址、主次服务的规划： node01 ：192.168.135.80 NN DN node02 ：192.168.135.81 DN node03 ：192.168.135.82 DN SN 阅读全文

摘要： Hadoop Model Hadoop Common 基础型功能 Hadoop Distributed File System 负责存放数据 YARN 负责资源的调配 MapReduce 大数据的计算框架 Ozone 数据存放到仓库 Hadoop Submarine 机器学习引擎 分布式文件系统架构 阅读全文

摘要： 编辑器之神-vim vi简介 vi是“Visual interface”的简称，它在Linux上的地位就仿佛Edit程序在DOS上一样。它可以执行输出、删除、查找、替换、块操作等众多文本操作，而且用户可以根据自己的需要对其进行定制。Vi不是一个排版程序，它不象Word或WPS那样可以对字体、格式、段 阅读全文

摘要： Linux命令-系统管理 查看当前日历：cal cal命令用于查看当前日历，-y显示整年日历： 显示或设置时间：date 设置时间格式（需要管理员权限）： date [MMDDhhmm[[CC]YY][.ss]] +format CC为年前两位yy为年的后两位，前两位的mm为月，后两位的mm为分钟， 阅读全文

摘要： Linux命令-用户、权限管理 用户是Unix/Linux系统工作中重要的一环，用户管理包括用户与组账号的管理。 在Unix/Linux系统中，不论是由本机或是远程登录系统，每个系统都必须拥有一个账号，并且对于不同的系统资源拥有不同的使用权限。 Unix/Linux系统中的root账号通常用于系统的 阅读全文

摘要： Linux命令-文件、磁盘管理 1.文件管理 查看文件信息：ls ls是英文单词list的简写，其功能为列出目录的内容，是用户最常用的命令之一，它类似于DOS下的dir命令。 Linux文件或者目录名称最长可以有265个字符，“.”代表当前目录，“..”代表上一级目录，以“.”开头的文件为隐藏文件， 阅读全文

摘要： selenium Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等。这个工具的 阅读全文

摘要： 进程和线程 今天我们使用的计算机早已进入多CPU或多核时代，而我们使用的操作系统都是支持“多任务”的操作系统，这使得我们可以同时运行多个程序，也可以将一个程序分解为若干个相对独立的子任务，让多个子任务并发的执行，从而缩短程序的执行时间，同时也让用户获得更好的体验。因此在当下不管是用什么编程语言进行开 阅读全文

摘要： 实现爬虫的套路 准备URL 准备start_url url地址规律不明显，总数不确定 通过代码提取下一页的url 通过xpath提取 寻找url地址，部分参数在当前的响应中（比如当前页码数和总页码数在当前的响应中） 准备url_list 页码总数明确的时候 url地址规律明显 发送请求，获取响应 添 阅读全文

摘要： XPath 语法 XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 XML 实例文档 我们将在下面的例子中使用这个 XML 文档。 <?xml version="1.0" encoding="ISO-8859-1"? 阅读全文