不像话

摘要： 案例子任务一、编写登录欢迎脚本welcome.sh 要求：在用户目录/root下编写存储welcome.sh脚本，赋予执行权限，并在~/.bash_profile中调用该脚本，使得在用户登录时显示欢迎信息 #!/bin/sh #执行whoami命令获取当前登录用户名并保存到username中 use 阅读全文

摘要： 阅读全文

摘要： Centos7出现yum安装出现系列问题，正在尝试其他镜像。。。或者安装docker后无法使用yum安装。。。 首先查看是否能ping通网络，ping www.baidu.com 不能ping通，查看网络配置，修改DNS vim /etc/resolv.conf 将域名修改为8.8.8.8 vim 阅读全文

摘要： 首先准备一台Centos7版本的虚拟机，它支持docker容器技术。本案例使用centos7虚拟机安装docker容器。 一、安装 1.启动虚拟机，配置虚拟机能够访问互联网 2. 安装支持软件包，提供yum-config-manager功能和驱动依赖 #yum install -y yum-util 阅读全文

摘要： 准备工作： hadoop3.2.0+jdk1.8+centos7+zookeeper3.4.5 以上是我搭建集群使用的基础包 一、环境准备 master1 master2 slave1 slave2 slave3 jdk、NameNode、DFSZKFailoverController(zkfc) 阅读全文

摘要： 首先要准备python3+scrapy+pycharm 一、首先让我们了解一下网站 拉勾网https://www.lagou.com/ 和Boss直聘类似的网址设计方式，与智联招聘不同，它采用普通的页面加载方式 我们采用scrapy中的crawlspider爬取 二、创建爬虫程序 scrapy st 阅读全文

摘要： 一、环境准备 ①准备三台虚拟机，配置静态IP ②先修改主机名(每个节点统一命名规范) vim /etc/hostname master #重启生效 配置DNS每个节点 vim /etc/hosts 192.168.60.121 master192.168.60.122 salve1 192.168. 阅读全文

摘要： 首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1 准备一张数据库表： 接下来就可以操作了。。。 一、将MySQL数据导入到hdfs 首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。 再Hdfs上创 阅读全文

摘要： 首先准备python3+scrapy+mysql+pycharm。。。 这次我们选择爬取智联招聘网站的企业招聘信息，首先我们有针对的查看网站的html源码，发现其使用的是js异步加载的方式，直接从服务端调取json数据，这就意味着我们用地址栏的网址获取的网站内容是不全的，无法获得想要的数据。 那么我 阅读全文

摘要： 首先要有一个win10专业版的操作系统，连接上互联网。。。 一、首先打开控制面板选择程序，再选择“启用或关闭windows功能” 二、在“Windows功能”中查找“Internet信息服务”，然后选中“ftp服务”、“ftp扩展性”、“IIS管理控制台”前的复选框，再点击确定 三、点击确定后等待片 阅读全文

摘要： 前期准备，首先要有python环境+scrapy环境+pycharm环境 一、建立爬虫所需的环境，在命令行输入： scrapy startproject doubantv #命名自定义就好 会生成一个名为doubantv的文件夹，cd进入doubantv文件夹，在进入spiders文件夹，执行命令， 阅读全文

摘要： 本教程指将mysql安装到系统默认目录下，如想自定义修改目录，请在rpm安装时自行修改： rpm -ivh --prefix= /opt xxx.rpm #将xxx.rpm安装到/opt下 一、下载mysql安装包：https://dev.mysql.com/downloads/mysql/ 下载前 阅读全文

摘要： "倒排索引"是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行相反的操作，因而称为倒排索引（Inverted Index）。 实 阅读全文

摘要： 前言部分： 在Map阶段，使用job.setInputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites，同时InputFormat提供一个RecordReder的实现。本实验中使用的是TextInputFormat，他提供的RecordReder会将文本的 阅读全文

摘要： 数据去重”主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。 数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。在MapReduce流程中，map的输出<key,value>经 阅读全文