王者★孤傲

2019年9月6日

摘要：一、实验目的 1．了解Linux操作系统的启动与登录方法。 2．掌握Red Hat Linux图形用户界面下的基本操作。 3．学会Red Hat Linux基本设置。二、实验内容1．登录2．创建用户账号（1）在图形界面中创建用户账号（2）在字符状态下创建用户账号3. 运行应用程序4. 退出系统三、实验平台1．实验工具：Vmware。2．实验设备：已安装Red Hat Li... 阅读全文

posted @ 2019-09-06 18:09 王者★孤傲阅读(2421) 评论(0) 推荐(4)

基于操作系统原理的Linux 系统的安装

摘要：一、实验目的 1．了解Linux操作系统的发行版本。 2．掌握Red Hat Linux 9.0的安装方法。（可用Red Hat Linux 5.0版本替代9.0版本） 3．了解Linux其他版本（红旗Linux或Slackware Linux）的安装方法。二、实验内容 1. 安装及配置VMWare(系统已安装，则此步跳过) 1)、完成新建虚拟机向导；... 阅读全文

posted @ 2019-09-06 18:03 王者★孤傲阅读(2135) 评论(0) 推荐(4)

基于校园生活一体化管理系统的数据模型分析

摘要：对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。将经过系统分析后抽象出来的概念模型转化为物理模型后，在visio等工具建立数据库实体以及各实体之间关系的过程。一、主要内容本例实验具体可细分为总体可行性分析、技术可行性分析、经济可行性分析和社会可行性分析，具体详见实验步骤。二、实现平台系统平台：略三、具体内容 ... 阅读全文

posted @ 2019-09-06 17:57 王者★孤傲阅读(2057) 评论(0) 推荐(4)

基于校园生活一体化管理系统的数据流程分析

摘要：数据流图（DFD）是结构化系统分析方法的主要表达工具，数据流图，主要是为了说明在一个项目中，数据的处理与流动情况。数据流图的基本组成成分包括了数据流、加工、数据存储和外部实体，用来描绘软件系统逻辑模型的图形工具，它描绘信息和数据从输入到输出的过程中所经历的一切。对于本例实验而言，将大大简化工程研发思维等重要步骤。一、主要内容本例实验具体包含了系统的顶层数据流图... 阅读全文

posted @ 2019-09-06 17:48 王者★孤傲阅读(2209) 评论(0) 推荐(4)

基于校园生活一体化管理系统的可行性分析

摘要：可行性分析是通过对项目的主要内容和支配条件，从技术、经济、社会等方面进行调查研究和分析比较，并对项目建成以后可能取得的财务、经济效益及社会环境影响进行预测，从而提出该项目是否值得投资和如何进行建设的咨询意见，为项目决策提供依据的一种综合性的系统分析方法。可行性分析应具有预见性、公正性、可靠性、科学性的特点。可行性研究的根本目的是实现项目决策的科学化、民主化，减少或避免投资... 阅读全文

posted @ 2019-09-06 17:28 王者★孤傲阅读(2733) 评论(0) 推荐(4)

基于校园生活一体化管理系统的需求分析

摘要：需求分析是软件计划阶段的重要活动，也是软件生存周期中的一个重要环节，该阶段是分析系统在功能上需要“实现什么”，而不是考虑如何去“实现”。需求分析的目标是把用户对待开发软件提出的“要求”或“需要”进行分析与整理，确认后形成描述完整、清晰与规范的文档，确定软件需要实现哪些功能，完成哪些工作。一、主要内阅读全文

posted @ 2019-09-06 17:09 王者★孤傲阅读(2758) 评论(0) 推荐(4)

Linux版本号的数值含义

摘要： Linux内核版本有两种：稳定版和开发版，Linux内核版本号由3组数字组成：第一个组数字.第二组数字.第三组数字。第一个组数字：目前发布的内核主版本。第二个组数字：偶数表示稳定版本；奇数表示开发中版本。第三个组数字：错误修补的次数。如：Linux 2.6.34 major 。第一个组数字: 阅读全文

posted @ 2019-09-06 15:18 王者★孤傲阅读(2730) 评论(0) 推荐(4)

2019年9月5日

impala对元数据的界面更新操作

摘要：执行 impala-shell 即能进入界面操作sql。如果在hive更新了数据之后，而在impala中却无法看到更新后的数据的话，意味着impala里元数据信息还没有刷新，此时在impala操作界面里执行 invalidate metadata; 命令刷新元数据。 use rimengshe; 阅读全文

posted @ 2019-09-05 20:08 王者★孤傲阅读(2299) 评论(0) 推荐(4)

将CDH中的hive和hbase相互整合使用

摘要：一、.hbase与hive的兼容版本： hive0.90与hbase0.92是兼容的，早期的hive版本与hbase0.89/0.90兼容，不需要自己编译。 hive1.x与hbase0.98.x或则更低版本是兼容的，不需要自己编译。 hive2.x与hbase1.x及比hbase1.x更高版本兼容阅读全文

posted @ 2019-09-05 14:56 王者★孤傲阅读(2683) 评论(0) 推荐(4)

spark运行信息及报错问题解决集锦

摘要：错误1： ERROR client.RemoteDriver: Failed to start SparkContext: java.lang.IllegalArgumentException: Executor memory 456340275 must be at least 471859200 阅读全文

posted @ 2019-09-05 14:31 王者★孤傲阅读(3561) 评论(0) 推荐(4)

2019年9月4日

关于CDH集群spark的三种安装方式简述

摘要：一、spark的命令行模式 1.第一种进入方式：执行 pyspark进入，执行exit()退出注意报错信息：java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the (最大阈值)m 阅读全文

posted @ 2019-09-04 19:27 王者★孤傲阅读(2955) 评论(0) 推荐(4)

CDH高可用hadoop集群性能配置

摘要： 1、HDFS的高可用配置 dfs.namenode.edits.dir (NameNode 编辑目录) : 写入 NameNode 编辑的本地文件系统上的目录。未指定将存放在namenode数据目录中。 dfs.journalnode.edits.dir (JournalNode 编辑目录):用于存阅读全文

posted @ 2019-09-04 18:30 王者★孤傲阅读(2926) 评论(0) 推荐(4)

CDH集群的时间同步--简要配置要求

摘要：每个节点执行ntpstat 和 timedatectl 都显示同步并且时间相同，那么CDH才能正常使用。每次ntp服务同步到外部授时中心都要一段时间(5~10分钟)，只有当NTP server(node1)节点和其他的NTP client(node2、node3)节点都显示同步成功之后，CM页面中的每台机器才不会报错。可通过timedatectl查看到当前节点是否同步成功：如果显示... 阅读全文

posted @ 2019-09-04 18:17 王者★孤傲阅读(2501) 评论(0) 推荐(4)

CDH集群的配置优化须知

摘要：通过改善IFile阅读器的性能 IFile Reader，进而可改善随机处理程序并减少储备空间，达到MapReduce的配置最佳实践要求。而MapReduce shuffle的处理程序和IFile阅读器的使用通常调用本机Linux的Hadoop本机库。首先改善IFile阅读器的性能要求启用IFile预读可提高合并操作的性能。要为MRv1或YARN启用此功能，请设置map... 阅读全文

posted @ 2019-09-04 18:09 王者★孤傲阅读(2682) 评论(0) 推荐(4)

MySQL在Linux系统环境的安装和无主机登录配置

摘要：将mysql 安装在单个Linux系统主机，并配置本地或远程(此处可仅单指局域状态下的环境)的无主机登录。谨记的是：操作完mysql 设置时，需以flush privileges进行权限刷新。小编亲测在mysql 数据库变成“砖头”而无法登录时，此法有效！1.安装MySQLyum install mysql-server 安装mysql-server服务端service mysq... 阅读全文

posted @ 2019-09-04 17:54 王者★孤傲阅读(2084) 评论(0) 推荐(4)

配置文件my.cnf---配置信息注释大全

摘要：在进行MySQL与CM+CHD之间的应用配置时，发现此前对于MySQL的配置含义过于模糊，所以将CM+CHD集群所涉及MySQL方面的配置含义进行抽取并加以注释，方便此后的配置和使用。一、客户端设置，即客户端默认的连接参数port = 3306#默认连接端口socket = /usr/local/mysql/data/mysql.sock#用于本地连接的socket套接字default... 阅读全文

posted @ 2019-09-04 17:36 王者★孤傲阅读(2191) 评论(0) 推荐(4)

2019年7月15日

Scrapy项目 - 数据简析 - 实现腾讯网站社会招聘信息爬取的爬虫设计

摘要：一、数据分析截图本例实验，使用Weka 3.7对腾讯招聘官网中网页上所罗列的招聘信息，如：其中的职位名称、链接、职位类别、人数、地点和发布时间等信息进行数据分析，详见如下图：图1-1 Weka 3.7分析界面图1-2 职位数据ZeroR分析界面图1-3 数据聚类分析界面图1-4 数据Visualize分析界面二、数据分析结论由图2-1可知，随着应聘人数的不断增加，... 阅读全文

posted @ 2019-07-15 13:11 王者★孤傲阅读(2074) 评论(0) 推荐(4)

Scrapy项目 - 项目源码 - 实现腾讯网站社会招聘信息爬取的爬虫设计

摘要： 1.tencentSpider.py 2.items.py 3.main.py 4.middlewares.py 5.pipelines.py 6.settings.py 阅读全文

posted @ 2019-07-15 12:52 王者★孤傲阅读(2239) 评论(1) 推荐(4)

Scrapy项目 - 实现腾讯网站社会招聘信息爬取的爬虫设计

摘要：通过使Scrapy框架，进行数据挖掘和对web站点页面提取结构化数据，掌握如何使用Twisted异步网络框架来处理网络通讯的问题，可以加快我们的下载速度，也可深入接触各种中间件接口，灵活的完成各种需求，使得我们的爬虫更强大、更高效。熟悉掌握基本的网页和url分析，同时能灵活使用Xmind工具对Python爬虫程序（网络爬虫）流程图进行分析。同时，使用Weka 3.7工具，... 阅读全文

posted @ 2019-07-15 12:42 王者★孤傲阅读(2314) 评论(0) 推荐(4)

Scrapy项目 - 数据简析 - 实现豆瓣 Top250 电影信息爬取的爬虫设计

摘要：一、数据分析截图(weka数据分析截图 ) 本例实验，使用Weka 3.7对豆瓣电影网页上所罗列的上映电影信息，如：标题、主要信息（年份、国家、类型）和评分等的信息进行数据分析，Weka 3.7数据分析如下所示：图1-1 数据分析主界面图1-2 OneR数据分析界面图1-3 ZeroR数据分析界面图1-4 Visualize数据分析界面二、数据分析结论：（将数据之间的关系用文字性描... 阅读全文

posted @ 2019-07-15 11:44 王者★孤傲阅读(2034) 评论(0) 推荐(3)

Scrapy项目 - 源码工程 - 实现豆瓣 Top250 电影信息爬取的爬虫设计

摘要：一、项目目录结构spiders文件夹内包含doubanSpider.py文件，对于项目的构建以及结构逻辑，详见环境搭建篇。二、项目源码1.doubanSpider.py# -*- coding: utf-8 -*-import scrapyfrom douban.items import DoubanItem#创建爬虫类class DoubanspiderSpider(scrapy.Spider)... 阅读全文

posted @ 2019-07-15 11:30 王者★孤傲阅读(2030) 评论(0) 推荐(4)

Scrapy项目 - 实现豆瓣 Top250 电影信息爬取的爬虫设计

摘要：通过使Scrapy框架，掌握如何使用Twisted异步网络框架来处理网络通讯的问题，进行数据挖掘和对web站点页面提取结构化数据，可以加快我们的下载速度，也可深入接触各种中间件接口，灵活的完成各种需求，使得我们的爬虫更强大、更高效。一、项目分析豆瓣电影网页爬虫，要求使用scrapy框架爬取豆瓣电影 Top 250网页（https://movie.douban.com... 阅读全文

posted @ 2019-07-15 11:17 王者★孤傲阅读(2399) 评论(0) 推荐(4)

Scrapy项目 - 数据简析 - 实现斗鱼直播网站信息爬取的爬虫设计

摘要：一、数据分析截图(weka数据分析截图 2-3个图，作业文字描述) 本次将所爬取的数据信息，如：房间数，直播类别和人气，导入Weka 3.7工具进行数据分析。有关本次的数据分析详情详见下图所示：图1-1 数据分析Preprocess界面对于本例实验，以下将以直播类型为例分别进行分类和聚类运算，具体如下图所示：图1-2 ZeroR分类运算界面图1-3 EM聚类运算界面二、数据分析结... 阅读全文

posted @ 2019-07-15 10:53 王者★孤傲阅读(2509) 评论(0) 推荐(4)

Scrapy项目 - 实现斗鱼直播网站信息爬取的爬虫设计

摘要：要求编写的程序可爬取斗鱼直播网站上的直播信息，如：房间数，直播类别和人气等。熟悉掌握基本的网页和url分析，同时能灵活使用Xmind工具对Python爬虫程序（网络爬虫）流程图进行分析。一、项目分析1. 网页分析斗鱼直播网站按直播类型明显在网页上划分区域，同时在每一种类型区域中，视频标签框都将具有相同的class名称，如：直播房间的class名称为：ellipsis，... 阅读全文

posted @ 2019-07-15 10:33 王者★孤傲阅读(2246) 评论(0) 推荐(4)

Scrapy项目 - 实现百度贴吧帖子主题及图片爬取的爬虫设计

摘要：要求编写的程序可获取任一贴吧页面中的帖子链接，并爬取贴子中用户发表的图片，在此过程中使用user agent 伪装和轮换，解决爬虫ip被目标网站封禁的问题。熟悉掌握基本的网页和url分析，同时能灵活使用Xmind工具对Python爬虫程序（网络爬虫）流程图进行分析。一、项目分析 1. 网页分析贴吧页面简洁，所有内容让人一目了然，使用起来也较其他... 阅读全文

posted @ 2019-07-15 09:42 王者★孤傲阅读(2362) 评论(0) 推荐(4)

公告