摘要: 来安装openssh-server,如果顺利的话会安装成功,如果遇到 这是因为,openssh-server是依赖于openssh-clien的,那ubuntu不是自带了openssh-client吗?原由是自带的openssh-clien与所要安装的openssh-server所依赖的版本不同 所 阅读全文
posted @ 2018-09-28 19:23 089-袁佳鹏 阅读(1623) 评论(0) 推荐(0) 编辑
摘要: 该类用于在一个新的进程中执行一个子程序。前面我们提到过,上面介绍的这些函数都是基于subprocess.Popen类实现的,通过使用这些被封装后的高级函数可以很方面的完成一些常见的需求。由于subprocess模块底层的进程创建和管理是由Popen类来处理的,因此,当我们无法通过上面哪些高级函数来实 阅读全文
posted @ 2018-09-10 14:12 089-袁佳鹏 阅读(4746) 评论(0) 推荐(1) 编辑
摘要: 1.ossutil工具的安装: ossutil工具旨在为用户提供一个方便的,以命令行方式管理OSS数据的途径。当前版本未提供完整的Bucket管理功能和Multipart管理功能,相关功能会在后续版本中开发。现在如果有使用上述功能的需要,可以先使用osscmd命令行工具。 下载地址:https:// 阅读全文
posted @ 2018-08-24 17:38 089-袁佳鹏 阅读(15680) 评论(1) 推荐(0) 编辑
摘要: 此版本是在Linux的ubuntu版本上面运行 1.安装salt-master(master只能在Linux上面安装,minion可以再Linux和Windows上安装) 2.查看ubuntu本机ip地址 3.找到安装目录/etc/salt/master/,更改配置host和auto_accept参 阅读全文
posted @ 2018-08-21 10:19 089-袁佳鹏 阅读(171) 评论(0) 推荐(0) 编辑
摘要: SaltStack可以分为Master和Minion,自定义modules模块可以让你更加便捷的在两者之间进行信息收集和获取。 首先需要在master机器的file_roots 下建一个_modules文件夹,里面放.py 文件,也就是自定义模块。 1.1: file_roots 在/etc/sal 阅读全文
posted @ 2018-08-20 18:26 089-袁佳鹏 阅读(1953) 评论(0) 推荐(0) 编辑
摘要: 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。 启动Hadoop 打开 hive 显示表格,进行统计 2.用Hive对爬虫大作业产生的csv文件进行数据分析, 阅读全文
posted @ 2018-05-25 16:36 089-袁佳鹏 阅读(97) 评论(0) 推荐(0) 编辑
摘要: 1. 用Python编写WordCount程序并提交任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔 echo "foo foo quux labs foo bar quu 阅读全文
posted @ 2018-05-10 17:57 089-袁佳鹏 阅读(117) 评论(0) 推荐(0) 编辑
摘要: 1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 2. 用Hadoop提供的HBase Shell命令完成相同任务: list scan 'Student' alter 'Student','NAME'=>'cours 阅读全文
posted @ 2018-05-04 19:30 089-袁佳鹏 阅读(97) 评论(0) 推荐(0) 编辑
摘要: 一、Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词.cd ./home/hadoopsudo mkdir a.txt 在本地查看文件位置(ls)ls 在本地显示文件内容touch a.txt 阅读全文
posted @ 2018-04-26 22:04 089-袁佳鹏 阅读(153) 评论(0) 推荐(0) 编辑
摘要: import requestsimport refrom bs4 import BeautifulSoupimport jieba.analysefrom PIL import Image,ImageSequenceimport numpy as npimport matplotlib.pyplot as pltfrom wordcloud import WordCloud,ImageColor... 阅读全文
posted @ 2018-04-17 00:06 089-袁佳鹏 阅读(442) 评论(0) 推荐(0) 编辑