05 2018 档案

Hadoop环境安装（三）基于伪分布式系统的Hadoop配置
摘要：Hadoop是基于分布式的系统应用，但很多时候我们只是进行简单的测试，没有必要做集群。所谓的伪分布式本质上就是进行单机版的Hadoop配置。 1.在Hadoop中不允许IP地址变更，所以要保证从项目的开发到运行结束状态，都要求IP地址是同一个，如果变更了就要重头来过 （编辑-虚拟网络编辑器） 2.为 阅读全文
posted @ 2018-05-30 08:27 Johnny、 阅读(330) 评论(0) 推荐(0)
Hadoop环境安装（二）JDK和Hadoop的安装与配置
摘要：JDK的安装与配置 本块内容的截图演示均为jdk-10.0.1,但在后续过程中发现jdk版本过高，与我下载的hadoop版本不匹配，所以回退版本至jdk-8u171-linux-x64.tar，但截图中没有体现 1.将JDK的安装包上传Linux系统（JDK下载地址） 如果没有开发包，可使用wget 阅读全文
posted @ 2018-05-27 23:54 Johnny、 阅读(1961) 评论(0) 推荐(0)
Hadoop环境安装（一）SSH和FTP连接与配置
摘要：Linux环境配置 1.环境属性-字体配置 $sudo dpkg-reconfigure console-setup 先选择utf-8 2.解锁root用户 $sudo passwd root $sudo su 切换root用户 3.关闭防火墙并卸载iptables服务 #ufw disable F 阅读全文
posted @ 2018-05-25 23:29 Johnny、 阅读(737) 评论(0) 推荐(0)
图论_拓扑排序_练习1（优先队列小顶堆）
摘要：priority_queue 基本操作： empty() 如果队列为空，则返回真 pop() 删除对顶元素，删除第一个元素 push() 加入一个元素 size() 返回优先队列中拥有的元素个数 top() 返回优先队列队顶元素，返回优先队列中有最高优先级的元素（ #队列中为front() ） ba 阅读全文
posted @ 2018-05-20 14:44 Johnny、 阅读(462) 评论(0) 推荐(0)
图论_拓扑排序
摘要：对一个有向无环图(Directed Acyclic Graph简称DAG)G进行拓扑排序，是将G中所有顶点排成一个线性序列，使得图中任意一对顶点u和v，若边(u,v)∈E(G)，则u在线性序列中出现在v之前。 通常，这样的线性序列称为满足拓扑次序(Topological Order)的序列，简称拓扑 阅读全文
posted @ 2018-05-19 00:02 Johnny、 阅读(301) 评论(0) 推荐(0)
使用Web API_&_使用Pygal可视化仓库
摘要：1.Web API Web API是网站的一部分，用于与使用非常具体的URL请求特定信息的程序交互，这种请求称为API调用。 请求的数据将以易于处理的格式（如JSON或CSV）返回，依赖于外部数据的大多数程序都依赖于API调用，如集成社交媒体网站的应用程序。 在浏览器中输入如下地址并按回车： 下面显 阅读全文
posted @ 2018-05-16 22:17 Johnny、 阅读(1167) 评论(0) 推荐(0)
制作世界人口地图：JSON格式
摘要：1.提取2010世界人口数据 先查看json文件数据： 这个文件实际上就是一个很长的Python列表，其中每个元素都是一个包含四个键的字典：国家名、国别吗、年份以及表示人口数量的值。 我们尝试打印每个国家2010年的人口数量： 接下来，我们要将数据转化为Pygal能够处理的格式。 2.将字符串转化为 阅读全文
posted @ 2018-05-09 23:54 Johnny、 阅读(4856) 评论(0) 推荐(0)
CSV文件格式
摘要：1.分析CSV文件头 2.提取最高气温数据并绘制图表 3.在图表中添加日期 我们先试着输出第二行： 需要将字符串'2014-7-1'转换为一个表示相应日期的对象，可使用模块datetime中的方法strptime() 这其中我们调用了fig.autofmt_xdate()来绘制斜的日期标签，以免它们 阅读全文
posted @ 2018-05-08 23:24 Johnny、 阅读(580) 评论(0) 推荐(0)
使用Pygal模拟掷骰子
摘要：在本节中，将使用Python可视化包Pygal来生成可缩放的矢量图形文件。 对于需要在尺寸不同的屏幕上显示的图表，这很有用，因为它们将自动缩放，以适合观看者的屏幕。 1.创建Die类 2.分析1000次结果 3.绘制直方图 我们将图表渲染为一个SVG文件，使用web浏览器来查看生成的直方图： 4.同 阅读全文
posted @ 2018-05-08 23:03 Johnny、 阅读(640) 评论(0) 推荐(0)
随机漫步-matplotlib
摘要：1.创建RandomWalk()类 2.绘制随机漫步图 3.设置随机漫步图的样式 使用颜色映射来指出漫步中各点的先后顺序，并删除每个点的黑色轮廓。 4.重新绘制起点和终点&隐藏坐标轴 5.增加点数&绘制窗口尺寸 首先修改随机漫步类的定义： 以下给出rw_visual.py的完整代码： 阅读全文
posted @ 2018-05-08 13:43 Johnny、 阅读(721) 评论(0) 推荐(0)
绘制简单的折线图-matplotlib
摘要：1.平方数折线图 2.平方数自动生成散点图 散点默认为蓝色点和黑色轮廓，可通过参数c指定自定义颜色，并将其设置一个元组，其中包含三个0~1之间的小数值，它们分别表示红色、绿色和蓝色分量。 使用颜色映射： 自动保存图表可将对plt.show()的调用替换为对plt.savefig()的调用： 其中第二 阅读全文
posted @ 2018-05-07 22:24 Johnny、 阅读(1020) 评论(0) 推荐(0)
Python编程入门到实践（三）
摘要：1.异常 异常是使用try-except代码块处理的。try-except代码块让Python执行指定的操作，同时告诉Python发生异常时怎么办。 使用了try-except代码块时，即便出现异常，程序也将继续运行：显示你编写的友好错误消息，而不是令用户迷惑的traceback.。 程序奔溃可不好 阅读全文
posted @ 2018-05-05 23:32 Johnny、 阅读(260) 评论(0) 推荐(0)
Python编程入门到实践（二）
摘要：1.用户输入和while循环 python2.7使用raw_input()来提示用户输入与python3中的input（）一样，也将解读为字符串。 2.函数 （1）传递任意数量的实参 形参名*toppings中的星号让Python创建一个名为toppings的空元组，并将所有收到的值封装到这个元组中 阅读全文
posted @ 2018-05-02 01:29 Johnny、 阅读(711) 评论(0) 推荐(0)