Mzc's blog

摘要： 下面是对hadoop的一些基本测试示例 Hadoop自带测试类简单使用 这个测试类名叫做 hadoop-mapreduce-client-jobclient.jar，位置在 hadoop/share/hadoop/mapreduce/ 目录下 不带任何参数可以获取这个jar的帮助信息 $ yarn 阅读全文

摘要： 环境：CentOS 7 JDK： 1.7.0_80 hadoop：2.8.5 hadoop(192.168.56.101) 配置基础环境 1. 测试环境可以直接关闭selinux和防火墙 2. 主机添加hosts记录 # vim /etc/hosts 192.168.56.101 hadoop 3. 阅读全文

摘要： 环境：CentOS 7 JDK： 1.7.0_80 hadoop：2.8.5 两台机器：master(192.168.56.101) slave(192.168.56.102) 配置基础环境 1. 测试环境可以直接关闭selinux和防火墙(每个节点) 2. 每台主机添加hosts记录(每个节点) 阅读全文

摘要： 1. top 显示所有正在运行而且处于活动状态的实时进程， 而且会定期更新显示结果；它显示了CPU使用率，内存使用率，交换内存使用大小，调整缓存使用大小，缓冲区使用大小，进程PID， 使用的命令等信息。 2. vmstat 一般是通过两个数字参数来完成的，第一个参数是采样时间间隔，单位是秒， 第二个 阅读全文

摘要： 说明：收藏一些比较好的开源项目 Python实现了所有的排序算法 Github：https://github.com/TheAlgorithms/Python 该项目用Python实现了所有的排序算法，包括插入排序、冒泡排序、快速排序、选择排序、归并排序等。 Algorithm_Interview_ 阅读全文

摘要： 用tornado web服务的基本流程 需要用到的特性 由于tornado的亮点是异步请求，所以这里首先想到的是将所有请求都改造为异步的。但是这里遇到一个问题，就是异步函数内一定不能有阻塞调用出现，否则整个IOLoop都会被卡住。这就要求彻底地去改造服务，将所有IO或是用时较长的请求都改造为异步函数 阅读全文

摘要： 1. SSH密码认证远程执行命令 #!/usr/bin/python # -*- coding: utf-8 -*- import paramiko import sys hostname = '192.168.1.215' port = 22 username = 'root' password 阅读全文

摘要： 一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。 免费代理网站： 西刺免费代理 快代理免费代理 8 阅读全文

摘要： authenticated装饰器 为了使用Tornado的认证功能，我们需要对登录用户标记具体的处理函数。我们可以使用@tornado.web.authenticated装饰器完成它。当我们使用这个装饰器包裹一个处理方法时，Tornado将确保这个方法的主体只有在合法的用户被发现时才会调用。 cla 阅读全文

摘要： 这开始之前我们先了解以下什么是cookie和session 简单的说： cookie是保存在客户端的键值对 session是保存在服务端的键值对 session依赖与cookie 在Django中，可以直接操作cookie和session，在flask可以直接使用一个session对象和号称安全的c 阅读全文