王马扎

2018年9月13日

摘要： MapReduce MapReduce原理非常重要，hive与spark都是基于MR原理 MapReduce采用多进程，方便对每个任务资源控制和调配，但是进程消耗更多的启动时间，因此MR时效性不高。适合批量，高吞吐的数据处理。Spark采用的是多线程模型。 MapReduce执行流程 Map过程 m 阅读全文

posted @ 2018-09-13 23:50 王马扎阅读(372) 评论(0) 推荐(0)

[爬虫]用python的requests模块爬取糗事百科段子

摘要：虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。Requests 继承了urllib2的所有特性。Requests支持HTTP连接保持和连阅读全文

posted @ 2018-09-13 15:55 王马扎阅读(580) 评论(0) 推荐(0)

[Hadoop]Hive-1.2.x安装配置+Mysql安装

摘要： HIve的元数据存储在mysql中，需要配置与MySQL建立连接，除了安装MySQL外还要安装连接的jar包：mysql-connector-java-5.1.47.tar.gz 安装环境：Centos7.5+Hadoop2.6.1集群 Hive源码包下载 http://mirror.bit.edu 阅读全文

posted @ 2018-09-13 13:52 王马扎阅读(822) 评论(0) 推荐(0)

2018年8月27日

[Nginx]Ubuntu18.04 安装配置Nginx1.13.6+FastDFS

摘要：一、安装fastdfs依赖包 1. 解压缩libfastcommon-master.zip 2. 进入到libfastcommon-master的目录中 3. 执行 ./make.sh 4. 执行 sudo ./make.sh install 二、安装fastdfs 1. 解压缩fastdfs- 阅读全文

posted @ 2018-08-27 23:43 王马扎阅读(420) 评论(0) 推荐(0)

2018年8月21日

[Hadoop]HDFS机架感知策略

摘要： HDFS NameNode对文件块复制相关所有事物负责，它周期性接受来自于DataNode的HeartBeat和BlockReport信息，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是，把副本分别放在不同机架，甚至不同IDC。这样可以防止整个机架阅读全文

posted @ 2018-08-21 19:52 王马扎阅读(1031) 评论(0) 推荐(0)

2018年7月2日

Ubuntu18.04 安装MySQL（Linux）解决登陆权限问题及Navicat for mysql 中文乱码问题

摘要：一.MySQL（Linux）解决登陆权限问题 Ubuntu18.04 安装mysql或者mariadb之后，发现普通用户和远程都没有权限连接。修改了密码也不对。然后sudo mysql -u root即可登录。这显然不是我们想要的。解决方案删除root，重新创建用户。首先，登录然后查看当前阅读全文

posted @ 2018-07-02 21:21 王马扎阅读(429) 评论(0) 推荐(0)

[python]多线程与多进程

摘要：一. 进程与线程的概念 1.1 进程考虑一个场景：浏览器，网易云音乐以及notepad++ 三个软件只能顺序执行是怎样一种场景呢？另外，假如有两个程序A和B，程序A在执行到一半的过程中，需要读取大量的数据输入（I/O操作），而此时CPU只能静静地等待任务A读取完数据才能继续执行，这样就白白浪费了C 阅读全文

posted @ 2018-07-02 16:17 王马扎阅读(215) 评论(0) 推荐(0)

2018年6月3日

Ubuntu 18.04 下安装pip3及pygame模块

摘要： 1.Ubuntu下pip3的安装、升级、卸载安装pip3 sudo apt-get install python3-pip 升级pip3 sudo pip3 install --upgrade pip 卸载pip3 sudo apt-get remove python3-pip 2.安装pygam 阅读全文

posted @ 2018-06-03 20:54 王马扎阅读(1059) 评论(0) 推荐(1)

2018年6月2日

[Python]python面向对象 __new__方法及单例设计

摘要： __new__ 方法使用类名() 创建对象时，Python 的解释器首先会调用 __new__ 方法为对象分配空间 __new__ 是一个由 object 基类提供的内置的静态方法，主要作用有两个： 1) 在内存中为对象分配空间 2) 返回对象的引用 Python 的解释器获得对阅读全文

posted @ 2018-06-02 10:29 王马扎阅读(266) 评论(0) 推荐(0)

2018年5月25日

Ubuntu18.04系统下安装Pycharm&vim设置自动缩进及默认显示行号

摘要： Ubuntu18.04系统自带python3.6及python2.7，Pycharm是一款非常强大的IDE。目前Pycharm有两个版本：专业版和Community社区，区别是专业版是收费，而且功能更多。下面介绍一些在Ubuntu18.04下安装最新Pycharm及注册方法。 PyCharm官网：h 阅读全文

posted @ 2018-05-25 08:44 王马扎阅读(3453) 评论(0) 推荐(0)

公号【王马扎】

公告