摘要：
Hadoop大数据部署 一. 系统环境配置： 1. 关闭防火墙，selinux 关闭防火墙： 设置selinux为disable 2. 配置ntp时间服务器 将IP地址换成可用的时间服务器IP 3. 修改系统限制 4. 创建hadoop用户 5. 配置hosts 6. 分发公钥 保证某一个节点上都有 阅读全文
摘要：
Linux上删除大量文件几种方式对比 [TOC] linux上删除大量小文件删除测试：删除500000个小文件测试 生成文件： 1. rm删除：因为文件数量太多，rm无法删除（报错） 2. find查找删除： exec exec: 该参数是将查找的结果文件名，逐个传递给后面的命令执行，如果文件较多， 阅读全文
摘要：
Python中collections模块 [TOC] 这个模块实现了特定目标的容器，以提供Python标准内建容器 dict、list、set、tuple 的替代选择。 Counter：字典的子类，提供了可哈希对象的计数功能 defaultdict：字典的子类，提供了一个工厂函数，为字典查询提供了默 阅读全文
摘要：
Python中pathlib模块 Path.cwd()：返回当前目录的路径 Path.home()：返回当前用户的家目录 Path.stat()：返回此路径信息 Path.touch()：创建文件 Path.mkdir(mode=0o777, parents=False, exist_ok=Fals 阅读全文
摘要：
python中的shutil模块 [TOC] shutil模块对文件和文件集合提供了许多高级操作，特别是提供了支持文件复制和删除的函数。 目录和文件操作 shutil.copyfileobj(fsrc, fdst[, length])：拷贝文件内容到另一个文件，可以指定拷贝的大小。 shutil.c 阅读全文
摘要：
os模块 os模块：该模块提供了一些方便使用操作系统相关功能的函数 os.remove() 删除文件 os.rename() 重命名文件 os.walk() 文件目录遍历器 os.chdir() 改变目录 os.mkdir/mkdirs 创建目录/多层目录 os.rmdir/removedirs 删 阅读全文
摘要：
定义函数时，默认参数必须指向不变的对象 参数为可变对象时，正常调用的时候，结果没有问题，但是当使用默认参数的时候，结果就会和理想的有差距。 原因：Python函数在定义的时候，默认参数L的值就被计算出来了，即[]，因为默认参数L也是一个变量，它指向对象[]，每次调用该函数，如果改变了L的内容，则下次 阅读全文
摘要：
报错一： [root@Redis 1 software] /usr/local/ruby/bin/gem install redis 3.2.2.gem ERROR: Loading command: install (LoadError) cannot load such file zlib ER 阅读全文
摘要：
[TOC] 1. 简单介绍 MongoDB中的副本集是一组提供冗余和高可用性的mongod进程。副本集主要包含：primary，secondary和arbiter。 primary: 在副本集中只有一个，接收所有写操作，并把这些操作记录到primary的oplog里面，然后secondary将会复制 阅读全文
摘要：
[TOC] 线程同步 线程同步，即线程之间协同工作，一个线程访问某些数据时，其他线程不能访问这些数据，直到该线程完成对数据的操作。 不同的操作系统实现的技术有所不同，有临界区(Critical Section)、互斥量(Mutex)、信号量(Semaphore)、事件（Event）等。 Event 阅读全文
摘要：
[TOC] 进程和线程 进程：进程是计算机中程序正在执行的实例，是系统进行资源分配和调度的基本单位。 线程：也被称为轻量级进程，是程序执行流的最小单元。一个标准的线程由线程ID，当前指令指针，寄存器集合和堆栈组成。 线程和进程的关系： 现代操作系统中，每一个进程都认为自己独占所有的计算机资源。进程好 阅读全文