08 2015 档案

python spark 配置
摘要：前提：已经装好 java 1.8 和 hadoop 2.71. 下载解压放后的目录/Users/gao/spark-1.4.1-bin-hadoop2.62. 在~/.bash_profile 中加入 export PYTHONPATH=$PYTHONPATH:/Users/gao/spark-1.... 阅读全文
posted @ 2015-08-24 23:38 高山流的不是水 阅读(378) 评论(0) 推荐(0)
screen
摘要：打开新窗口：screen退出并保持程序的运行：ctrl+ad查看所有 screen：screen -ls进入某个 screen：screen -r session-id退出并终止程序：exit 阅读全文
posted @ 2015-08-24 19:42 高山流的不是水 阅读(247) 评论(0) 推荐(0)
tar 命令
摘要：参数：-c ：建立一个压缩文件的参数指令(create 的意思)；-x ：解开一个压缩文件的参数指令！-t ：查看 tarfile 里面的文件！特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！因为不可能同时压缩与解压缩。-z ：是否同时具有 gzip 的属性？亦即是否需要用 gz... 阅读全文
posted @ 2015-08-21 10:29 高山流的不是水 阅读(165) 评论(0) 推荐(0)
tokudb
摘要：经测试，tokudb 的事务会锁表，不管有没有用到索引，触发器也会锁表，（可能触发器和事务的原理是一样的吧）。innodb 只会锁行。竟然把这么坑的数据库用到线上来了，这下坑爹了。 阅读全文
posted @ 2015-08-19 16:12 高山流的不是水 阅读(246) 评论(0) 推荐(0)
sqlalchemy
摘要：连接池：在执行 connect()和execute()时，engine 对象会向连接池请求一个连接，默认的连接池是QueuePool，连接的数量是基于需求。当有多条语句执行时，QueuePool会将连接数量增加到默认值5，如果不够的话可以再增加，最多10个连接。engine 对象是连接池的总部，所以... 阅读全文
posted @ 2015-08-19 16:07 高山流的不是水 阅读(217) 评论(0) 推荐(0)
mongodb 维护
摘要：如何释放空间？1. 先用 remove 命令删除数据2. repair。需要停机，即便你不停机的话 mongodb 自己也会锁住直到 repair 完成。注意要有足够的磁盘空间，需要额外一倍的空间，如果mongodb 占用了100G，那么 repair 时还需要额外的100G 空间。可以追加磁盘，然... 阅读全文
posted @ 2015-08-16 01:06 高山流的不是水 阅读(500) 评论(0) 推荐(0)
mongodb 释放磁盘空间
摘要：db.copyDatabase("from","to","127.0.0.1:16161");将127.0.0.1上的from库。拷贝到to库。这样做有一个额外的好处。就是from库中可能是删除过数据的库。看我们知道删除数据时磁盘空间是不会被释放的。参考博客里的另一篇文章：mongodb删除集合后磁... 阅读全文
posted @ 2015-08-15 22:21 高山流的不是水 阅读(4674) 评论(0) 推荐(0)
python 环境安装
摘要：wgethttp://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz tar zxf Python-2.7.3.tgzcd Python-2.7.3./configure –prefix=/usr/local/python27makemake ins... 阅读全文
posted @ 2015-08-12 18:04 高山流的不是水 阅读(179) 评论(0) 推荐(0)
C 语言 typedef
摘要：虽然#define语句看起来象typedef，但实际上却有本质上的差别。对于#define来说，仅在编译前对源代码进行了字符串替换处理；而对于typedef来说，它建立了一个新的数据类型别名。由此可见，只是将pch1定义为指针变量，却并没有实现程序员的意图，而是将pch2定义成了char型变量。... 阅读全文
posted @ 2015-08-06 23:51 高山流的不是水 阅读(168) 评论(0) 推荐(0)
python
摘要：Objects are structures allocated on the heap. Special rules apply to the use of objects to ensure they are properly garbage-collected.Objects are neve... 阅读全文
posted @ 2015-08-06 16:03 高山流的不是水 阅读(185) 评论(0) 推荐(0)
python __name__
摘要：当你打开一个.py文件时,经常会在代码的最下面看到if __name__ == '__main__':,现在就来介 绍一下它的作用. 模块是对象，并且所有的模块都有一个内置属性 __name__。一个模块的 __name__ 的值取决于您如何应用模块。如果 import 一个模块，那么模块__nam... 阅读全文
posted @ 2015-08-05 12:05 高山流的不是水 阅读(166) 评论(0) 推荐(0)
python code
摘要：codeco_argcountnumber of arguments (not including * or ** args) 参数个数（不包括* 和**）co_codestring of raw compiled bytecode 二进制代码的原始字符串co_conststuple of cons... 阅读全文
posted @ 2015-08-05 12:04 高山流的不是水 阅读(489) 评论(0) 推荐(0)
python 内置函数 : compile()
摘要：这个函数用来编译一段字符串的源码，结果可以生成字节码或者AST（抽像语法树），字节码可以使用函数exec()来执行，而AST可以使用eval()来继续编译。参数source是一串字符串的源码，或者是AST对象数组。参数filename是读取字符串的文件对象，如果不是从文件里读取源码来编译，那么这里可... 阅读全文
posted @ 2015-08-05 10:27 高山流的不是水 阅读(4551) 评论(0) 推荐(0)
MySQL的InnoDB索引原理详解 (转)
摘要：摘要： 本篇介绍下Mysql的InnoDB索引相关知识，从各种树到索引原理到存储的细节。 InnoDB是Mysql的默认存储引擎(Mysql5.5.5之前是MyISAM，文档)。本着高效学习的目的，本篇以介绍InnoDB为主，少量涉及MyISAM作为对比。 这篇文章是我在学习过程中总结完成的，... 阅读全文
posted @ 2015-08-01 20:11 高山流的不是水 阅读(367) 评论(0) 推荐(0)