摘要: python从2.6开始支持format,新的更加容易读懂的字符串格式化方法, 从原来的% 模式变成新的可读性更强的 综合举例说明: 输入: '{:>18,.2f}'.format(70305084.0) # :冒号+空白填充+右对齐+固定宽度18+浮点精度.2+浮点数声明f 输出:' 70,305阅读全文
posted @ 2016-07-02 18:47 fandyst 阅读(310) 评论(0) 编辑
摘要: 有没有让你相见恨晚的教辅书? 有没有让你相见恨晚的教辅书?(完整原文) 有没有让你相见恨晚的教辅书?(完整原文) 如题,最好是高中的 144 个回答 144 个回答 1554赞同反对,不会显示你的姓名 苏雨薇,断网七个月=w=来年再见~ 羁绊、Meteor、林誉誉 等人赞同 声明一下~本人的确智商不阅读全文
posted @ 2016-05-10 18:16 fandyst 阅读(902) 评论(0) 编辑
摘要: hive中grouping sets 数量较多时如何处理? 可以使用如下设置来 set hive.new.job.grouping.set.cardinality = 30; 这条设置的意义在于告知解释器,group by之前,每条数据复制量在30份以内。 grouping sets是一种将多个gr阅读全文
posted @ 2016-05-09 15:59 fandyst 阅读(176) 评论(0) 编辑
摘要: 理解python metaclass使用技巧与应用场景分析 <!--?xml version="1.0" encoding="UTF-8" standalone="no"?--> 参考:阅读全文
posted @ 2016-05-02 21:20 fandyst 阅读(24) 评论(0) 编辑
摘要: <!--?xml version="1.0" encoding="UTF-8" standalone="no"?--> Celery的实践指南 celery原理: celery实际上是实现了一个典型的生产者-消费者模型的消息处理/任务调度统,消费者(worker)和生产者(client)都可以有任意阅读全文
posted @ 2016-05-02 21:17 fandyst 阅读(434) 评论(0) 编辑
摘要: 本文介绍brew install hive并修改默认的metastore存储方案,改Derby数据库为mysql的方法以及可能遇到的问题的解决方案。 1. 通过homebrew安装hive 1 brew install hive 2. 添加hadoop和hive的环境变量 1 2 3 4 5 6 s阅读全文
posted @ 2016-04-03 13:48 fandyst 阅读(169) 评论(0) 编辑
摘要: <!--?xml version="1.0" encoding="UTF-8" standalone="no"?--> mac osx 系统 brew install hadoop 安装指南 遇到的问题: 一, 如在hdfs -put ~/file fileonhdfs 时, 出现error:WAR阅读全文
posted @ 2016-04-03 00:06 fandyst 阅读(93) 评论(0) 编辑
摘要: 在安装pcapy时,出现以下错误: building 'pcapy' extension error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcp阅读全文
posted @ 2016-03-28 11:42 fandyst 阅读(40) 评论(0) 编辑
摘要: 1. Mac平台 在mac上安装scapy可以说是困难重重,一来因为scapy实在有些小众和老旧,再加上安装说明文档都是python2.5 也没有详细说明一些安装问题。 折腾了大概三个小时之后终于解决了这个老大难。 注:我的环境为anaconda2.3 - python2.7.10 一,首先scap阅读全文
posted @ 2016-03-26 15:54 fandyst 阅读(504) 评论(0) 编辑
摘要: domain实际上是一个隔离容器,将一个或者多个eventEmiter放入容器中,这样由该event发出的事件,如果出现异常就会最终被该domain捕获。 demo代码可参见: var EventEmitter = require("events").EventEmitter; var domain阅读全文
posted @ 2016-02-11 12:50 fandyst 阅读(83) 评论(0) 编辑
摘要: web开发中的 emmet 效率提升工具 可以用来快速生成html 代码。 并且给各种IDE、编辑器提供了插件支持,sublime ,webstorm等。 如在webstorm中安装好emmet之后,输入以下文本, #page>div.content[ng-model="user"]+ul>li*5阅读全文
posted @ 2016-02-03 16:53 fandyst 阅读(32) 评论(0) 编辑
摘要: 未来10年房地产存量与人口需求量分析计算的基本思路:25~35岁人口结构中城镇人群购房总需求 与 房地产总量对比。人口总数: 13.57亿 假定需求方为25~40岁人群,即为:当前15~30岁 人口比例 6.5% + 7.5% + 7% = 20% --》 13.57 * 0.2城镇化比例: 6...阅读全文
posted @ 2015-10-17 13:12 fandyst 阅读(141) 评论(0) 编辑
摘要: Apple individual program 加入之后的玩法 官方资源0. 开发资源文档0.1 开发文档:https://developer.apple.com/support/resources/index.html0.2 开发工具 Xcode:https://developer.apple....阅读全文
posted @ 2015-08-09 19:41 fandyst 阅读(55) 评论(0) 编辑
摘要: nginx 反向代理 与 Apache backend的配置联合配置:说明: nginx 将http映射到Apache上的特定子目录。配置方法步骤:1. 设置域名, 子域名映射到指定服务器ip,2. nginx设置好server ,以及对应的目录, 或者 转发到指定Apache端口。server {...阅读全文
posted @ 2015-07-27 17:18 fandyst 阅读(94) 评论(0) 编辑
摘要: ubuntu for laptop系统在系统休眠后wakeup 之后,网络连接失败, 有线网络无法连接, 无线wifi无法连接, 只能重启后才能恢复, 此时可以采用以下方法处理:1. 在/etc/pm/sleep.d/目录下创建network-manager-resume.2. 贴上以下命令并保存....阅读全文
posted @ 2015-06-21 10:27 fandyst 阅读(118) 评论(0) 编辑
摘要: Javascript的一个生产PDF的库: unicode和中文问题的解决基于canvas和jspdf库, 实现用javascript的支持中文pdf生成实用工具.参考:http://javascript.ruanyifeng.com/htmlapi/canvas.html1. 使用canvas将中...阅读全文
posted @ 2015-06-20 17:32 fandyst 阅读(187) 评论(0) 编辑
摘要: redmine v3.0.2版的安装问题参考上次在朋友公司的云主机上安装的过程:1. 下载2. gem install bundler3. bundle install 出现rmagick 装不上的问题,通过以下方案解决。$ sudo apt-get install libmagickwand-de...阅读全文
posted @ 2015-05-08 10:11 fandyst 阅读(96) 评论(0) 编辑
摘要: 对于运维工程师来讲,etc环境是一个痛点,各种配置,各种修改,某些软件的配置关联因素过多的话,那就更加痛苦了,改完发现不对再想改回去都千难万难, 现在有一个好的解决方案,那就是用etckeeper,绝对是解救运维工程师的利器之一!etckeeper本质上就是 git 管理 etc 版本环境的思维, ...阅读全文
posted @ 2015-05-07 12:02 fandyst 阅读(230) 评论(0) 编辑
摘要: apache的配置:1. 开启php module查看mods-enabled/php5.load 是否存在,不存在的话, 就从mods-avaliable中复制一个到mods-enabled中。2.apache2.conf的设置: Options FollowSymLinks ...阅读全文
posted @ 2015-05-06 11:23 fandyst 阅读(127) 评论(0) 编辑
摘要: 近来公司redmine服务器表现很糟糕,在16核,64GRAM的机器上,压测结果竟然只有每秒5~7个请求,部分页面一个都出不来。以下是我对Redmine性能优化方案:redmine服务器性能问题排查与优化建议:以下建议的方案是基于redmine运行期的log文件中的render耗时、activere...阅读全文
posted @ 2015-05-05 12:50 fandyst 阅读(1539) 评论(0) 编辑
摘要: 以下脚本写于redmine性能排查时,用于定位系统性能瓶颈的采样,源地址为~/performanceLog/collectLog.sh中,计划放入github的代码片段库中.注: 如果mysql的地址或者目录更换,此脚本中dstat 的mysql相关数据的采集需要重写其插件的mysql连接部分的代码...阅读全文
posted @ 2015-05-05 12:43 fandyst 阅读(248) 评论(0) 编辑
摘要: linux环境下使用script可以比较方便地录制在终端的用户操作记录、输出信息以及对应的时间,配合上scriptreplay就可以像屏幕录制一样回放之前录制的内容,有了它你可以非常方便地查看你之前的记录,以及选取回放中的内容来编写博客,甚是舒适。1. 基础录制方法1.1 script #开始录制1...阅读全文
posted @ 2015-05-05 11:52 fandyst 阅读(85) 评论(0) 编辑
摘要: 本文主要讲述搭建好私有的mediawiki之后,管理员可能需要用到的几个功能。维基百科的设计思路与我以往使用的系统不太一样,以管理员模式进入之后,并没有我预想的添加wiki页面入口,和侧边栏导航条的编辑页;管理页面的入口也设置的比较奇怪,比较难找,好在网上有前人经验,花点时间解决了mediawiki...阅读全文
posted @ 2015-05-03 23:45 fandyst 阅读(5121) 评论(0) 编辑
摘要: go2shell的安装与修改默认terminal方法1. 安装go2shell后,打开finder的application文件夹,找到go2shell2. 按住command,用鼠标将go2shell拖到finder的toolbar上到这里安装设置完成。如果要修改默认terminal,比如你想要在f...阅读全文
posted @ 2015-05-03 13:16 fandyst 阅读(168) 评论(0) 编辑
摘要: npm install -g 全局安装总是出现permission权限问题的解决方案开始使用node的时候,在使用npm安装global packages时,习惯性地使用npm install -g xxx,然后总是提示权限问题,安装失败。需要使用sudo。这问题确实让我比较窝火。一个package...阅读全文
posted @ 2015-05-02 17:22 fandyst 阅读(162) 评论(0) 编辑
摘要: likwid: like I knew what I am doing.是一系列工具的集合,用于针对多线程程序的指标分析,方便程序员进行性能调优工作。可以深入到控制cpu等硬件的频率。主要包括以下小工具:likwid-topology: Show the thread and cache topol...阅读全文
posted @ 2015-04-24 12:39 fandyst 阅读(88) 评论(0) 编辑
摘要: 针对IO密集型应用做系统调优的时候,我们通常都需要知道系统cpu 内存 io 网络等系统性能 和 使用率,结合应用本身的访问量,以及 mysql的性能指标来综合分析。比如说:我们将系统压力情况分为三个阶段:从用户端开始到web server,再到mysql。1. 客户量:我们可以从web app的访...阅读全文
posted @ 2015-04-23 17:55 fandyst 阅读(1691) 评论(0) 编辑
摘要: 本文主要讲述高并发http应用中的c10k瓶颈问题:在很多服务器初始状态下,无法服务1w左右的并发连接。这与每次服务的资源消耗、服务器的硬件配置固然有关,但很多时候是被linux的默认配置以及软件stack选型所限制。本文主要分析c10k问题的产生原因、限制因素以及解决方案。如果硬件配置没有问题,性...阅读全文
posted @ 2015-04-21 13:15 fandyst 阅读(125) 评论(0) 编辑
摘要: 想必大家在命令行环境下工作时候,一定有想要查找当前目录下的源代码文件中的某些字符的需求,这时候如果使用传统方案,你可能需要输入一长串的命令,比如这样:1. grep -R 'string' dir/ 或者grep -r -e string directory2.grep -rnw 'directo...阅读全文
posted @ 2015-04-21 12:48 fandyst 阅读(133) 评论(0) 编辑
摘要: 我们在使用一些开源程序之前,可能会使用ab工具在服务器或者本地进行一次性能评估,但是很多时候却总是会以失败告终,因为,服务器会拒绝你的ab工具发出的http请求, 出现 error:connection reset by peer, 这该怎么办呢?首先,为了测试一个具有sql操作的页面,通常需要登录...阅读全文
posted @ 2015-04-20 18:58 fandyst 阅读(761) 评论(0) 编辑
摘要: ruby的几个web server,按照开发活跃度、并发方案及要点、适用场景等分析puma vs passenger vs rainbows! vs unicorn vs thin。1. thin: 长久未更新,2. unicorn: 未测试。3. opensource passenger or e...阅读全文
posted @ 2015-04-20 17:36 fandyst 阅读(482) 评论(0) 编辑
摘要: pm2以cluster集群方式发布app,可以高效地利用多核cpu,有效提升吞吐量。在上周对公司的redmine服务器进行性能调优后,深感ruby on rails的性能低下,这次测试nodejs的sails框架,被其性能深深折服。以下是使用pm2发布nodejs 应用的经历:一:记录出现的问题记录...阅读全文
posted @ 2015-04-19 01:18 fandyst 阅读(1327) 评论(0) 编辑
摘要: 在安装了rvm来管理多版本的ruby之后,想在不同环境下安装一些gems,结果gem install puma 之后,发现一次又一次失败。gem install 出现Errno::ECONNRESET: Connection reset by peer - SSL_connect (https://...阅读全文
posted @ 2015-04-13 16:08 fandyst 阅读(12118) 评论(1) 编辑
摘要: mycheckpoint 是针对mysql的一个性能监控、指标采集的python写成的工具。工作原理说明:mycheckpoint是一段脚本,通过将其设置为crontab定时任务,每几分钟采集一次数据(受限于crontab只能是分钟为基本单位)存储在自己的数据库中,并可以将采集的数据进行统计,以we...阅读全文
posted @ 2015-04-08 13:14 fandyst 阅读(2262) 评论(0) 编辑
摘要: 本文主要记录phpMyAdmin在Mac OS X上的配置和使用,避免朋友们走弯路,浪费不必要的时间。1. 下载:2. 在"设置"中打开" web share", 即可开启Mac自带的Apache, 也可以通过sudo apachectl restart, 重启Apache。3. 源码放入 Apac...阅读全文
posted @ 2015-04-08 11:46 fandyst 阅读(6190) 评论(0) 编辑
摘要: 1. web app 性能测试工具使用2.mysql 性能分析与调优方法阅读全文
posted @ 2015-04-04 15:31 fandyst 阅读(60) 评论(0) 编辑
摘要: 本文主要讲解mysql的性能瓶颈分析、性能指标、性能指标信息的搜集工具与方法、分析调优工具的使用。文章尚未完成。性能瓶颈:慢、写速度比读速度慢很多主要的性能指标:访问频度,并发连接量,缓存命中率,index使用,slow log开启与分析,query Log,查询logThreads_cached:...阅读全文
posted @ 2015-04-04 15:22 fandyst 阅读(1155) 评论(0) 编辑
摘要: shell脚本编写就如同一门语言,涉及到运行环境、基本语法、变量定义、函数、参数(系统参数)、条件判定、执行流程控制 等等问题。本文就以下几个方面进行描述:运行环境: shell shebang Path基本语法: 命令、变量、函数、参数、条件、流程控制。变量相关:定义、命令参数变量和系统参数 与 ...阅读全文
posted @ 2015-04-04 15:08 fandyst 阅读(83) 评论(0) 编辑
摘要: crond是linux中的一个定时任务常驻程序,它会在每分钟检查一次作业列表,从而达到在指定时间自动运行指定的作业,这个程序对于系统运维来讲必不可少。通常我们使用crontab程序来设定和管理作业的,具体启动执行则是crond deamon。下面讲述如何使用crontab来设定使得系统在您指定的时间...阅读全文
posted @ 2015-04-04 14:16 fandyst 阅读(119) 评论(0) 编辑
摘要: 使用dstat竟然还可以查看mysql的状态, man dstat之后发现的,原来在/usr/share/dstat目录下藏有很多python脚本作为插件帮助dstat搜集各类信息。不过通常有可能会如果你执行dstat --mysql5_io 出现了Module dstat_mysql5_io fa...阅读全文
posted @ 2015-04-03 12:50 fandyst 阅读(413) 评论(0) 编辑