摘要:Windows平台上,pip install fastFM scrapy等工具的时候,经常出现 error Microsoft Visual C++ 14.0 is required 的错误, 原因是部分python包是使用c或者c++编写的,因此在安装的时候需要使用 c++生成工具集。 解决方案有 阅读全文
posted @ 2019-12-02 14:59 fandyst 阅读(3209) 评论(0) 推荐(0) 编辑
摘要:如何在本地使用scala或python运行Spark程序 包含两个部分: 一,scala在本地能成功调用并运行spark接口的主要原理: 二、scala的编译与打包运行 三、python在本地能成功调用并运行spark接口的主要原理如下, 首先,依赖以下几个环境: 四、本地python调spark的 阅读全文
posted @ 2019-11-30 14:01 fandyst 阅读(2724) 评论(0) 推荐(1) 编辑
摘要:Mac OSX系统中Hadoop / Hive 与 spark 的安装与配置 环境搭建 记录 Hadoop 2.6 的安装与配置(伪分布式) 下载并解压缩 配置 .bash_profile : export HADOOP_HOME=/Users/fan/Applications/hadoop-2.6 阅读全文
posted @ 2019-11-30 14:00 fandyst 阅读(596) 评论(0) 推荐(0) 编辑
摘要:mac os x 环境下 libFFM 与 python-libffm的安装问题 export PATH=/usr/local/opt/gcc/bin:$PATH export PATH=/usr/local/Cellar/llvm/8.0.0_1/bin:$PATH alias gcc='gcc- 阅读全文
posted @ 2019-07-15 19:13 fandyst 阅读(536) 评论(0) 推荐(0) 编辑
摘要:评分卡的优势: 可解释性的对策 稳定性的要求及其对策 及时监控的要求 审核要求:分数分组、分区间 量化损失的要求,确定利息成本 特征工程的优化方向: 命名的规则化:因在特征变量的命名中包含:数据来源、 数据分布类型(连续型,离散型 )、 数据类型(字符、数字),以便做自动化 同源特征的自动化: 自动 阅读全文
posted @ 2019-07-12 19:27 fandyst 阅读(1607) 评论(0) 推荐(0) 编辑
摘要:mongdb 的数据介绍: 系统有多个用户,contractId 代表用户Id,其中 serialno 也是一种 id,代表该客户登录系统的编号,该 contractId 每次登录系统都会产生不同的 serialno,但同一次登录都会产生不同的数据,也就是如下数据会产生多条,stepCode 不一样 阅读全文
posted @ 2018-11-27 16:36 fandyst 阅读(904) 评论(0) 推荐(0) 编辑
摘要:VS code 配置 自定义快捷键 及其对应操作 由于 vs code 的官方 go 插件不支持像 goland 一样运行当前 go 文件, 只能项目 或者 package 级别地运行, 因此有必要为初学者提供一个只运行当前文件的配置快捷键方法。 { "label": "gorun", "type" 阅读全文
posted @ 2018-11-21 13:05 fandyst 阅读(874) 评论(0) 推荐(0) 编辑
摘要:## sphinx 生成开发文档#### 配置 1. 运行如下命令,即可生成 conf.py index.rst Makefile 三个文件: `sphinx-quickstart` 2. conf.py 负责全局配置: 1. 注意一定要启用 `autodoc` 2. `autodoc` 对应配置在: `extensions = ['sphin... 阅读全文
posted @ 2018-07-24 18:31 fandyst 阅读(3256) 评论(0) 推荐(0) 编辑
摘要:iredmine的linux服务器mysql性能优化方法与问题排查方案 问题定位: 客户端工具: 1. 浏览器inspect-tool的network timing工具分析 2. 浏览器查看 response header, 分析http server 与 web server. 服务器工具: 0. 阅读全文
posted @ 2018-02-12 17:53 fandyst 阅读(904) 评论(0) 推荐(0) 编辑
摘要:Linux、Mac osx 系统中,出现 matplotlib 或 seaborn 绘图中有中文乱码的情形,可以考虑使用以下方式处理: 到 anaconda 的 matplotlib 中查看是否有 simhei.ttf 字体: cd ~/anaconda3/lib/python3.5/site-pa 阅读全文
posted @ 2017-11-06 14:49 fandyst 阅读(4424) 评论(0) 推荐(0) 编辑
摘要:1. 同列多行数据组合成一个字段cell的方法, top N 问题的hive方案 如下: 2. 建表存储list类型数据的方法以及注意点 3. 将array<string>类型数据转成string显示的方法 阅读全文
posted @ 2016-12-22 20:00 fandyst 阅读(13876) 评论(0) 推荐(0) 编辑
摘要:python从2.6开始支持format,新的更加容易读懂的字符串格式化方法, 从原来的% 模式变成新的可读性更强的 综合举例说明: 输入: '{:>18,.2f}'.format(70305084.0) # :冒号+空白填充+右对齐+固定宽度18+浮点精度.2+浮点数声明f 输出:' 70,305 阅读全文
posted @ 2016-07-02 18:47 fandyst 阅读(80019) 评论(2) 推荐(1) 编辑
摘要:hive中grouping sets 数量较多时如何处理? 可以使用如下设置来 set hive.new.job.grouping.set.cardinality = 30; 这条设置的意义在于告知解释器,group by之前,每条数据复制量在30份以内。 grouping sets是一种将多个gr 阅读全文
posted @ 2016-05-09 15:59 fandyst 阅读(18781) 评论(0) 推荐(0) 编辑
摘要:理解python metaclass使用技巧与应用场景分析 <!--?xml version="1.0" encoding="UTF-8" standalone="no"?--> 参考: 阅读全文
posted @ 2016-05-02 21:20 fandyst 阅读(1764) 评论(0) 推荐(0) 编辑
摘要:<!--?xml version="1.0" encoding="UTF-8" standalone="no"?--> Celery的实践指南 celery原理: celery实际上是实现了一个典型的生产者-消费者模型的消息处理/任务调度统,消费者(worker)和生产者(client)都可以有任意 阅读全文
posted @ 2016-05-02 21:17 fandyst 阅读(4235) 评论(1) 推荐(0) 编辑
摘要:本文介绍brew install hive并修改默认的metastore存储方案,改Derby数据库为mysql的方法以及可能遇到的问题的解决方案。 1. 通过homebrew安装hive 1 brew install hive 2. 添加hadoop和hive的环境变量 1 2 3 4 5 6 s 阅读全文
posted @ 2016-04-03 13:48 fandyst 阅读(3274) 评论(0) 推荐(0) 编辑
摘要:<!--?xml version="1.0" encoding="UTF-8" standalone="no"?--> mac osx 系统 brew install hadoop 安装指南 遇到的问题: 一, 如在hdfs -put ~/file fileonhdfs 时, 出现error:WAR 阅读全文
posted @ 2016-04-03 00:06 fandyst 阅读(1303) 评论(0) 推荐(0) 编辑
摘要:在安装pcapy时,出现以下错误: building 'pcapy' extension error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcp 阅读全文
posted @ 2016-03-28 11:42 fandyst 阅读(771) 评论(0) 推荐(0) 编辑
摘要:1. Mac平台 在mac上安装scapy可以说是困难重重,一来因为scapy实在有些小众和老旧,再加上安装说明文档都是python2.5 也没有详细说明一些安装问题。 折腾了大概三个小时之后终于解决了这个老大难。 注:我的环境为anaconda2.3 - python2.7.10 一,首先scap 阅读全文
posted @ 2016-03-26 15:54 fandyst 阅读(5251) 评论(1) 推荐(0) 编辑
摘要:domain实际上是一个隔离容器,将一个或者多个eventEmiter放入容器中,这样由该event发出的事件,如果出现异常就会最终被该domain捕获。 demo代码可参见: var EventEmitter = require("events").EventEmitter; var domain 阅读全文
posted @ 2016-02-11 12:50 fandyst 阅读(884) 评论(0) 推荐(0) 编辑
摘要:web开发中的 emmet 效率提升工具 可以用来快速生成html 代码。 并且给各种IDE、编辑器提供了插件支持,sublime ,webstorm等。 如在webstorm中安装好emmet之后,输入以下文本, #page>div.content[ng-model="user"]+ul>li*5 阅读全文
posted @ 2016-02-03 16:53 fandyst 阅读(337) 评论(0) 推荐(0) 编辑
摘要:未来10年房地产存量与人口需求量分析计算的基本思路:25~35岁人口结构中城镇人群购房总需求 与 房地产总量对比。人口总数: 13.57亿 假定需求方为25~40岁人群,即为:当前15~30岁 人口比例 6.5% + 7.5% + 7% = 20% --》 13.57 * 0.2城镇化比例: 6... 阅读全文
posted @ 2015-10-17 13:12 fandyst 阅读(1152) 评论(0) 推荐(1) 编辑
摘要:Apple individual program 加入之后的玩法 官方资源0. 开发资源文档0.1 开发文档:https://developer.apple.com/support/resources/index.html0.2 开发工具 Xcode:https://developer.apple.... 阅读全文
posted @ 2015-08-09 19:41 fandyst 阅读(248) 评论(0) 推荐(0) 编辑
摘要:nginx 反向代理 与 Apache backend的配置联合配置:说明: nginx 将http映射到Apache上的特定子目录。配置方法步骤:1. 设置域名, 子域名映射到指定服务器ip,2. nginx设置好server ,以及对应的目录, 或者 转发到指定Apache端口。server {... 阅读全文
posted @ 2015-07-27 17:18 fandyst 阅读(883) 评论(0) 推荐(0) 编辑
摘要:ubuntu for laptop系统在系统休眠后wakeup 之后,网络连接失败, 有线网络无法连接, 无线wifi无法连接, 只能重启后才能恢复, 此时可以采用以下方法处理:1. 在/etc/pm/sleep.d/目录下创建network-manager-resume.2. 贴上以下命令并保存.... 阅读全文
posted @ 2015-06-21 10:27 fandyst 阅读(769) 评论(0) 推荐(0) 编辑
摘要:Javascript的一个生产PDF的库: unicode和中文问题的解决基于canvas和jspdf库, 实现用javascript的支持中文pdf生成实用工具.参考:http://javascript.ruanyifeng.com/htmlapi/canvas.html1. 使用canvas将中... 阅读全文
posted @ 2015-06-20 17:32 fandyst 阅读(1045) 评论(0) 推荐(0) 编辑
摘要:redmine v3.0.2版的安装问题参考上次在朋友公司的云主机上安装的过程:1. 下载2. gem install bundler3. bundle install 出现rmagick 装不上的问题,通过以下方案解决。$ sudo apt-get install libmagickwand-de... 阅读全文
posted @ 2015-05-08 10:11 fandyst 阅读(275) 评论(0) 推荐(0) 编辑
摘要:对于运维工程师来讲,etc环境是一个痛点,各种配置,各种修改,某些软件的配置关联因素过多的话,那就更加痛苦了,改完发现不对再想改回去都千难万难, 现在有一个好的解决方案,那就是用etckeeper,绝对是解救运维工程师的利器之一!etckeeper本质上就是 git 管理 etc 版本环境的思维, ... 阅读全文
posted @ 2015-05-07 12:02 fandyst 阅读(913) 评论(0) 推荐(0) 编辑
摘要:apache的配置:1. 开启php module查看mods-enabled/php5.load 是否存在,不存在的话, 就从mods-avaliable中复制一个到mods-enabled中。2.apache2.conf的设置: Options FollowSymLinks ... 阅读全文
posted @ 2015-05-06 11:23 fandyst 阅读(896) 评论(0) 推荐(0) 编辑
摘要:近来公司redmine服务器表现很糟糕,在16核,64GRAM的机器上,压测结果竟然只有每秒5~7个请求,部分页面一个都出不来。以下是我对Redmine性能优化方案:redmine服务器性能问题排查与优化建议:以下建议的方案是基于redmine运行期的log文件中的render耗时、activere... 阅读全文
posted @ 2015-05-05 12:50 fandyst 阅读(4867) 评论(0) 推荐(0) 编辑
摘要:以下脚本写于redmine性能排查时,用于定位系统性能瓶颈的采样,源地址为~/performanceLog/collectLog.sh中,计划放入github的代码片段库中.注: 如果mysql的地址或者目录更换,此脚本中dstat 的mysql相关数据的采集需要重写其插件的mysql连接部分的代码... 阅读全文
posted @ 2015-05-05 12:43 fandyst 阅读(1842) 评论(0) 推荐(0) 编辑
摘要:linux环境下使用script可以比较方便地录制在终端的用户操作记录、输出信息以及对应的时间,配合上scriptreplay就可以像屏幕录制一样回放之前录制的内容,有了它你可以非常方便地查看你之前的记录,以及选取回放中的内容来编写博客,甚是舒适。1. 基础录制方法1.1 script #开始录制1... 阅读全文
posted @ 2015-05-05 11:52 fandyst 阅读(449) 评论(0) 推荐(0) 编辑
摘要:本文主要讲述搭建好私有的mediawiki之后,管理员可能需要用到的几个功能。维基百科的设计思路与我以往使用的系统不太一样,以管理员模式进入之后,并没有我预想的添加wiki页面入口,和侧边栏导航条的编辑页;管理页面的入口也设置的比较奇怪,比较难找,好在网上有前人经验,花点时间解决了mediawiki... 阅读全文
posted @ 2015-05-03 23:45 fandyst 阅读(22845) 评论(0) 推荐(0) 编辑
摘要:go2shell的安装与修改默认terminal方法1. 安装go2shell后,打开finder的application文件夹,找到go2shell2. 按住command,用鼠标将go2shell拖到finder的toolbar上到这里安装设置完成。如果要修改默认terminal,比如你想要在f... 阅读全文
posted @ 2015-05-03 13:16 fandyst 阅读(1964) 评论(0) 推荐(0) 编辑
摘要:npm install -g 全局安装总是出现permission权限问题的解决方案开始使用node的时候,在使用npm安装global packages时,习惯性地使用npm install -g xxx,然后总是提示权限问题,安装失败。需要使用sudo。这问题确实让我比较窝火。一个package... 阅读全文
posted @ 2015-05-02 17:22 fandyst 阅读(3062) 评论(0) 推荐(0) 编辑
摘要:likwid: like I knew what I am doing.是一系列工具的集合,用于针对多线程程序的指标分析,方便程序员进行性能调优工作。可以深入到控制cpu等硬件的频率。主要包括以下小工具:likwid-topology: Show the thread and cache topol... 阅读全文
posted @ 2015-04-24 12:39 fandyst 阅读(956) 评论(0) 推荐(0) 编辑
摘要:针对IO密集型应用做系统调优的时候,我们通常都需要知道系统cpu 内存 io 网络等系统性能 和 使用率,结合应用本身的访问量,以及 mysql的性能指标来综合分析。比如说:我们将系统压力情况分为三个阶段:从用户端开始到web server,再到mysql。1. 客户量:我们可以从web app的访... 阅读全文
posted @ 2015-04-23 17:55 fandyst 阅读(7940) 评论(0) 推荐(0) 编辑
摘要:本文主要讲述高并发http应用中的c10k瓶颈问题:在很多服务器初始状态下,无法服务1w左右的并发连接。这与每次服务的资源消耗、服务器的硬件配置固然有关,但很多时候是被linux的默认配置以及软件stack选型所限制。本文主要分析c10k问题的产生原因、限制因素以及解决方案。如果硬件配置没有问题,性... 阅读全文
posted @ 2015-04-21 13:15 fandyst 阅读(2274) 评论(0) 推荐(0) 编辑
摘要:想必大家在命令行环境下工作时候,一定有想要查找当前目录下的源代码文件中的某些字符的需求,这时候如果使用传统方案,你可能需要输入一长串的命令,比如这样:1. grep -R 'string' dir/ 或者grep -r -e string directory2.grep -rnw 'directo... 阅读全文
posted @ 2015-04-21 12:48 fandyst 阅读(1663) 评论(0) 推荐(0) 编辑
摘要:我们在使用一些开源程序之前,可能会使用ab工具在服务器或者本地进行一次性能评估,但是很多时候却总是会以失败告终,因为,服务器会拒绝你的ab工具发出的http请求, 出现 error:connection reset by peer, 这该怎么办呢?首先,为了测试一个具有sql操作的页面,通常需要登录... 阅读全文
posted @ 2015-04-20 18:58 fandyst 阅读(3740) 评论(0) 推荐(0) 编辑