2015年8月2日

RuntimeError: Broken toolchain: cannot link a simple C program
摘要： 今天Python2.7下安装numpy的时候遇到了此错误，进过查阅发现以下方法可行在Python27\Lib\distutils\msvc9compiler.py 文件中，找到mfinfo = self.manifest_get_embed_info(target_desc, ld_args)行将其... 阅读全文
posted @ 2015-08-02 14:07 Tyoyi 阅读(6366) 评论(0) 推荐(0)

2015年7月31日

Python 金融数据分析库及相关框架
摘要： BackTest框架库：PyAlgoTradeZipLine金融数据分析库：pandas 阅读全文
posted @ 2015-07-31 10:09 Tyoyi 阅读(1028) 评论(0) 推荐(0)

2015年7月29日

numpy unable to find vcvarsall.bat
摘要： 出现这种情况，是需要引用vc的编译器，可以安装vs来解决，并且安装numpy前，设置如下宏SET VS100COMNTOOLS=%VS110COMNTOOLS%SET VS90COMNTOOLS=%VS110COMNTOOLS%再执行即可 阅读全文
posted @ 2015-07-29 17:45 Tyoyi 阅读(176) 评论(0) 推荐(0)
pip windows下的引入
摘要： 安装了python以后，并且环境变量里引入了python安装路径后，想使用pip来安装未安装的模块，但是命令模式里不能执行pip，查看python安装路径，发现pip跟easy_install的执行文件在script文件夹里，所以将script放入path里即可执行pip 阅读全文
posted @ 2015-07-29 17:07 Tyoyi 阅读(227) 评论(0) 推荐(0)

2015年7月10日

QT学习相关
摘要： 1. vs2012的编译器对execution_character_set("utf-8")无反应的bug在vs2013中解决2. 安装上vs2013后，重装的qt插件，发现不能编译的错误，原因是QT版本跟vs2013没有对应造成3. QT有些moc*代码不能生成，后来发现时由于复制代码，造成的编码... 阅读全文
posted @ 2015-07-10 18:19 Tyoyi 阅读(154) 评论(0) 推荐(0)

2015年6月15日

sudo: sorry, you must have a tty to run sudo
摘要： 使用ssh进行无密访问，并发送执行命令的时候遇到了如题的错误执行命令ssh user@host "sudo rm /data/test,txt"sudo: sorry, you must have a tty to run sudo查看资料发现That's probably because your... 阅读全文
posted @ 2015-06-15 17:12 Tyoyi 阅读(559) 评论(0) 推荐(0)

2015年5月29日

HBase使用压缩存储（snappy）
摘要： 在将mysql数据导入到hbase数据的过程中，发现hbase的数据容量增加很快，原本在mysql存储30G容量的数据导入到hbase一直增加到快150G（还未完全导入，手动结束），而采用默认3个备份储存的话，基本上真个集群有450G的容量。查看了一些资料，发现hbase的储存确实耗空间，一般hba... 阅读全文
posted @ 2015-05-29 16:31 Tyoyi 阅读(6635) 评论(0) 推荐(0)

2015年5月20日

Sqoop的使用（Mysql To HBase）
摘要： 最近需要将mysql的数据整合到HBase中，原本使用MapReduce，自己制作job将mysql的数据导入，查阅资料过程中，发现了开源工具sqoop（关系性数据库与HDFS，HBASE，HIVE等）互相导入的工具，于是准备尝试使用，看是否能够满足目前数据转移的需求。sqoop import --... 阅读全文
posted @ 2015-05-20 18:11 Tyoyi 阅读(661) 评论(0) 推荐(0)

2015年5月16日

部署HBase远程访问的问题集合（Eclipse）
摘要： 实现远程访问HBase，可以通过Eclipse开发工具方便进行代码调试。为了方便jar包各种版本的管理，才用maven进行代码构建首先，下载并安装maven以及M2Eclipse插件其次，配置maven的pom.xml文件，加入如下依赖 org.apache.hbase hbase-cl... 阅读全文
posted @ 2015-05-16 10:39 Tyoyi 阅读(832) 评论(0) 推荐(0)

2015年5月14日

CDH安装
摘要： 由于逐渐面临高频数据的问题，所以计划正式启用hadoop分布式计算，去年10月份研究过一段时间hadoop的部署情况，确定使用CDH版本的hadoop（最新5.4.0），主要是考虑维度是减少运维难度以及快速部署上线（当然如果想更好的学习hadoop，还是建议从hadoop原生态版本部署入手）。好脑子... 阅读全文
posted @ 2015-05-14 16:27 Tyoyi 阅读(1016) 评论(0) 推荐(0)

导航