月影舞华

摘要： 1.spark mongo 读取 2.error code 6 3.error code -5 Caused by: com.mongodb.MongoCursorNotFoundException: Query failed with error code -5 and error message 阅读全文

摘要： 第一部分 在搭建mongoDB之前，我们要考虑几个小问题： 1、我们搭建集群的目的是什么？是多备份提高容错和系统可用性还是横向拓展存储大规模数据还是两者兼有？ 如果是为了多备份那么选择replication集群搭建即可，如果是为了处理大数据则需要搭建sharding集群，如果两者兼有需要对每个sha 阅读全文

摘要： 直接结论： 1、linux解压文件乱码： unzip -O GBK *.zip 2、linux改变文件内容编码： 安装enca，下载地址：https://github.com/nijel/enca/issues 使用方式： enca -L zh_CN -x utf-8 ${Path}/* 3、使用安 阅读全文

摘要： 话说，为什么我又要跑去搞fpga玩了，不是应该招个有经验的开发人员么？大概是练度不够吧…… Xilinx这个板子阿，真鸡儿贵，我这还没啥基础，慢慢试吧： 看了乱七八糟各种文档先不提，我还是决定先控制LED玩玩，应该挺简单吧 首先写了段verilog: 然后指定引脚，把clk_p指定成user_clo 阅读全文

摘要： 使用熟悉一点的系统来测试TitanDB，HBASE+ES，记录下来一些小tips。 1、首先TitanDB支持的Hadoop只有1.2.1，所以Hbase自然也只能取到0.98，虽然官网上提供了titan-1.0-hadoop2，但是并不好用，向hbase存数据时会报错，原因是因为hadoop1的c 阅读全文

摘要： 在试各种乱七八糟的集群中，突然发现了一个问题，假如在一个闭网环境下安装某些集群软件的时候服务器之间的时间不同步（如HBase），会导致启动失败。那么就需要进行时间同步。可是往常都是网络校准的，没网的集群只能自己搞一个同步服务器了。 查看资料之后发现这东西还是挺简单的，ntp自带server，只不过默 阅读全文

摘要： 前一阵试了试写Dockerfile创建docker image，但有时全靠Dockerfile写实在有些难度，退而求其次试一试使用commit来创建镜像： 想了想干脆创建一个Java+Scala+Tomcat的环境好了，首先创建一个拥有操作系统的container： 其中，-it的意思是这个： 然后 阅读全文

摘要： 前一阵阅读了google的borg论文，在最后的related works和总结中发现了kubernetes。从论文中了解的kubernetes这个东西很有意思，按照论文所说，它的实现有希望解决an entire multi-job service的统一调度，这个对于目前的调度系统算是一个难题了。当 阅读全文

摘要： 我们知道，spark中每个分片都代表着一部分数据，那么分片数量如何被确认的呢？ 首先我们使用最常见的HDFS+Spark，sparkDeploy的方式来讨论，spark读取HDFS数据使用的是sparkcontext.textfile(Path, minPartitions)： 1 def text 阅读全文

摘要： 这题最简单的想法是深搜+记录，由于数据量比较小。这么做可以AC。如果在h大的情况下这种递归方法总会有一些问题。 如果转换一下，这个可以使用递推来解决，先对高度进行由低到高的排序，然后顺序对这些高度计算路径长度，可以通过数学归纳法证明此方法的合理性： 1、首先我们来考虑：一个高度如果是最小，那么由它开 阅读全文