papering - 博客园

摘要：横向扩展(Scale Out) 与纵向扩展（Scale Up） - kevin.gg - 博客园 https://www.cnblogs.com/problog/articles/2561440.html Scale Out 按字面意思是超过尺寸范围，而Scale Up则是按比例增高。即使用靠增加阅读全文

posted @ 2017-10-14 22:38 papering 阅读(1042) 评论(0) 推荐(0)

补发推后

摘要：阅读全文

posted @ 2017-10-14 13:20 papering 阅读(137) 评论(0) 推荐(0)

异步变化驱动异步调用

摘要：阅读全文

posted @ 2017-10-14 13:12 papering 阅读(133) 评论(0) 推荐(0)

将众多小文件输入Hadoop的解决方案可挂载的HDFS

摘要：配置HDFS为可挂载后： 1-可挂载后才支持非完整POSIX语义； 2-仍然不支持随机写入，仍然为“一次写入，多次读取”； 3-可能误用，导致众多小文件；： 1-使用Solr存储和检索小文件； 2-使用HBase存储小文件，使用路径和文件名称做为键； 3-使用容器格式，如SequenceFiles 阅读全文

posted @ 2017-10-14 09:37 papering 阅读(216) 评论(0) 推荐(0)

zookeeper_action

摘要：连接串从节点列表本地缓存主节点对未分配的任务，随机分配给从节点(不合理？？)从节点保存一个本地待执行任务列表单独的线程对节点已分配任务进行循环进程p为了获锁——＞创建节点znode_/lock且其为临时节点：/lock 临时节点避免该znode崩溃而锁无法释放 https://zookeepe 阅读全文

posted @ 2017-10-14 08:30 papering 阅读(172) 评论(0) 推荐(0)

2017年10月13日

split_brain

摘要：脑裂系统中两个或多个部分开始独立工作阅读全文

posted @ 2017-10-13 23:51 papering 阅读(153) 评论(0) 推荐(0)

时钟偏移

摘要： clock offset 阅读全文

posted @ 2017-10-13 23:32 papering 阅读(238) 评论(0) 推荐(0)

延迟的3部分构成

摘要： 3 阅读全文

posted @ 2017-10-13 23:31 papering 阅读(422) 评论(0) 推荐(0)

对应于算法原型中的“纸条”

摘要： zookeeper 通过共享存储实现进程通信而非直接通过网络信息交换阅读全文

posted @ 2017-10-13 23:28 papering 阅读(162) 评论(0) 推荐(0)

Hive 实际上对于所存储的文件的完整性以及数据内容是否和表结构一致无支配力

摘要：数据位于hdfs路径下 load data into Table t1 load 执行的是复制文件的操作 create Table partitioned by () 创建了分区目录阅读全文

posted @ 2017-10-13 22:44 papering 阅读(493) 评论(0) 推荐(0)

kettle

摘要： kettle——shim——Hadoop 阅读全文

posted @ 2017-10-13 22:20 papering 阅读(161) 评论(0) 推荐(0)

regularexpression_action

摘要： re.compile('"ssid":"[^"]*"}',re.MULTILINE) re.compile('"ssid":"[^"]*"}',re.MULTILINE) 阅读全文

posted @ 2017-10-13 21:11 papering 阅读(962) 评论(0) 推荐(0)

Consumer Group Example

摘要：面向kafka编程 Consumer Group Example https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example The ‘zookeeper.session.timeout.ms’ is how ma 阅读全文

posted @ 2017-10-13 12:59 papering 阅读(258) 评论(0) 推荐(0)

Neural Task Programming: Learning to Generalize Across Hierarchical Tasks

摘要： Neural Task Programming: Learning to Generalize Across Hierarchical Tasks 阅读全文

posted @ 2017-10-13 12:54 papering 阅读(377) 评论(0) 推荐(0)

dm层集市层四层 Build a multi-level data strategy 数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）

摘要：数仓分层介绍及架构_大数据开发治理平台 DataWorks(DataWorks)-阿里云帮助中心 https://help.aliyun.com/zh/dataworks/use-cases/data-layer 在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，O 阅读全文

posted @ 2017-10-13 12:11 papering 阅读(1458) 评论(0) 推荐(0)

图片服务器 sns 加爬虫免上云

摘要：借鸡下蛋阅读全文

posted @ 2017-10-13 02:05 papering 阅读(224) 评论(0) 推荐(0)

不等式放缩维时间戳是数据仓库无时间维度的事实表的灾难度表事实表

摘要：事实聚合计算维度层次关系事实通常是数字型阅读全文

posted @ 2017-10-13 00:12 papering 阅读(293) 评论(0) 推荐(0)

2017年10月12日

MaLoc: a practical magnetic fingerprinting approach to indoor localization using smartphones

摘要： https://www.indooratlas.com/ MaLoc: a practical magnetic fingerprinting approach to indoor localization using smartphones MaLoc: a practical magnetic 阅读全文

posted @ 2017-10-12 10:57 papering 阅读(401) 评论(0) 推荐(0)

Magnetic Fingerprinting Approach to Indoor Localization

摘要： Magnetic Fingerprinting Approach to Indoor Localization 阅读全文

posted @ 2017-10-12 08:54 papering 阅读(197) 评论(0) 推荐(0)

偏函数应用 pfa

摘要：阅读全文

posted @ 2017-10-12 03:01 papering 阅读(158) 评论(0) 推荐(0)

岭回归是连续型的主成分回归

摘要：阅读全文

posted @ 2017-10-12 02:02 papering 阅读(217) 评论(0) 推荐(0)

局部敏感函数的放大处理

摘要：阅读全文

posted @ 2017-10-12 01:16 papering 阅读(180) 评论(0) 推荐(0)

2017年10月11日

惯性导航

摘要：定位阅读全文

posted @ 2017-10-11 23:20 papering 阅读(180) 评论(0) 推荐(0)

航迹推算

摘要：定位阅读全文

posted @ 2017-10-11 23:19 papering 阅读(199) 评论(0) 推荐(0)

地磁场

摘要：定位阅读全文

posted @ 2017-10-11 23:12 papering 阅读(248) 评论(0) 推荐(0)

Optimizer in SQL - Catalyst Optimizer in Spark SQL

摘要： SELECT sum(v) FROM ( SELECT score.id, 100+80+score.math_score+ score.english_score AS v FROM people JOIN score WHERE people.id = score.id AND people.a 阅读全文

posted @ 2017-10-11 20:26 papering 阅读(211) 评论(0) 推荐(0)

社交网络营销对象选择

摘要：阅读全文

posted @ 2017-10-11 19:17 papering 阅读(142) 评论(0) 推荐(0)

Louvain Modularity Fast unfolding of communities in large networks

摘要： Louvain Modularity Fast unfolding of communities in large networks https://arxiv.org/pdf/0803.0476.pdf 【一些算法的思路都很简单；但是数学翻译是严谨的】【0-全局模块度,原始模块度，全局目标函阅读全文

posted @ 2017-10-11 17:34 papering 阅读(497) 评论(0) 推荐(0)

PCA tries to preserve linear structure, MDS tries to preserve global geometry, and t-SNE tries to preserve topology (neighborhood structure)

摘要： https://colah.github.io/posts/2014-10-Visualizing-MNIST/ 阅读全文

posted @ 2017-10-11 16:37 papering 阅读(166) 评论(0) 推荐(0)

维度建模高效性

摘要：阅读全文

posted @ 2017-10-11 13:07 papering 阅读(154) 评论(0) 推荐(0)

chunk

摘要：【为了寻找chunk 文件块】为了寻找某个文件的文件块，存在另一个称为master node 主节点或name node 名字节点的小文件为该文件所用。阅读全文

posted @ 2017-10-11 00:59 papering 阅读(389) 评论(0) 推荐(0)

机架故障

摘要：单节点故障单机架故障阅读全文

posted @ 2017-10-11 00:47 papering 阅读(221) 评论(0) 推荐(0)

分布式底层上层

摘要：分布式底层的一方面：软件栈下层的文件系统分布式上层的一种形式：SQL的某种实现阅读全文

posted @ 2017-10-11 00:42 papering 阅读(241) 评论(0) 推荐(0)

power law 幂定律

摘要： y=cx∧a 卖品销量排名与销量阅读全文

posted @ 2017-10-11 00:23 papering 阅读(179) 评论(0) 推荐(0)

2017年10月10日

visio_action

摘要： bug 沟通效率不能为负值！！ https://blogs.office.com/en-us/2012/11/05/containers-and-callouts-in-visio/?eu=true visio-document——subprocess callouts 【start/end dec 阅读全文

posted @ 2017-10-10 17:35 papering 阅读(249) 评论(0) 推荐(0)