algorithm - 随笔分类(第13页) - papering

Fast and Accurate Traffic Matrix Measurement Using Adaptive Cardinality Counting

摘要：paper-CaiPan.pdf http://conferences.sigcomm.org/sigcomm/2005/paper-CaiPan.pdf 阅读全文

posted @ 2018-12-17 16:43 papering 阅读(179) 评论(0) 推荐(0)

摘要：亿级别G级别文本数据去重文件总行数字节数去重后行数 [root@d mongoexport]# wc -l superpub-ask-question.csv126530681 superpub-ask-question.csv[root@d mongoexport]# awk '!a[$0] 阅读全文

posted @ 2018-12-17 16:19 papering 阅读(776) 评论(0) 推荐(0)

Java使用极小的内存完成对超大数据的去重计数，用于实时计算中统计UV

摘要：Java使用极小的内存完成对超大数据的去重计数，用于实时计算中统计UV – lxw的大数据田地 http://lxw1234.com/archives/2015/09/516.htm Java使用极小的内存完成对超大数据的去重计数，用于实时计算中统计UV 编程语言 lxw1234@qq.com 3年阅读全文

posted @ 2018-12-17 15:49 papering 阅读(2649) 评论(0) 推荐(0)

RSA算法原理与加密解密求私钥等价求求模反元素等价于分解出2个质数 (r*X+1)%[(p-1)(q-1)]=0 A message is encrypted by representing it as a number M

摘要：Rsapaper.pdf http://people.csail.mit.edu/rivest/Rsapaper.pdf 【概述Abstract 1、将字符串按照双方约定的规则转化为小于n的正整数m，可能分为多段，这不是关键； 2、加密过程同解密过程，都是取明/密文的public/private次方阅读全文

posted @ 2018-12-17 11:11 papering 阅读(1082) 评论(0) 推荐(0)

随机采样算法

摘要：import randoml = [2, 56, 6678, 88, 6, 43]num = 2sub = random.sample(l, 2)随机采样算法阅读全文

posted @ 2018-12-14 09:16 papering 阅读(154) 评论(0) 推荐(0)

HanLP https://pypi.python.org/pypi/sumy/

摘要：HanLP - 汉语言处理包 http://hanlp.linrunsoft.com/doc.html https://pypi.python.org/pypi/sumy/ 阅读全文

posted @ 2018-12-12 18:49 papering 阅读(260) 评论(0) 推荐(0)

asymmetric cryptographic algorithm

摘要：https://baike.baidu.com/item/非对称加密算法/1208652?fr=aladdin 主要算法编辑主要算法 RSA、Elgamal、背包算法、Rabin、D-H、ECC（椭圆曲线加密算法）。使用最广泛的是RSA算法，Elgamal是另一种常用的非对称加密算法。 Elg 阅读全文

posted @ 2018-12-12 15:07 papering 阅读(583) 评论(0) 推荐(0)

最大分区数分区限制

摘要：Maximum number of partitions. MySQL :: MySQL 8.0 Reference Manual :: 23.6 Restrictions and Limitations on Partitioning https://dev.mysql.com/doc/refma 阅读全文

posted @ 2018-12-12 13:56 papering 阅读(416) 评论(0) 推荐(0)

LINEAR HASH Partitioning

摘要：MySQL :: MySQL 8.0 Reference Manual :: 23.2.4.1 LINEAR HASH Partitioning https://dev.mysql.com/doc/refman/8.0/en/partitioning-linear-hash.html MySQL 8 阅读全文

posted @ 2018-12-12 12:00 papering 阅读(405) 评论(0) 推荐(0)

对10进制16位长的主键的缩短处理 NULL

摘要：# 对问题表去除旧有主键，新建自增主键；ALTER TABLE `question`CHANGE COLUMN `id` `id16` bigint(20) NULL COMMENT 'id_to_drop' FIRST ,ADD COLUMN `idnew` bigint NOT NULL AUT 阅读全文

posted @ 2018-12-10 17:01 papering 阅读(261) 评论(0) 推荐(0)

缓存策略半自动化就是mybaitis只支持数据库查出的数据映射到pojo类上，而实体到数据库的映射需要自己编写sql语句实现，相较于hibernate这种完全自动化的框架我更喜欢mybatis

摘要：springboot入门（三）-- springboot集成mybatis及mybatis generator工具使用 - FoolFox - CSDN博客 https://blog.csdn.net/travellersy/article/details/78620247 2017年11月28日阅读全文

posted @ 2018-12-06 09:01 papering 阅读(208) 评论(0) 推荐(0)

单位时间内逐渐递增的整数

摘要：单位时间内逐渐递增的整数阅读全文

posted @ 2018-12-03 16:42 papering 阅读(159) 评论(0) 推荐(0)

调整计时元年，缩短时间戳数据长度

摘要：调整计时元年，缩短时间戳数据长度阅读全文

posted @ 2018-12-03 16:30 papering 阅读(518) 评论(0) 推荐(0)

distributed hash table chord

摘要：distributed hash table chord 阅读全文

posted @ 2018-11-30 09:06 papering 阅读(145) 评论(0) 推荐(0)

数据去重优化 MemoryError 内存不足

摘要：修改代码更换主机为16G >32G(开启进程前，内存消耗约5G) 6核 >同规格8核(之前cpu消耗情况未统计) cat /proc/cpuinfo processor : 7vendor_id : GenuineIntelcpu family : 6model : 63model name : 阅读全文

posted @ 2018-11-29 09:33 papering 阅读(544) 评论(0) 推荐(0)

为什么要弄清楚 mysql int(5) int(11) bigint 自建mysql主键id python random 科学计数法

摘要：场景：有1.2亿条问答数据，相同问题的不同答案为不同条的数据，且该表数据逐日递增；第三方需求（不合理）：将问题、答案数据分别放入问题表、答案表；问题表的主键为整数，在答案表中，每行数据有相应的问题表的主键值；为加快写入速度，不去问题表查找主键id，而在写库前，由脚本生成问题表的主键id，分阅读全文

posted @ 2018-11-28 18:19 papering 阅读(654) 评论(0) 推荐(0)

collision weaknesses

摘要：15.1. hashlib — Secure hashes and message digests — Python 3.5.6 documentation https://docs.python.org/3.5/library/hashlib.html sha224 40 56sha256 40 阅读全文

posted @ 2018-11-28 11:16 papering 阅读(177) 评论(0) 推荐(0)

【面试题】给40亿个无符号不重复且没排过序的数，查找一个数是否在这40亿个数之中

摘要：【面试题】给40亿个无符号不重复且没排过序的数，查找一个数是否在这40亿个数之中 - 天涯海角 - CSDN博客 https://blog.csdn.net/peiyao456/article/details/53064755 2016年11月07日 11:24:11 看到这样一道面试题，我们不由的阅读全文

posted @ 2018-11-26 19:16 papering 阅读(1030) 评论(0) 推荐(0)

1.2亿问答数据-问题去重怎样对10亿个数字快速去重？——浅析位图数据结构及其应用

摘要：怎样对10亿个数字快速去重？——浅析位图数据结构及其应用 - 张海拔 - 博客园 https://www.cnblogs.com/zhanghaiba/p/3594559.html 怎样对10亿个数字快速去重？——浅析位图数据结构及其应用最近有个朋友问我一个算法题—— 给你几亿个QQ号，怎样快速去阅读全文

posted @ 2018-11-26 19:06 papering 阅读(692) 评论(0) 推荐(0)

一致性hash 大众点评订单分库分表实践

摘要：大众点评订单分库分表实践 https://mp.weixin.qq.com/s/MwRbAhG5o2m9DYc5beLm7Q 李华慰井底之蛙 2016-02-19 背景订单单表早已突破两百G，因查询维度较多，即使加了两个从库，各种索引优化，依然存在很多查询不理想的情况；加之去年大量的抢购活动的开阅读全文

posted @ 2018-11-26 18:49 papering 阅读(2381) 评论(0) 推荐(0)

papering

随笔分类 - algorithm