随机生成13位绝对无重复随机数的高效方法

问题描述:随机生成13位绝对无重复随机数的高效方法。

 

问题思路:

1、    预先生成好所有无重复随机数并存储,按需取数;

2、    随机生成,即时比对当前所有已生成数。若存在,则重新生成。

3、    寻找一个好的无冲突的hash算法(或冲突概率较低)。

4、    按照一定的算法来生成伪随机数,要求满足一定数量级内无相似度或较低相似度。

随机就不可能不重复,故任何算法不可能实现真正的随机.只是能够在一定程度上防止高频度的碰撞及相似度,从而给外界一个随机的假像.

 

 

思路一的相关方法及问题:

事先生成1-10000000000000,然后分组打乱,重复若干次后,即可获得所有的10万亿的数据。生成13位数(10万亿)大概是2的43次方,假设我们采用4个bit位存储一个数字(满足能表达数目至少大于九的二进制最小长度),那么一个13位的数需要52bit,即约为7Byte(字节),乘以2的43次方,可以预算整个占用空间约为56TB。无论采用何种存储方式的优化,因为随机化后的相似度极低(动态规划中的邻灰度压缩算法,包括使用数据库)优化后也是TB级的数据量,故此基于此思路上实现方法均是不现实的。

 

思路二的相关方法及问题:

 

1、  数据库用生成序列做主键(由数据库来完成不重复判断),插入失败则说明此数据已存

在,方法实现简单易行。

2、排序随机生成的随机数,采用二分查找法,并插入排序队列中的合适位置。

3、人工生成红黑树(AVL),每次插入时判断是否已存在。

 

此三种方法均可以实现,但是从效率而言第三种方法较好,通过数据库异常来确定数据是否重复性能明显是最差的。相比第二种方法,插入采用链表明显效率更高,但是要实现二分查找的随机访问必须要使用类似数组的序列。固采用第三种红黑树的方法是效率最高的。

 

但是这类方法有一个共同的缺陷,当已经生成好50%以上的数据后,这颗树的查找效率是没有问题的,但是这颗树(或者数组)的大小也快接近TB级了。从这个角度来看反而不如第一种思路实现的方法简单。而且举一个例子,十个数里面如果已经取完八个不同的数据后再生成随机数,那么重复抽到已经生成的那八个数中的一个的概率就非常大了,这样分析后可以得到,每生成一个随机数,需要遍历整颗树的次数会随着树的增大而增大,这是不可以接受的。

 

 

思路三的相关方法及问题:

 

1、依次Hash 1-10000000000000个数字,并将结果进行冲突检测。

2、  MD5类似强Hash算法加密固定区间内的数字,如果出现相同则说明无法逆向解密。(需要采用单向唯一映射修改长度)

3、  GUID的生成方法参考。

 

方法一,需要存储相应的结果来进行冲突检测,类似与思路二中的方法3,存储量非常大。方法二和方法三是同一种问题,MD5加密后是生成16或者32位不重复字符,注意这里是字符(0-9a-zA-Z),而GUID随机生成的是128位的字符,故很难找到一种将16、32甚至128位映射到32位且每一位由62(10+26+26)个字符集映射到10(0-9)位的数字字符集的方法来单向映射如此大的数字集之差。

 

 

思路四的相关方法及问题:

这个思路是我们目前推荐的且易于实现。

 

分段链接法;

 

首先我们将数据划分为6+6+1,这就将我们的数据量缩小到百万级。为什么这样划分,是根据一定的时间效率和后面的链接方法决定的。

 

下面我们来讨论随机生成6位随机数的方法:

 

1000000 个数中生成 100000 位随机数花时3s。

1000000 个数中生成 500000 位随机数花时16s。

1000000 个数中生成 800000 位随机数花时43s。

1000000 个数中生成 900000 位随机数花时 > 1h。

故我们选择第三种方案。

生成的数据截图如下:

 

使用同样的方法再重新生成一个6位随机数。

 

链接方法我们采用横向邻近无关联连接法:

如图:

    

 

(此处不使用数据库笛卡尔乘积,而采用程序读取部分数据,并在数据不足时自动缓存下一部分数据)

固此方法可以得到千亿级内不重复,八十万级数据量内无相似度;(对称链接)。而且对于整个的空间消耗都符合要求。

 

下面是关键的数据库随机选取随机数sql脚本。

 

USE   Job

GO

 

CREATE   TABLE   tb2(id   char(6))

CREATE   UNIQUE   INDEX   IX_tb2   ON   tb2(id)

WITH   IGNORE_DUP_KEY  

GO

 

DECLARE   @dt   datetime

SET   @dt   =   GETDATE()

SET   NOCOUNT   ON

DECLARE   @row   int

SET   @row   =   800000

WHILE   @row   > 0

BEGIN

RAISERROR( 'need   %d   rows ',   10,   1,   @row)   WITH   NOWAIT

SET   ROWCOUNT   @row

INSERT   tb2   SELECT

id   =   RIGHT(100000000   +   CONVERT(bigint,   ABS(CHECKSUM(NEWID()))),  6)

FROM   syscolumns   c1,   sysobjects   o--,   syscolumns   c2

SET   @row   =   @row   -   @@ROWCOUNT

END

SELECT   BeginDate   =   @dt,   EndDate   =   GETDATE(),   Second   =   DATEDIFF(Second,   @dt,   GETDATE())

GO

 

SELECT   COUNT(*)   FROM   tb2

GO

 

数据打乱脚本

select identity(int,1,1)   as   rownumber, * into tmp_tb from tb order by NEWID();

select identity(int,1,1)   as   rownumber, * into tmp_tb2 from tb2 order by NEWID();

 

数据合并采用程序控制:

具体合并方法见上图。要点是记录在第一表中的位置,及错开度N。

posted @ 2011-12-22 11:12  天地不仁  阅读(25133)  评论(41编辑  收藏  举报