菜鸟的轨迹

长度为N的数据流,要从中随机取得k个数据,N很大(可能大于你的内存和磁盘容量)且未知,只能遍历一次,求怎样可以取得完全随机的k个数据。

方法为:

1、定义一个长度为k的数组存储前k个数据

2、数据流流动,当输入的数据流的数据数量为i(k<i<N)时,取一个1到i的数字,如果生成的数字小于k,则把这个数字所对应的数组内的数字与i上的数进行交换。

完成这两步之后便可以实现在长度为N的数据流中取出k个随机数的目的了。

接下来将会证明对于N个数据,每个数据被取到的概率均为k/N。

证明:

采取数学归纳法证明对于输入i个数据(k<i<N)时,前i个数据被放入数组的概率都为k/i.

1、当i=k+1时,易得前i个数被放入数组的概率均为k/(k+1);

2、假设当i时,所有数据被放入数组的概率均为k/i.

3、证明当i+1时,所有数据被放入数组的概率均为k/(i+1)

首先对于第i+1个数据,,显然它被放入数组的概率为k/(i+1)

对于前i个数据中的任意一个,它被放入数组的概率为k/i(由2),而它在输入第i+1个数据后仍然留在数组的概率应该为“它被输入到数组并且没有被第i+1个数据置换出来的概率”。

"被第i+1个数据置换出来的概率"此概率为((k/(i+1))*(1/k)=1/(i+1)

"没有被第i+1个数据置换出来的概率"此概率为1-1/(1+i)=i/(1+i)

“它被输入到数组并且没有被第i+1个数据置换出来的概率”此概率为k/i*(i/(1+i))=k/(1+i)

所以对于i+1个数据流,每一个数据被输入到数组的概率均为k/(1+i)

证明成功

我提着行李,独自一人向远方走去,夕阳将我的身影拉得斜长,

菜鸟的轨迹

相关文章:

你感兴趣的文章:

标签云: