最近在做项目时有个地方用到了概率,要计算概率自然会用到除法。我这边概率的算法是这样的,从0到10000获取个随机数,随机值除以10000就是概率了,但是一时大意没注意细节,结果直接除了,如下:
Random rdo = new Random(); int intNum = rdo.Next( 0 , 10000 ); float result = intNum / 10000 ;
如果intNum是845,那么理论上应该得到的是0.0845。可是结果却让我大跌眼镜,不管怎么算,结果都是0.0,如果不管怎么随机的话都是 0.0,那就失去意义了。于是百度去,原来C#的除法的精度是根据被除数来决定的,这里的被除数是intNum,它的数据类型是整形,所以这边除出来的结 果自然就取整了。既然这种方式不通,那就只有换种方式了,总之问题总得解决,于是我改成了下面这写法:
Random rdo = new Random(); float intNum = ( float )rdo.Next( 0 , 10000 ); float result = intNum / 10000 ;
Ok,如愿以偿,得到了我想要的答案,比如intNum是845,那么得到的结果是0.0845.C#中解决了这个问题,于是我想到了SqlServer中会不会也有这种情况,于是我试了试,如下:
select 845 / 10000
查询结果等于0,看来SQL和C#是一样的,于是我也换了种写法,如下:
select CONVERT ( float , 845 ) / 10000
查询结果等于0.0845,正确。