博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2010年3月21日

摘要: 在工作中我发现了一个C#浮点数的精度问题,以下的程序运行结果并未得到我预期的结果:我期望的结果是得到1,结果程序返回的结果为c = 0这让我想到了可能是因为浮点数采用IEEE754的表示方法,在运算中b会转换成double,可能是在转换中算法的问题导致精度丢失,为了证实该问题,我做了下面的实验:这次果然得到了意料中的结果:float在转成double的时候出现了精度的丢失问题a = 0.0001 ... 阅读全文

posted @ 2010-03-21 11:49 Harry Huang 阅读(9782) 评论(0) 推荐(0)