在IQuery中使用除法提示"Numeric value does not fit in a System.Decimal"

起因

有个需求是需要汇总(单耗=单件用量*1+损耗率)的值,由于现在我们数据库中存的XX率都是放大了一百倍(即10%数据库存的是10),然后就很自然的写了个linq汇总如下

materialOrderBomMatQuery.Sum(b => b.QuantityPer * (1 + b.Waste / 100) )

 很理所应当的因为一个数除以100,不可能会存在除不尽的问题,所以就没有处理四舍五入的问题,然后程序也一直相安无事。直至某天提示了“Numeric value does not fit in a System.Decimal”

为什么会突然报错

然后代码一看也看不出啥问题,调试一看,怎么返回的结果小数点后面还多了这多的0

 

 查了下文档,decimal的精度只有28-29位,所以如果整数为只有一个的话就刚好没有超,这就是为什么之前没有报错的原因了

 

为什么出现了这么多的0

然后查了下npgsql的issue,刚好有人提问过,为什么会有这么多尾随零; 看了下回答,那应该只能自行处理了

 

 

 

postgresql中关于除法的文档如下

 

 解决

那既然尾随0不会自动阶段,那我们自行截断处理,需要注意的是如果sum的集合为空的话会返回空值,可以先判断非空再sum,或者把sum中的字段转成可空,再判断sum的结果是否为空

prodWaste.OrderBOMDosage = materialOrderBomMatQuery.Any() ? materialOrderBomMatQuery.Sum(b => decimal.Round(b.QuantityPer * (1 + b.Waste / 100),8) ) : 0;

 

posted @ 2022-12-29 11:57  Cyril-Hcj  阅读(298)  评论(0编辑  收藏  举报