计算机数字位数是有限的,不可能得到与精确解毫不相差的结果,这种由于计算机有限位数带来的误差称为舍入误差。由于计算机的字长有限,进行数值计算的过程中,对计算得到的中间结果数据要使用“四舍五入”或其他规则取近似值。测量上计算的取舍规则为 “四舍六入,五看奇偶”,当舍入的数字为五时,要看其前一位是奇数还是偶数,若前一位是奇数则要进上去,若前一位是偶数则要舍去。因此在进行实际计算时每一步都可能产生误差,这种误差称为舍入误差。例如,一个数学式子的准确关系为:。用数字表示可能是:0.333+0.333-0.667=-0.001。这里就产生了-0.001的舍入误差。这类舍入误差主要由计算过程所取的位数来确定,但在实际应用中难免受到许多限制。另一类舍入误差是在测量中由于测量仪器的精密程度受到限制而产生的,例如,用不同刻划的尺子量距,若记录的位数太少,将会受舍入误差的影响,使测量结果不可靠。如下例:
情形一。用米刻划记录,47,47,47,47,47
情形二。用分米刻划记录,47.3,47.3,47.2,47.2,47.2
情形三。用毫米刻划记录,47.251,47.254,47.244,47.2241,47.243
此例表明,除情形三外,其余两种情形记录的数字位数都是不够的,因为这两种得到了几组相同的结果,这样的结果值得怀疑,应予以改进。舍入误差可用数值分析方法处理。