中国自古以来就使用十进位制计数法，一些实用的计量单位也采用十进制，所以很容易产生十进分数，即小数的概念。第一个将这一概念用文字表达出来的是魏晋时代的刘徽。

他在计算圆周率的过程中，用到尺、寸、分、厘、毫、秒 、忽等7个单位；对于忽以下的更小单位则不再命名，而统称为“微数”。

到了宋、元时代，小数概念得到了进一步的普及和更明确的表示。杨辉《日用算法》载有两斤换算的口诀：“一求，隔位六二五；二求，退位一二五”，这里的“隔位”、“退位”已含有指示小数点位置的意义。