我終於查到了一段文章
在民國79年10月吉文書局出版的宅運新案(策群著)P24中有洛書溯源一段：
...(前略)，神龜顯瑞，龜背有文，中五立極(後有小字：中有五點黃色)，戴九履一(後有小字：近頸處有九點紫色，近尾處有一點白色)，左三右七(後有小字：三點碧色，七點赤色)，二四為肩(後有小字：左上有四點綠色，右上有二點黑色)，六八為足(後有小字：左下有八點白色，右下有六點白色)，大禹因之而作九籌，千載而下...(後略)
從這裡可看出大概吧
顏色跟數字一樣，也是由烏龜圖來的
參考參考