段達，姑臧（甘肅武威）人。父親段嚴是北朝的朔州刺史，爵位是襄垣郡公。段達三歲襲爵位。史乘載，段達身高八尺，長於騎射。他在隋文帝即位前就跟從隋文帝擺佈。隋朝建立後，段達被封為車騎將軍。在楊廣的晉王府任參軍。