太安三年（公元304年），河間王司馬顒、成都王司馬穎兵變，張軌派兵三千，東奔京師保衛天子。4

永寧初年（公元301年），張軌出任護羌校尉、涼州刺史。當時鮮卑族背叛，盜匪縱橫州裡，擄掠財物，張軌到任後，當即予以討伐，剿除盜匪，斬首一萬餘人，因而張軌威名大顯涼州，教養實施於河西。張軌以宋配、陰充、泛瑗、陰澹為擺佈得力謀士，征召九郡貴族後輩五百人，建立黌舍，開端設置崇文祭酒，其職位和彆駕一樣，春秋兩季實施以射選士的禮節。秘書監繆世征、少府摯虞夜裡觀察星象，聚在一起說：“天下將亂，出亡之所唯有涼州罷了。涼州張刺史德行宇量不凡，莫非應在此人身上！”

永嘉初年（公元307年），東羌校尉韓稚誅殺秦州刺史張輔，張軌部屬少府司馬楊胤向張軌進言說：“本日韓稚違背上命，私行誅殺張輔，明公手握重兵鎮守一方，應獎懲那些犯警之徒，這也是《春秋》倡導的大義，春秋諸侯之間相互殘殺相互兼併，齊桓公不能救濟，則齊桓公以此為恥。”張軌服從他的建議，派中督護泛瑗帶領二萬兵馬討伐韓稚，先派人給韓稚送去一封信說：“當目前廷法紀混亂不堪，各方諸侯應併力勤王。剛纔獲得雍州文書，說你發兵內鬨。鄙人督察經略一方，義在討伐兵變之徒，將士三萬，絡繹進發，朋友故舊受害之痛，心中怎可言狀！前人作戰，以保天下度為上，你若單人匹馬來軍門賠罪，你我尚可同事安定世難。”韓稚獲得手劄後向張軌投降。張軌派主簿令狐亞聘問南陽王司馬模，司馬模非常歡暢，將天子賜劍送給張軌，對張軌說：“自隴地以西，統統軍政大事皆拜托於你，此劍如同權杖。”6

不久，張軌任命其子張寔為中督護，率兵討伐張鎮。又派張鎮的外甥太府主簿令狐亞前去疏導張鎮說：“孃舅何不審時度勢看清成敗安危？張公在涼州德高望重，兵馬如雲，這就像烈火已熊熊燃燒，你卻等候江漢之水來澆火；溺於大水，希冀越地之人來救濟，豈不是鞭長莫及！現在數萬雄師已兵臨城下，唯有誠懇誠意歸順官府，才氣使親人安然，持續流派，保百口屬幸運。”張鎮痛哭流涕說：“我這是為彆人所誤！”便將罪名加到功曹魯連身上並將其斬首，向張寔投降賠罪。張寔率部南進討伐曹祛，趕走了曹祛。張坦從京師趕回，晉懷帝特下詔慰勞張軌，依準司馬模所奏，命令誅殺曹祛。張軌大喜，赦免州內極刑以下的叛黨。號令張寔率尹員、宋配領步兵馬隊三萬餘眾討伐曹祛，另派處置田迥、王豐率八百馬隊從姑臧西南出石驢，占有長寧。曹祛派麹晁在黃阪一線設防抵當張寔雄師。張寔從隱蔽小道通過浩亹，在破羌與曹祛交兵。張軌斬殺曹祛及其牙門將田囂。

不久，秦王司馬鄴進入關中，張軌便敏捷傳檄相稱中，檄文說：“主上遇險，流落賊營，普天稟崩，舉國沮喪。秦王司馬鄴資質出色聖明仁德，神機果斷以應天時。世祖之孫中，秦王今為父老。凡我大晉之人，糧食之民，占卜取卦剋期儘忠，光亮險惡同心同步。應挑選穀旦，奉尊秦王即位繼位。本日派前鋒督護宋配率步兵馬隊二萬，直抵長安，保護天子，擊退擺佈之敵。西中郎將張寔率中軍三萬，武威太守張琠率胡人馬隊二萬絡繹進發，將於仲秋中旬在臨晉會師。”12