國共內戰由北向南，並往內陸、沿海發展，國軍雖撤退來台，但仍有部隊控制諸多沿海島嶼，因此就算能夠安全抵達臺灣，也並不表示人生就此遠離戰事，李樂軍來台後獲得短暫喘息後再度遭遇意料外的轉折。

陸軍官校來台復校第一期是24期，此前李樂軍已進入陸官醫務所工作，並利用工作之餘補習完成高中學歷，1956年(民國45年)1月臺灣正式開始依梯次徵兵，就在李樂軍期待進入衛勤學校專科班進修時，國防部發佈命令要求無職務任士官的軍官退役，於是李樂軍白天四處求職，走投無路的困境下，李樂軍接受乾媽建議求助於任職臺灣省建設廳工程總隊的劉思鎮將軍，工程總隊下有五個總隊外加一個技術總隊，李樂軍進入第五總隊擔任醫務人員，1956年(民國45年)7月石門水庫工程開工，該隊負責興建通往水庫的運輸道路，李樂軍7月1日退伍，9至10月間李樂軍來到工程隊醫務所服務，開始跑工地，11月第一次領薪水，但1957年(民國46年)1月一紙命令來到，命令第五總隊調往花蓮，參與中橫公路的興建工作，第五總隊有一千多人，於2月20號抵達太魯閣，人員先住在峽谷之外，並派人進入峽谷尋找可供人員住宿的地點，4天之後，他們遇上7級以上的花蓮烈震，工程人員死傷慘重，因為他在地震中救治傷患的英勇表現，才讓他在醫務所中掙得一席之地。