舊山線在三義鄉中經過不少村落，由北至南分別是雙湖村（雙草湖）、廣盛村（三叉河）、勝興村（十六份）、龍騰村（魚藤坪）與鯉魚潭村等五個村落，在全鄉中僅雙潭村與西湖村未經過。結合這些地方原有的族群、地形與產業條件，舊山線在各個村落發展出獨特的地景。

首先，雙湖村大多為廣東省移民，雙湖顧名思義為具有兩個濕地的盆狀低地，最早的舊山線車站在此設置，為「三叉河停車場」，也就是後來的三義火車站。跟著往下至廣盛村三叉河一帶，是羅芳華等人、金華生墾號與吳清初等三批人馬，從18世紀末至19世紀末相繼開墾之處，聚落因繁榮的物產運輸而逐漸形成市街。而勝興村自道光年間便有部分客家人進入二十份、十六份開墾，因樟腦等貨物運輸繁忙，自日治時期起設立「十六份停車場」，即勝興車站的前身。接下來的龍騰村，為1866年楊清安開拓的魚藤坪地區，舊山線因應此處地形變化，有了全臺鐵路海拔最高的隧道──二號隧道，供作火車爬坡前緩衝的折返線與安全側線，還有自溪谷拔地而起的雄偉橋梁──魚藤坪橋。最後，有別於其他村落以客家人為主，舊山線在三義鄉南端的鯉魚潭村，主要是18世紀起移墾至此的巴宰族聚落，他們貢獻出部分領地予舊山線，在巴宰族生活的鯉魚潭上方則有內社川鐵橋通過，與相繼的3-6號、7號隧道。