回到家中后，看著自己年幼的弟弟妹妹(大妹啟英12歲，二弟啟輔10歲，小弟啟勛9歲)，18歲的段祺瑞心情十分沉重。作為家中的長子，段祺瑞在父母雙亡的情況下，必須承擔起照顧弟弟妹妹生活的重擔。

　　家庭的變故和養(yǎng)家糊口的重擔，使得段祺瑞心事重重，愁眉不展。作為普通一兵，段祺瑞是看不到生活的希望的。時來運轉(zhuǎn)的是，李鴻章在1885年創(chuàng)立了天津武備學堂并擬從淮軍中招收學員，剛滿20歲的段祺瑞聽說這一消息后喜出望外，他決心要抓住這改變命運的絕好機會，于是立刻報名應(yīng)征并在考試中名列前茅，最終被選入炮兵科學習。

　　兩年后，段祺瑞以“最優(yōu)等”的成績從學堂畢業(yè)，隨后又被選派到德國去學習軍事。據(jù)說，在初選名單里本來是沒有段祺瑞的，但李鴻章看到選派人員中安徽籍的只有兩個人，心中十分不悅，于是把山東籍的劃掉一個，而改選了一個自己的小老鄉(xiāng)，這個小老鄉(xiāng)就是段祺瑞。說起來，李鴻章被人稱為“李合肥”，段祺瑞后來也被稱為“段合肥”，這兩人還真有點緣分呢。

　　到德國后，段祺瑞等人進入柏林軍事學校學習。在校期間，段祺瑞還鬧起了剪辮風波，因為德國人看到中國人留著長辮子，覺得十分可笑，暗地里罵他們是“中國豬”，段祺瑞氣憤難平，于是拿起剪刀要剪掉腦后的辮子。這時，督學蔭昌正好進來，他看見段祺瑞要剪辮子，慌忙加以制止，這才避免了一場麻煩。