吃過中飯后，老段一般會在內客廳睡個中覺，然后有客的時候會客，無客的時候就與棋手們下下圍棋，或者找一些詩人搞搞詩會，當時王揖唐、梁鴻志等人便是段府的常客。晚飯之后，老段照例要打一會牌(麻將)。

　　段祺瑞非常喜歡下圍棋，當時他還特意養了一批棋手，后來加入日本籍的國手吳清源，他小的時候便經常陪老段下棋，每月發給工資。據說，那些棋手和段祺瑞下棋時都十分識相，既不能贏段祺瑞，因為老段自尊心很強，輸了他會很不高興；但也不能多輸，因為多輸的話，會讓段祺瑞看不起。

　　據稱，有一次段祺瑞和兒子段宏業下棋。棋到終盤，段祺瑞大負，氣得他跳起腳來，把棋盤掀翻，并怒斥段宏業道：“你這小子，一無所能，就知道玩這個，你以后有什么出息？”段宏業被斥后，只得諾諾而退(想必兒子輸給了他，段祺瑞又會笑罵：“你這小子，連個棋都下不好，你以后還能干什么？”)。段宏業是到段祺瑞的大兒子，平時最喜歡吃喝玩樂，素無大志，他在外面一向是花天酒地，唯獨見了老段就像是老鼠見了貓，大氣也不敢出一聲，這不，贏了棋還被老段斥責一頓，他屁也不敢放一個。

　　唯獨有個小棋手卻不畏懼段祺瑞，這就是后來成為著名棋手的吳清源。吳清源做段府的棋手時年紀還小，也最受段祺瑞的喜愛。他在和老段下棋的時候到是毫不客氣，倆人經常能下個旗鼓相當，但隨著吳清源水平的不斷提高，段祺瑞和他對弈往往輸多贏少，后來也就不再和他下了。吳清源后來入了日本籍，成為日本圍棋界的一流高手。