2004年12月9日，袁偉民在離任之際說過這樣一番話：“47年的體育工作，充滿了緊張、激烈、挑戰和艱苦。離任之后，我會參加到全民健身的行列中去，鍛煉身體、享受人生。”果然，解甲歸田后，他幾乎消失在人們的視線中，而是回歸了自己想要的那種生活：讀報、寫字、干家務……

　　曾經運動員的經歷，使得70歲的他玩起各種項目都得心應手，最喜歡的則是網球和高爾夫。身為中國高爾夫協會主席，袁偉民偶爾會為一些活動開桿，而平日和他打球的，大多是他在工作中結識的朋友和往日的弟子，當年的老女排隊員們都知道袁偉民的這個愛好，所以經常招呼“袁頭”出來打球吃飯，在陽光下草地上暢享家庭聚會般的日子。國家體育總局訓練局的網球館里，也常常出現他的身影。據媒體介紹，書法也是袁偉民的業余愛好，閑暇時，他還會幫助夫人做家務，琢磨些居家過日子的小竅門。

　　在擔任中國體育掌門人的那些年，袁偉民非常低調，從不接受電視專訪，退休之后，幾乎所有的著名主持人都通過各種關系要求采訪，但都被他婉拒，因為在他看來：電視是需要剪輯編輯的，難免被斷章取義，是自己無法掌握的；寫書就不同了，“終審權”畢竟掌握在自己手里。所以這五年來，“我自己也在思考，也在總結”，然后才開始動筆，“下來后，(大家)都看不到我了，(關于我的)傳說很多，好的壞的都有，我看得很淡。”今年10月，正好是他從事體育工作50周年。