后来，在戊戌维新的第二年，我父亲升任山东巡抚。据他以后说起，他在山东巡抚任上，一共做了两件大事：一件是剿办山东境内的所谓“拳匪”；另一件是在八国联军入侵时期“保境安民”。除此之外，他为了了解山东全省各府、州县官民的情况，时常派人出去分头密查。他在派员密查什么事情的时候，总是先派一个人去，接着再派另一个人还是到同一个地点查同一件事情。这两个人都对他直接负责，彼此之间谁也不知道还另有一个人在做着工作。如果这两个人所查的结果，互不相同，他就还照以前的办法另外再派两个人分头去查，然后再把这次所查的结果和上次的互相对照。对查报实在的给以奖励，对那谎报不实的给予处罚。以后他在直隶总督任上，也还是经常使用这种方法。他后来常对我们说：“做一个长官，最要紧的是洞悉下情，只有这样，才能够举措适当。如果受着下边的蒙蔽，那就成了一个瞎子，哪有不做错事的？”他每次说这种话的时候，一定要举出上面的那个方法为例。看起来，他对于那样的做法，是感到得意。
辛丑条约签订以后，李鸿章病死了。我父亲奉命继李鸿章之后，由山东巡抚升署直隶总督兼北洋大臣。
现在只准备谈一谈他在这个时期的两件事。一件是，清廷认为湖广总督张之洞、两江总督刘坤一和我父亲在八国联军入侵时期，共保东南疆土，勋劳卓着，同晋太子少保衔。太子少保本来是一个空衔，但在封建王朝得到这个头衔，是很荣耀的。我父亲特别喜欢这个头衔。他最喜欢人们称呼他为“袁宫保”。所以我们家的佣人们，在他没有做总统以前，是一直称呼他“宫保”的。
另一件，是大哥袁克定告诉我们的。当西太后和光绪帝“回銮”以后，由于宫内被外国军队住过一个时期，遭到很大的破坏，特别是宫殿里的陈设，绝大部分都被抢走或毁坏了，因此西太后在我父亲“陛见”的时候，要他赶紧筹集款项来置办这些物品。当时直隶省内的很多地方还没有恢复正常秩序，就是向人民摊派，也是缓不济急。他为了迎合慈禧，除了已经设法筹措了一些款子外，还邀集了藩、臬、司、道等官前来商议。他说他要暂时借用他们的私人款项来垫办，以后再陆续归还。可是这些人不但不肯解囊，反而向他诉起穷来。我父亲一见如此，只得暂时作罢。接着，他便不动声色地派一个人和天津的几个大票号如蔚长厚钱庄等接洽，说是要把一些公款存在他们票号里，问他们利钱能给多少？他们回答，最高只能到8厘。
这个人一面假称听说别的票号里的利钱比这个数字要多一些，一面仍然同票号里的人继续磋磨。票号里人为了取信于他，就先后把账簿拿出来，并将某官署或是某官个人的存款数字以及利息多少，一一指给他看。这个人就把各个有关的个人存款数字，一共约有100余万两，一一记清，回复了我父亲。过了一两天，我父亲又把上面这些人请来，和他们说了大致经过，然后说：“这些票号的掌柜实在太可恶，他们竟敢冒用诸公的名义来招摇撞骗。为了惩诫他们，我已经把这些冒名顶替的存款暂时借用了。”
我父亲自从投奔吴长庆，得到他的提携以后一直一帆风顺，飞黄腾达。他在清朝最后的一个官阶是军机大臣兼外务部尚书。过了一年多的时间，西太后和光绪帝相继死去，皇位由醇王载沣的儿子溥仪继承，载沣监国摄政。有一天，庆王奕匡力向我父亲透露说，载沣将要有不利于他的举动，最好赶快躲避一下。这时候，杨士聪他是当时直隶总督杨士骧和后来我父亲倚如左右手的杨士琦两个人的八弟。正做着京津铁路督办，便在夜间护送我父亲到了天津，住在法租界利顺德饭店。我父亲原想由天津逃往日本。可是，我父亲的门生杨士骧得到消息以后，立刻派他的儿子两次到顺德饭店说明利害，劝我父亲回京，他自己却避嫌没有出面。我父亲接受了杨士骧的建议，这才又回到了北京。
彰德“隐居”
我父亲回到北京以后不久，就接到了让他“回籍养疴”的命令。这时，他内心的恐惧，才慢慢地缓和下来。当时彰德的住宅正由我大哥袁克定监工修缮改建，尚未完工。我父亲便带了第五、第七两个姨太太由北京先到河南辉县暂住。我们家里的人原来也是非常恐慌的，除了北京锡拉胡同的住宅里留有一些人看家以外，大部分人都逃到了天津，借住在梁宝生他是一个很有钱的人。的家里。我父亲到了辉县，最初真是“闭门思过”，后来才渐渐活动起来。直到1909年5月间，彰德北关外洹上村的住宅大致修好，我父亲才让人把所有家眷接来一同搬入新居，开始了他的“隐居”生活。
我父亲的隐居生活，是有着他的长期打算的。我父亲在洹上村的住宅，原是天津某人修造的别墅，洹水流过它的前面。这所别墅原有的房子并不很多，大哥所监工修建的，只是我们家里人所必需居住的一部分房屋，还有很多工程都是在我父亲搬进去以后才陆继完成的。首先在住宅外面修了高大的院墙，院墙周围还修筑了几个炮楼。
当时的地方当局，还派两营马队叫做马一营、马二营。驻在那里护卫着，看起来仿佛是一个寨子似的。在这个“寨子”里，修建了一些“群房”，部分男佣人的家眷就住在里面。此外，还开辟了菜园、瓜园、果木园、桑园等各种园子，也饲养了猪、羊、鸡、鸭之类的家畜家禽，以备全家上下日常食用。我们的住宅有很多的四合院，它们另有一道墙围绕着。他整修了一座花园，取名“养寿园”。他雇人在养寿园里叠石为山，栽种了很多花草和桃、杏、枣等果木树；还把洹水引进园里，开凿了一个大水池，池里种植了一些荷、菱之类，养殖了很多活鱼。我父亲喜欢吃的熏鱼，是二姨太太的拿手菜，她就常常养蟹，每个人都用高粱米和芝麻来喂养自己所有的螃蟹。等到秋深蟹肥的时候，大家都兴高采烈地自己捕来自己吃。池内还修有一座水心亭，必须坐船才能到达亭上。每年夏季或月圆的时候，我父亲常和全家人划船过去，在那里吃饭赏月。他有的时候独自和我的生母三姨太太荡舟赏月。我母亲会弹七弦琴。这个时候，他对着皎洁的月光，听着悠扬的琴音，是十分高兴的。有的时候他俩一边下围棋，偶然一语不合，也会闹起气来。有一次我母亲竟气得把棋盘、棋子都扔到水里了。
我家当时上下人口是很多的。为了筹措这么多人的日常生活用品，我父亲早就在彰德置买了不少田地，因此粮食是不成问题的。那时候，园里又饲养了家畜、家禽、活鱼，因此副食也就供应无缺。园子里产的瓜果等，还可以卖到市上换回钱来。他甚至在南方请来了一些蚕娘和纺纱娘这些人也都住在宅子外面的“群房”里，让她们养蚕和缫丝。缫出来的丝，就送到他在彰德所办的纺纱厂里织成绸缎出售。他时常带着家里人去看她们喂蚕、缫丝。同时，也让各房自己喂蚕，自己缫丝，所得的丝价就归各房自己支配。家里还用了一个姓葛的采买，每天总要进城采办一次，每隔两、三个月，还要专程到天津、上海购买那些彰德买不到的吃、穿、用的东西。葛在去天津、上海之前，总是逐一向各房问明需要买些什么。这时，各房就开列清单，交他办理。所有需用的款项，都是由账房支付的。
这里要着重谈谈我父亲的所谓“隐居”生活。他每天起床后，就和我三伯世廉当时因病由徐州道解职后前来彰德，住在宅子里的西院，后来病重身死，我五叔又搬来同住。下棋谈心。有时他就独自到花园内钓鱼。他曾照有戴着斗笠、披着蓑衣、在渔舟上静坐垂钓的相片，以表示他超然世外。遇到亲戚来看望他的时候，也时常和他们下棋来消磨时光。他有时还把河南坠子和“柳子戏”的艺人叫来演唱。在过年的时候，总有他的一些“北洋”老部下来给他拜年；同时，住在项城老家里的我六叔等人，也来洹上和他共度佳节。这时候，他就叫人传北京京剧界的名角，如谭鑫培、王瑶卿、王惠芳、杨小朵、德君如等来唱“堂会”。这种“堂会”戏，在他和正妻于氏过寿的时候，也同样是“传”来唱过的。
记得有一天，大概是在宣统三年1911年，正是川汉铁路国有事件刚刚爆发的时候，端方他是我父亲的把兄弟。奉旨南下查办。端方特地前来彰德和我父亲面谈，我父亲当晚还放映电影来招待他。他们谈话的内容，自然是保密的。他们在这次会面中订下了儿女们的两门亲事：一个是，二姐仲祯许给端方的侄子；另一个是，端方的长女许给五哥克权。后来，端方、端锦两人同时在四川资州被杀身死。端方弟兄4人的家眷都改成汉人装束逃难到彰德来。他们匆匆前来，人数很多，只得暂时在各房挤着住，以后才先后离去。
我父亲在做官的时候很少做诗，但回彰德以后，有时也和前来访问的友人们互相唱和。他曾把这些唱和的诗句，编为《圭塘唱和诗集》，圭塘是洹水上的桥名。记得在诗集里有这样几首：
次王介艇丈游养寿园韵
乍赋归来句林栖旧雨存
卅年醒尘梦半亩辟荒园
雕倦青云路鱼浮绿水源
漳洹犹觉浅何处问江村
和江都史济道女史月下游养寿园诗
曾来此地作劳人满目林泉气势新
墙外太行横若障门前洹水喜为邻
风烟万里苍茫绕波浪千层激荡频
寄语长安诸旧侣素衣蚤浣帝京尘
登楼
楼下级容膝檐高老树齐
开轩平北斗翻觉太行低
晚阴看月
棹艇捞明月逃蟾沉水底
搔头欲问天月隐烟云里
自题渔舟写真二首
（其一）
身世萧然百不愁烟蓑雨笠一渔舟
钓丝终日牵红蓼好友同盟只白鸥
投饵我非关得失吞钓鱼却有恩仇
回头多少中原事老子掀须一笑休
（其二）
百年心事总悠悠壮志当时苦未酬
野老胸中负兵甲钓翁眼底小王侯
思量天下无磐石叹息神州变缺瓯
散发天涯从此去烟蓑雨笠一渔舟
他的诗确实做得不算好，但是从诗里却可以看出一些自负和不甘寂寞的复杂心情。如“素衣蚤浣帝京尘”、“吞钩鱼却有恩仇”、“搔头欲问天，月隐烟云里”等诗句，表达了他对清廷不满的情绪。又如“漳洹犹觉浅，何处问江村”、“开轩平北斗，翻觉太行低”、“野老胸中负兵甲，钓翁眼底小王侯”等句，却深深地道出了他待时而动的心机，表明了他在彰德隐居的实质。
事实上，他也的确不是一个逃避红尘、澹泊名利的隐士。他虽然身居乡村，却时常有一些朝野要人来看望他，询问他对于当时某些事情的看法。像上面所说的端方，就是这些要人之中的一个。那时，他每天要接到很多从各方面发来的信件和电报。为了处理这些信、电，他每天上午要用一、两个小时的时间来办理“公务”，他设置了一个电报房，从而能够更迅速地和各方面加强联系。他向各方面伸出了触角，等待着再起的时机。
东山再起
辛亥革命爆发，我父亲终于得到了“东山再起”的机会。这时候，清廷为了镇压在武昌起义的革命军队，派了陆军部大臣荫昌带领冯国璋、段祺瑞率北洋军两镇南下“讨伐”。当荫昌和冯国璋经由京汉铁路南下的时候，都曾先后在彰德下车来看望我父亲，并且征求他对于国事的意见。我父亲当时对荫昌表示：“久居乡野，对国事未敢置辞。”可是对他的老部下冯国璋，却指示了“慢慢走，等等看”的六字方针。冯国璋确实是依照他的指示来执行的。因此，北洋军队虽然已经陆续南下，但并不积极行动，也不认真听从指挥。这就使得那身居总司令的荫昌陷于十分困难的境地。清廷在万分不得已的情况下，先是起用我父亲为湖广总督，他不肯就任。后来又召回荫昌，改派我父亲为钦差大臣，节制调遣水陆各军，他仍然不肯就任。最后任命他为内阁总理大臣，组织责任内阁，他这时如愿以偿，才答允出山。
在他和清廷讨价还价的时候，他和各方面的信、电往返，更加频繁了。电报房中嗒嗒之声终日不断。朝野要人来看望他的也就更多了。我们那时候年纪还小，虽然不知道来的都是些什么人，但是远远看到一些男佣人们穿梭似地来往传报，我父亲几乎整天都在“办公”和会客，我们意识到他是忙碌极了。这时候，听说他的老朋友，当时的内阁大臣徐世昌也来劝他出山了。那时候三姨太太的住房紧靠着另一个院子里的厢房。我父亲就在这厢房里办公和会客。这两排房屋，虽然不是一个院子，但后窗户却是紧对着的。我们在夜里三、四点钟一觉醒来，总是望见那边的厢房里电灯还亮着，还仿佛听见那边有说话的声音。
最后，我父亲决意出山。全家上下听说以后非常高兴。在他临走的头一天晚上，全家团聚在一起吃饭。他看到大家那样欢乐却叹了一口气说：“你们不要太高兴了，我是不愿意出去的。这次出去了，怕的是不能够好好回来啊！”话虽如此说，他却毕竟是东山再起了。
在他出发以后，有一天，我们家里忽然得到一个惊人的消息，说是第六镇统制吴禄贞吴是同盟会的秘密成员，负责联络北方清军起义。要派人杀害我们全家。这时候，全家上下惊慌万分，毫无办法。我们小姐妹更被吓得手足无措。二姐曾天真地对我说：“要是真来杀我们，我们就顶着花盆藏到花园的池子里去，他们自然就找不到我们了。”不久又传来消息，说吴禄贞在石家庄车站遇刺身亡。在这次事件之后，我父亲考虑到，今后我家如果还住在彰德，未必不再发生同样事件，就让我们全家分批搬到天津。当时我们在天津是分别住在几个地方的：我娘和大哥住在德租界，大姨太太和二哥住在意租界，其余的二、三、五、六、八、九6个姨太太和我们小兄弟姐妹们都住在英租界小白楼“矿物局”。住下不久，全家又按我父亲的指示，分批搬到北京，住在石大人胡同外务部民国时期改名为外交部，石大人胡同也改名为外交部街。内。记得当时第一批来就和他同住的是五、六、八、九4个姨太太和二姐同我姐妹2人。