1809年2月，在巴黎，雨果夫人索菲在斐扬底纳胡同12号租了一套宽敞的住室。这是由奥地利的安娜修建的古老修道院的底层。这时她一年收到3000法郎的生活费，不久，又增至4000法郎。
在这里，客厅几乎够得上贵族的标准，光线明亮，充满鸟语花香，空气流通。透过院墙，可以望见瓦尔一德一格拉斯教堂的壮丽穹顶，花园很大，一个庭院，一片树林，一块平地。一片栗树林中开出一条小径，通向一架秋千。可以让孩子们玩打仗的游戏。
雨果兄弟俩很喜欢巴黎，特别喜欢家中那个树木丛生、繁花盛开的花园。他们常常在丛林中玩捉强盗的游戏；欣赏金色的花蕾、雏菊、长春花；观察啮齿动物吞吃小鸟，小鸟啄食昆虫，昆虫间又你撕我咬的情景。
雨果从父亲那里接受了一种狂热的想像力，他把这个既美丽又令人害怕的花园想象成一个神秘恐怖的“原始森林”，每天在花园里寻找着新的东西，进行着新的“探险”。
雨果后来在诗集《光影集》中用诗歌描述了那个令他流连忘返的花园：
在我满头金发的童年，唉！可惜它转瞬即逝！
有三个老师：母亲，老神甫，一个花园。
花园深邃而神秘，又简直大得无边，
围着高墙，挡住了好奇者们的视线。
园中遍地鲜花含笑开放，就像眼睛在张开，
奇蜂异蝶在山石间繁忙。
空中回荡着嗡嗡的蜂鸣。
花园深处像树林，中间就像是空地。
神甫他读荷马和塔西他，博古通今，
老人和蔼可亲，母亲——那就是我母亲！
老教士是指拉里维埃尔，是一位还俗的奥拉托利会成员，与他的女仆结了婚。
他和妻子一起在圣·雅克大街开办了一所学校。当他打算教小雨果念书时，发现他自个儿已经学开了。但拉里维埃尔熟读塔西陀和荷马的著作，能够教他拉丁语和希腊语。在他的帮助下，孩子翻译了《诗简》以及《历史》、坎德·居尔斯和维吉尔的作品。
拉丁语紧凑的形式使他产生了兴趣。小雨果喜爱这门结构缜密、的语言。
莱奥波德决定放弃和妻子和好的打算，但不准备放弃对自己孩子的保护权，他在信中写道：
你很有良心。我也问心无愧。我们且把所有的过失撇在一边，不要追究谁对谁错。让岁月来冲淡这不幸时期的记忆吧。培养你的孩子，叫他们尊敬我们，让他们接受合适的教育，以便有朝一日能做点事情。既然我们感到难以破镜重圆，那么，让我们更爱孩子们吧。
这样，大哥阿贝尔进了中学，而雨果和他的小哥哥则进了一家由一个神甫开的私人学校。
每个星期天，阿贝尔从中学回家，弟弟们便领他在这个天堂玩耍。他几天的不快一扫而光，又变得兴高采烈。
还有两个游戏伙伴来到斐扬底纳，维克多·富歇和阿黛尔·富歇。他们是一起来到巴黎的。
雨果在栗树林中装了一架秋千，他慷慨地让阿黛尔去玩。这个小姑娘自豪地，然而战战兢兢地坐上秋千，再三嘱咐他别把她送得像上次那么高。
他们或者把阿黛尔放进一辆老掉牙，走起来一拐一拐的独轮车里，蒙上眼睛，推着她在小径上走。她必须说出到了什么地方。要是她掀开蒙住眼睛的手帕偷看，他们就把手帕扎紧，然后，厉声喝问：“你来到哪儿了？”
有时候，他们会去拔些撑树的小支柱做长矛，打仗玩。小雨果尽管年龄最小，好胜心却强，不战胜其他孩子便不肯罢休。
雨果曾在文章中写道：
我又看到了我小时候，还是一个天真烂漫的学生，和哥哥们在一起，在花园里绿草如茵的小径上奔跑，玩耍，欢笑。在这个瓦尔一德一格拉斯教堂深暗的圆顶俯瞰着的古老修道院的庭院里，度过了我最初的年月。
在斐扬底纳，沿墙种植的树后面，透过生虫死掉或被挖掉的果树的空缺，可以看到墙上留下的临时祭坛和圣母像座留下的痕迹，以及残留的十字架。
当索菲跟雨果兄弟们来到巴黎不久，莱奥波德上校就被约瑟夫·波拿巴召到马德里。此时，后者已是“西班牙国王”。皇帝封委国君，如同别人任命上校一般容易。
最后，在莱奥波德的弟弟的劝说下，索菲不得不决定带领孩子们前往西班牙。