苏洵名满京师，但仕途之事并无多大进展，又赶上程夫人去世，匆匆离开京城，回到眉山。
嘉祐三年（1058）十月，苏洵收到雷简夫从京城的来信，报告他一个特大喜讯：听说将召他参加舍人院的考试。这舍人院考试并非常规的科举考试，而是朝廷为特定人物举办的一种考试，既是“特定”，不言而喻就有走过场的成分。苏洵文章写得好，名气也大，又有欧阳修、韩琦、富弼，以及雷简夫等多位重量级人物的大力举荐，所以宋仁宗即想通过这一办法，授予苏洵一官半职，以塞众口。仁宗召他到舍人院紫薇阁应策论试，虽然离欧阳修上书荐苏洵已过七百余日，但无疑是一个千载难逢的机会。多少人求之不得，但苏洵却拒绝参加这次“特考”。十一月五日，召命正式下达，苏洵考虑了半个月，十二月一日，写《上皇帝书》，书中云：“臣本田野匹夫，姓名不登于州闾。今一旦卒然被召，实不知其所以自通于朝廷……以陛下躬至圣之资，又有群公卿之贤，与天下士大夫之众，如臣等辈，固宜不少，有臣无臣，不加损益。”即是说，我是个村野匹夫，不怎么样，如今朝廷人才济济，像我这样的人全国也多啦。朝廷有我没有都无关紧要。这既是客气话，也可以说是牢骚话。接着点出了主题：“臣不幸有负薪之疾（古代士大夫称病的一种说法），不能奔走道路，以副陛下搜扬之心。”即是说，我不幸有病，无法应召。这毫无疑问是个托词。然而这封洋洋数千言的上书的核心内容，是他对朝廷“近而易行，浅而易见”的十条政见。其中心是对朝廷选拔、任用、考核官员的办法，即对宋朝的吏制提出了严厉的批评和卓越的见解。上书的最后说：“曩（náng，从前）臣所著二十篇，略言当世之要。陛下虽以此召臣，然臣观朝廷之意，特以其文采词致稍有可嘉，而未必其言之可用也。”即是说，朝廷所看上我的，不过是文辞之士，而不是看重我的政治见解。言下之意即是：既然如此，不去也罢。在其同时写给雷太简的信中，更明白地说：“承命自笑，恐不足以当，遂以疾辞，不果行。”“仆已老矣，固非求仕者，亦非固求不仕者……其文章议论，亦可以自足于一世。何苦乃以衰病之身，委曲以就有司之权衡，以自取轻笑哉？然此可为太简道，不可与流俗人言也。”
实际上，这两封信道出了苏洵婉拒舍人院考试的最重要的两条理由：一是对朝廷用人制度不满，朝廷看重自己的只是文章写得好，而不是自己的政见和治世之才；也对朝廷多年冷落自己表示不满；二是苏洵自己的心理障碍，即他的“恐考症”。自己此时已年逾五旬，再去参加什么考试，听主考官们的评头论足，由他们来决定自己的命运，深感很不是滋味。况且，自己曾是屡试不第，在两个儿子考中进士时，苏洵曾感慨叹道：“莫道登科易，老夫如登天；莫道登科难，小儿如拾芥。”把科考看得比登天还难的苏洵，现在自己再去考试，考中了，还有一说；若再考不中，面子上实在过不去，徒遭天下人耻笑。有鉴于此，苏洵断然拒绝应试。
嘉祐四年六月，召命又下。苏洵又以病辞。同时写信告诉欧阳修：他接受梅尧臣的劝告，将再次携二子入京。