时值社会上掀起“破四旧”的旋风。胡华回到家，看到孩子在家“造反”，将父亲胡明伦收藏一生遗留下来的珍贵古字画当做“四旧”撕破、烧掉的场面，痛心疾首。晚上，他把全家叫在一起，坦诚地谈自己的“问题”。他说，“我自17岁投身革命，一生所作所为光明磊落，问心无愧。我决不是反党反社会主义分子，这一点你们要相信我。现在对我的误解和批判，我自当反求诸己，改正不当之处。
但是，我决不不负责任地随便承认什么。自古至今，人生在世，不知要受多少冤屈！即使是伟人也在所难免，何况我们这样的常人。人就要在逆境中沉得住气，以最大的耐心和坚韧的意志，渡过难关，等待平反昭雪的一天。”他引用毛泽东在1962年七千人大会上讲的一段话说：“受到错误处理，可以锻炼革命意志，可以深入基层调查研究，增加有益的知识。主席还特别引用了司马迁《报任安书》
中的名句：‘文王拘而演周易，仲尼厄而作春秋；屈原放逐，乃赋离骚；左丘失明，厥有国语；孙子膑脚，兵法修列；不韦迁蜀，世传吕览；韩非囚秦，说难孤愤；诗三百篇，大抵贤至发愤之所为作也’。”他把这个典故向孩子们作了详细的解释，然后说：“我的问题肯定会影响你们，你们也要学会在逆境中发奋、自立、自强。”他还对子女说：“参加不了红卫兵，遭受歧视，不要难过，不要随波逐流。他们（红卫兵）抄家、斗‘黑帮’、破四旧等做法都是错误的。人在逆境中要沉得住气，要以最大的耐心和坚韧的意志，渡过难关。受到错误处理，可以锻炼革命意志，要学会在逆境中发奋、自立、自强……”9月至12月，胡华虽身陷“牛棚”，时不时被拉出去批斗、接待外单位调查人员、写交代材料等，但他坚持自己的信仰，通读了《毛泽东选集》、《马克思恩格斯选集》、《列宁选集》、《鲁迅全集》。对外单位人员向他调查的“黑帮分子”情况，均实事求是地回答和作证。绝不“随声附和”，更不“落井下石”。“牛棚”又先后关进来中国古代史学者郑昌淦、世界史学者李春辉。不同领域的专家，正好可以取长补短，相辅相成。在遭受造反派批斗、打骂的间隙，他们相互讲起课来，轮流当老师和学生。入冬后，胡华与林茂生等同处“牛棚”的教师，抬大筐为学生宿舍送煤、打扫公共厕所……一次，两个造反派组织互相抢夺胡华，竟残忍地让他在寒冬抱着衣服，穿着单衣，奔跑在校园……
12月12日，胡华在牛棚听到广播，惊悉吴玉章校长逝世。作为跟随吴老18年的学术助手，在那个非常的时日，他的景仰、他的伤心、他的怀念无处可以表达。他被限制去向吴老告别。他悲痛至极！十年后，1978年12月30日胡华在《北京日报》发表了《吴老（玉章）百岁祭》一文说：“从旧民主主义革命，到新民主主义革命，到社会主义革命和建设时期，吴老可以说是无役不从，而且都是站在时代的最前面，革命的最前列。毛泽东曾经对他说：和你同时代的人，有的消极了，有的反动了，有的叛变了，而你始终跟着时代前进，站在革命斗争最前列，你要把这些经历写出来。吴老认为这是党和毛泽东交给他的一项任务。自1948年以后的18年中，吴老向我们这些在他身边工作的同志作过许许多多次革命回忆，我都做了手记。除一小部分梗概由几位同志整理出来以外，我的手记在林彪、‘四人帮’开始横行的1966年8月全部被抄，片纸不存。吴老每次谈回忆，约一至二小时，滔滔不绝。他有惊人的记忆力，思路清晰，内容细致。由于他的斗争经历和见闻十分丰富，未曾谈完，故手记还未整理出来，而万万想不到手记本竟被林彪、‘四人帮’洗劫一空。吴老也因看到林彪、‘四人帮’的横行霸道，义愤填膺，五内郁闷，不数月竟遽尔病逝。梁木倾颓，哲人萎谢。悲一代完人之辞世，哀生前嘱托之未成，不禁令人伤心恸哭。”胡华在该文中敬作《吴老百岁祭》五言一首：
革命常前列，为民不惮劳。
完人芳史册，风范启吾曹。
思想承恩、马，精神追列、毛。
心花百岁祭，仰望北辰高。
1967年元旦，《人民日报》、《红旗》杂志发表社论《把无产阶级文化大革命进行到底》，提出，1967年“将是无产阶级联合其他革命群众，向党内一小撮走资本主义道路的当权派和社会上的牛鬼蛇神，展开总攻击的一年”。1月20日，胡华按要求向人民大学历史系造反派组织递交“汇报”，说明：“最近，学习了主席关于反对经济主义的十一条语录，深刻认识到主席的‘政治工作是一切经济工作的生命线’这一伟大指示的英明正确。”并表示“一定要紧紧跟上毛泽东思想，不断地改造旧习惯思想、旧框框思想。天寒地冻，照常参加劳动改造，并把所管厕所、洗脸间的窗户再次糊上……”3月3日，戚本禹（时任中央文革小组成员）窜到人民大学讲话，称：“历史系黑反动权威胡华是要打倒的，不能说与胡华有协作的都不好，有的是朋友。是搞一小撮，还是一大批，不是敌人的不能打到敌人那边去。斗争锋芒要指向反动权威，如胡华……”自1965年以来，连续三年的三月对于胡华来说，都是黑色的：被山崩土埋；被批判株连；这次又被点名……胡华再次被造反派变本加厉揪斗、殴打、鞭抽，浑身伤痕累累。4月以后，随着戚本禹所写文章《爱国主义还是卖国主义》在《红旗》杂志、《人民日报》的发表，全国报刊舆论掀起集中批判刘少奇及其“反革命修正主义路线”的浪潮。胡华的史著不可能不出现刘少奇的名字，因此必然难逃干系、罪加一等。胡华被人民大学历史系造反派贴出题为《迎头痛击何干之、胡华等人反革命复辟逆流》的大字报。由于群众组织分为两派，胡华挨斗也成为双份。
校外著名学术权威（如蒋南翔、翦伯赞、吴晗、薛暮桥、冯友兰、于光远、刘白羽、朱光潜、冯定、范瑾等）被揪到人民大学批斗时，胡华与何干之每次必被拉去陪斗。
高放教授1997年在中国人民大学出版社出版的《胡华纪念文集》中的文章《史料·史观·史德》谈到，在“文化大革命”极左路线盛行期间，胡华被允许做两件事：一是接受“革命群众”批斗，写自我批判材料；二是揭发其他“牛鬼蛇神”。尽管被抄家、被低头弯腰、坐喷气式，被打耳光、揪头发，被挂黑牌子、游街示众，他就死不承认自己是“反党反社会主义反毛泽东思想的黑帮”，决不胡乱自我批判，上纲上线。被逼得没有办法时，他只是说：“群众组织说我是黑帮，我相信党组织最终会做出公正的结论。”他这种正直态度被造反派认为“顽固不化，抗拒到底”，只有遭到更加严厉的批斗和更加严重的皮肉之苦。“文化大革命”中，“打倒朱德”、“打倒周恩来”、“打倒贺龙”等妖风也刮进人民大学。
有的人起劲地贴出大字报，乱揭朱、周等人所谓历史问题，进行政治投机，以捞取“造反派”的桂冠。作为中共党史权威的胡华又是首当其冲，好多造反派逼他出来揭发，都想从他这里掏出什么像样的“炮弹”。可是他不受威逼和利诱，实事求是，决不随风转舵、乱说乱讲，表现出一个共产党员的凛然正气和铮铮铁骨。
胡华在回顾“文革”劫难时曾说：“理论无禁区，宣传有纪律，但是要讲真话，是真理我们就宣传，有些不是真理，就不要讲。不能讲假话。要你吹捧林彪，你觉得林彪不是那么回事，你可以不吹捧，不写；叫你吹捧江青，你觉得不是那么回事，你也可以不去吹捧；叫你批判朱德、贺龙、陈毅，叫你‘批邓、反击右倾翻案风’，叫你反对‘天安门事件’、追查政治谣言，你觉得不能昧着良心瞎说，至少可以保持缄默，你可以不说不写，何必昧着良心去迎合什么人呢？何必去拍人家马屁呢！我又不谋求什么高官厚禄，我们是党员，是党史教员，应该是正直的人，正直的革命者，我们没有什么东西怕丢失，没有什么东西可以蒙蔽我们对真理的认识。”1967年冬，胡华回家捡出多年未穿的旧棉衣，以备“劳动改造”中御寒。他摸到衣袋中有一张久置的五元人民币，于是到小卖部去买些用品。长期住牛棚的他哪里知道，这是一张中国曾委托苏联制版的人民币，已经停止流通。现在从收藏角度，其价值不知能翻上去多少倍。可在当时拿出来用，却要大祸临头。售货员发现后，立即报告造反派组织。胡华遂被以使用“旧人民币”扰乱金融的罪名，再次被批斗。
1968年3至4月，因饱受精神和肉体的严重摧残，胡华旧病复发，胃肠大出血，两度病危被送至医院抢救。春夏之际因胃溃疡大量出血，救治医生出于人道主义的考虑，虽是“黑帮分子”，嘱示人民大学造反派组织：病人危重不宜继续被关押、批斗。这样，在被关押一年多之后，由造反派组织准许胡华回家养病。
在家中，胡华天天听电台广播，看各种报纸，关注着形势的发展。
从1967年上海“一月夺权”以来，党和国家一年多处于最混乱、最艰难状态，从中央到地方的许多领导干部“靠边站”，或被下放管制，或被关进“牛棚”，甚至投入监狱。当得知林彪、江青、康生一伙卑鄙地篡改历史，甚至伪造历史时；当看到造反派发布的新战果——将某某高级领导干部揪出来“斗倒斗臭”时，胡华义愤填膺，总要把历史真相或这些领导干部的经历、历史功过向自己的孩子们说得清清楚楚。在父亲的开导下，子女们明白了：人生不是一帆风顺的。在遇到坎坷时，眼光不要被面前一时一事所迷惑，要保持清醒的头脑，遇事要三思而后行。总之，困难是暂时的，前途是光明的。孩子们看到了一个真正的、不畏邪恶、光明磊落的共产党员的高风亮节。
胡华的榜样作用，还影响了曾关在同一个牛棚的历史系教师林茂生。紧随胡华之后被揪斗的林茂生，认为自己对党忠心耿耿，却被造谣污蔑甚至遭受殴打，一开始接受不了，在委屈和困惑中天天失眠。为此让家人给他买了安眠药。后来到他获得自由回家后，家人看到这瓶安眠药没有开封。林茂生对家人说，是胡华的榜样和开导起了作用。他想开了，也就能睡着了。
8月22日，工人、解放军毛泽东思想宣传队进驻人大，胡华又被历史系造反派揪回“专政队”继续关押。此时的专政对象还有何干之、彭明、刘炼。一次，胡华与何干之打扫水房，何干之突然头晕站立不稳，嘴部撞到洗漱池边上，胡华迅即拦腰把他抱住了，否则后果不堪想像。
戴逸教授回忆了工宣队进校之后，“把被打倒的干部、教师集中在一起，我和胡华等二十多人挤住在两间小屋中，每天劳动、写检讨、听训话、背语录，过着牢狱般的生活，完全剥夺了自由。‘黑帮’们彼此之间，即使是从前十分熟悉的同志，表面上也只能如同陌路，不敢公开交谈，但一有机会，就要低声谈几句，通一点消息，说两句宽心话。自己已被批得‘体无完肤’，但仍忘不了用剩余的一点微热，去温暖别人被冻得快要凉透的心，真所谓‘涸辙之鲋，相濡以沫’。
胡华同志不愧是经过锻炼的老干部，虽处逆境中，仍保持坚强、乐观的心情。他相信局势会起变化，鼓励‘难友’们勇敢地坚持下去。有一次，工宣队和红卫兵布置学习一篇批判刘少奇的文章，还要写学习心得。在没有人的时候，他低声对我说了八个字：‘造谣诬蔑，一派胡言！’他也是敢和工宣队、红卫兵讲理、顶撞的人。有一次，他和工宣队争执起来，为的是要给一位年老体弱的老干部减免体力劳动，他据理力争，言谈从容，不畏惧工宣队的权势，终于说服了工宣队，达到了要求”。1969年1月1日，运动进行到“清理阶级队伍”阶段。胡华曾在抗日战争后期整风审干时向组织说明过的、已经了结的一桩旧案，又被作为问题提出。即胡华读初中时期，被班主任邀去开过一次励志社的会，以及他参加浙东地下党而被怀疑为“特务”和“红旗党”的问题，本来组织上已经有了历史结论，胡华在浙江解放后，也找到了确凿的历史证明人并报告了党组织，现在再一次被造反派和工宣队、军宣队拎出。尽管胡华多次根据事实和党的干部政策据理申辩，但无济于事。
入夏，中国人民大学工宣队、军宣队按照对知识分子“再教育，给出路”的政策、对胡华给以“敌我矛盾按人民内部矛盾处理”的结论。胡华虽然得到了初步解放的自由，但仍背负着“敌我矛盾”的政治包袱。
9月16日，为庆祝新中国建立20周年，胡华以华维为笔名撰文《缅怀杨展烈士》，宣传杨展烈士（杨开慧侄女，中共党员，原陕北公学、华北联大学员，1941年反“扫荡”时牺牲）的事迹，并以大字报形式贴出。他总是利用一切可以利用的机会，缅怀和宣传革命先烈，并以先烈为榜样激励自己。他还赋诗《中华人民共和国二十大庆》：“群魔乱舞百余年，夜气如磬压故园。喷薄韶山红日出，长空万里换新天。新国肇开二十年，百花齐放兢鲜妍。亿万人民心向党，春色长留赤县天。佳节又当丰产年，喜看稻菽满山川。抬头试向寰球望，浩荡东风已遍天。力葆青春学少年，破私立公换旧颜。勤读毛选勤改造，朝气当如初晓天。”
胡华那强烈的爱国、爱党、爱民的赤心和在浩劫面前百折不挠、激流勇进的精神跃然纸上。
10月28日，因“战备动员”，历史系疏散至京郊苏家坨公社前沙涧村人民大学半工半读基地。11月13日，胡华被送至前沙涧参加半天整党，半天劳动。11月16日早饭时，在前沙涧村农家食堂前，何干之站在乱石砌的矮墙边吃稀饭，招手叫胡华过去，悄悄地对胡华说，“毛主席叫范老（范文澜）写完《中国近代史》
的下册，包括党史部分。范老找李新同志谈，想叫李新和你、我两人去帮助写呢。”胡华回忆：“当时，我们两人都为这个好消息而欢欣鼓舞，觉得有了新的为党工作的机会。谁知不到两个小时，他就心力衰竭，独自殒命在路边。壮志未酬身先死，弃我们而与世长辞了。”胡华悲痛至极，于料理丧事的当晚，愤然吟出悼诗：“师友过从三十年，何胡休戚每相连。前沙涧水悲流海，八宝山云泪暗天。空有雄心编党史，岂无壮志辨忠奸。红楼欢语成往事，更著新篇待后贤。”这是一首悼念师友的诗，也是胡华用来抒怀明志的歌。在那是非颠倒的岁月，作为一个正直的史学家，胡华有明辨忠奸的亮眼，也有率领后贤续写新篇的雄心。12月24日，胡华将悼念何干之的诗寄给何夫人刘炼，以鼓励她继承发扬何干之的遗志和精神。
12月份，有着30年党龄的胡华被告知恢复党的组织生活。