杨坚即位后，首先就是建立新的领导核心，虽然刘昉、郑译等人在杨坚控制朝政、并取周自代的过程中功劳不小，但这些人并不备具治理国家的才能，而且恃功自傲，说不定这些人还会再行废立之事。因此，杨坚将这些人逐步疏远、罢免或杀头，然后提拔了一批有才之人如高颖、虞庆则、李德林、韦世康、元晖、元岩、长孙毗、杨尚希、杨惠、杨素和苏威等人组成新的领导核心。随后，杨坚便接受高颖等人的建议，采取了一系列改革措施。
北周的官制，由宇文泰仿《周礼》制定，既乱且滥。杨坚在参考秦、汉、魏、晋、南朝各朝官制设置的基础上，总结经验教训，建立了三省六部制。所谓三省，包括中央的决策机构内史省，负责起草和颁布皇帝的诏令，头子称内史令；中央的审议机构门下省，负责审察政令，匡正扶危，头子称纳言；中央执行机构尚书省，负责执行政令，头子称尚书令，二把手称仆射。三省互相独立，又互相牵制，共同执行秦汉时丞相的职责，以避免丞相权力过大而危及皇权。这一制度的建立大大削弱丞相的权力，使皇权得到加强。尚书省下设六部，即吏部、户部、礼部、兵部、刑部、工部，分别负责官吏任免考核、户口赋税、礼仪、军政、刑法、工程营建等方面的事务。六部尚书分掌全国政务，这一制度从隋朝建立起，一直延续到清朝末年。
隋建国以前，地方官制极为混乱。580年，北周仍实行州、郡、县三级制，“民少官多，十羊九牧”，造成极大的财政浪费。公元583年，杨坚把东汉以来的州、郡、县三级制，改成州、县两级制(后来隋炀帝改州为郡，实行郡、县两级制)；变地方的三级制为两级制。杨坚废去郡这一级，撤郡五百余，并且合并了不少州县，裁汰了不少冗官。这种对地方行政机构大刀阔斧地精简，节省了中央经费开支，缓解了人民负担，提高了行政效率，有利于中央对地方的直接控制。两级制也成为后世定式。
北周末年，地方势力长期威胁中央政府。杨坚专权，也引起地方上的武装反抗。隋朝以前，基本上是地方官就地自聘僚属，就地征用的属吏，基本上是本地豪强。这些人把持地方政权，贪污腐败，鱼肉百姓，极易引起民愤，也不利于中央对地方的控制。杨坚下令规定，所有九品以上的地方官，必须由中央的吏部任免，州县佐官要三年一换，不能连任，所用之人，必须是外州县者，凡本地人一律不得征用。这样，就把地方官用人之权全部收归中央，州县属官回避本州县，又防止了地方政权被当地豪强所把持。这些措施加强了中央对地方的控制。
杨坚还特别重视吏治，奖励良吏，严惩奸吏。汝南大守公孙景茂任职期间廉明清正，注重生产，社会秩序井井有条，隋文帝将他提拔为道州刺史，又将他的事迹颁告天下，供大家学习。杨坚还采取给田养廉的办法，使官吏不搜刮民脂民膏，惩治贪官污吏。同时，杨坚采取严刑，重惩奸吏。他还经常派人侦察全国大小官吏的执政情况，发现罪状便加以严惩。有时他秘密使人给官吏送去贿赂，一旦有官吏受贿，立即处以死刑。杨坚统治时期，大批良吏层出不穷，全国各地社会秩序井然，这与隋文帝这一套吏治手段是分不开的。
公元587年，隋文帝下令废除九品中正制，命令各州选拔人才时，要注重德才兼备，推荐上来的人才当中再以考试加以选拔。九品中正制源于汉末，是曹操“唯才是举”的政策体现，也为曹魏提供了大量人才，但到了曹魏后期，尤其是到了晋朝，九品中正制已不再是选拔真正人才的制度，而是贵族世袭官位的一个桥梁，选拔官职的原则完全看“家世”、“门第”，因而出现了“上品无寒门，下品无士族”的现象，把大批具有才能而出身低微的人排斥在官场之外。
隋文帝非常清楚九品中正制的弊病，因此将其废除，并制定了新的用人政策，他规定每州每年要推荐有才学的贡士三人，其标准是“文章华美”，把德和才结合起来，通过考试的途径来选拔人才担任官吏。到了隋炀帝时，又设立了进士科。进士科的设置，标志着科举制度的创建。
北周的刑律残酷而紊乱，杨坚登基后，马上废除了前朝各种酷刑，以“以轻代重，化死为生”为指导思想，颁布了《开皇律》。此律废除了前代枭首(斩后悬首于木上)、车裂、鞭刑等刑法，除了犯谋反罪，一律不用灭族之刑。《开皇律》的颁布，是中国法律史上的一大进步。
西魏、北周以来的府兵制规定，战士和家室、土地自成一个系统，不受地方州县辖制。隋朝也一直沿用这个府兵制，直到公元590年，杨坚才对府兵制进行了较大改革，将所有军人，户籍全部划入当地州县，土地分配和赋役征收与原来的农民完全一样，只是他们仍有军人的职责，受军府管辖。这种兵归于农、兵农合一的措施既增加了国家的财政收入，又加强了政府对军人的控制；这一制度到唐代仍然沿用。
同时，杨坚为稳固自己的统治，下令除边疆和京师守卫军队以外，其余的兵器等军事装备立即停止制造并且销毁，军人子弟应尽力改从学文，要把尚武之风改变成习文之气。
在进行政治制度改革的同时，杨坚也进行了一系列经济制度的改革。矛头首先对准的，就是原有户籍制度。为逃避国家的赋税、徭役，农民往往虚报年龄，以求躲过纳税年限；豪强地主占有大量依附人口，也想方设法不报户口。为扩大财政来源，公元585年，杨坚采取了“大索貌阅”和“输籍定样”(也称“输籍法”)两项措施，严格核对户口，实行户籍制度。这一年就检查出成丁男子44.3万，并把164万余人编入户籍。根据人口情况，按最多标准订立缴纳赋税的额度，写成“定簿”。每年正月初五，县令派人检查，重新制定“定簿”，收获后即以此征收。这两项措施使国家掌握的人口剧增，增加了财政收入。
隋朝沿用北魏以来的均田制，每丁受露田八十亩，桑田或麻田二十亩，妇女受露田四十亩。露田在受者死后交还国家，桑田或麻田可传给后代子孙。丁牛一头受田六十亩，一家限牛四头。均田法又规定：京官一至九品都可得到1～5顷的职分田，收入作为俸禄，免官则交出土地；各级行政机构都可耕种一定的土地，称公廨田，其收入作为办公费用。用这种办法节省了大笔财政支出，也就变相增加了国家的实际收入。均田制给一般农民提供了一定数量的土地，有利于生产力的发展。
与均田密切相关的是租赋的调整。隋文帝接受苏威“轻徭薄赋”的建议，几次下诏减免徭役和租税。租赋一般以床(一夫一妇)为单位，丁男一床，纳租粟三石，即租，桑田调绢一匹(4丈)，绵三两，麻田纳布一端(6丈)，麻三斤，即调。结婚的单身成年男女可交租调规定的一半。单丁及奴婢缴纳一半租税。成年男子每年为国家服徭役1个月，称“力役”。隋文帝后来又下令减轻租赋徭役，成丁年龄由十八岁提高到二十一岁，减少了三年。每年服役时间由一月减为二十天，调绢由一匹(4丈)减为2丈。后来又允许五十岁以上的人可以输庸代役，即交纳布帛代替力役，这种办法被后来的唐朝所继承和完善。隋朝的租赋低于以前的朝代。这就调动了农民的生产积极性，大大促进了农业生产。
公元584年，杨坚命建筑家宇文恺率领民工开凿广通渠，以便于把潼关以东地区的粮食、布帛运到首都，也为两岸的土地提供了灌溉条件。魏晋以后，国家分裂，币制非常混乱，影响着商品交换的发展。杨坚建国后，下令改铸五铢钱，废除其他古币和私人铸币，只准五铢钱流通，又统一了度量衡，有利于工商业的发展。
随着改革的不断深入，隋朝国泰民安，国势蒸蒸日上，而此时与隋南北对峙的是南陈，君臣沆瀣一气，荒淫糜烂，已经是日暮西山。这时的杨坚，已经准备率兵南征，统一全国了。但这时还是出现让他分心的事情，那就是突厥和南梁的残余后梁。杨坚还是先解决了突厥和后梁的问题，这才正式准备伐陈。
公元588年秋，杨坚发兵50余万大军，在东起海滨，西至今四川的绵长战线上，向陈发动大举进攻，次年便将腐朽的南陈皇帝陈叔宝及文武百官俘虏，灭掉南陈，完成统一。