道教是土生土长的本土宗教，东汉顺帝时（126—144），张道陵以老子为教主所创，由其时的太平道、五斗米教发展而来，魏晋北朝上层道教形成并得到统治者承认。隋唐五代时，太原佛道两教同时流行。就道教信仰而言，中原民族和周边民族的差别很大。中原民族把道教方术和得道成仙联系在一起，而周边民族对之却真诚崇拜，如李渊父子起兵时，曾向突厥借兵，突厥兵到晋阳，见老君真容皆拜，可见道教在北边胡地的渗透。唐太宗时追认老子为先人，所谓天机神授，对李唐政权大加神化，并在各地兴建道观，史籍记载太原这时有兴唐观等建筑，龙山之巅的昊天观据说也始建于这一时期。北宋时，太宗、真宗、徽宗皆崇尚道教，道教文化在民间有相当影响。元代对宗教宽容，全真教首领丘处机受成吉思汗之命掌管天下道教，全真教盛极一时。
现太原市西南有始于唐以来开凿的道教龙山石窟，是我国现存为数不多的道教石窟中最大的一处，为研究我国道教史，特别是全真教发展史提供了珍贵的实物资料。据载，丘处机弟子宋德芳（道号披云子）于元太宗六年（1234）云游至太原，发现这里山川形胜，是一块风水宝地，遂于龙山之巅复修昊天观，在东侧续开道窟5龛。到明代，又续开1窟，形成现今规模，共三层8个道窟。其中第4、5窟又称古洞，约凿于唐高宗至唐玄宗时期（650—755），带有明显的摹仿佛窟的痕迹，第1—3，6—8窟，建于蒙古窝阔台统治时期的1234—1239年，雕凿具有北方的粗犷强悍之风格，总体艺术风格与佛教石窟迥然不同，是元代全真道教所存的唯一石窟。
元末迄于清代，道教在太原民间影响日深，道教宫观遍及全市。太原的纯阳宫，现存有4处，其中规模最大、保存完好的当推位于五一广场西北角的纯阳宫。由于道观所奉神祇众多，道观名称也各异。太原地区现存主要有玉皇庙、真武庙、三清观、三官庙、文昌宫、卿云观等。