玉皇大帝的原始淵源有二，一是原始宗教信仰對天帝崇拜，我國從夏朝開始，就有官方祭祀上天的記錄。二是周秦漢以來的至上神崇拜。這主要是受到當時的神仙、方士學說的影響。像《穆天子傳》就是描繪穆天子與西王母的故事，後面又有《漢武帝傳》，描寫人間帝王迎接西王母。這些無不反應秦漢時期人們對神仙世界的嚮往。
不過玉皇最早的來源是東晉南北朝道教整合時期出現的最高神“元始天尊”的一系列輔神：在陶弘景編纂的《真靈位業圖》中，最高的第一層面中位“元始天尊”左右，各有數位以“高上虛皇道君”“高上元皇道君”及“玉玄太皇君”“上皇道君”“玉皇道君”“清玄道君”“上皇天帝”“玉天太一君”“玄皇高真”“太一玉君”“高上玉帝”為名號的神祇；而玉皇大帝最早只是玉皇道君。
第二層面中位是“上清高聖太上玉晨玄皇大道君”，“為萬道之主”。唐代，“玉皇”“玉帝”開始成為道教仙界主宰者的泛稱；道經中出現了《高上玉皇本行集經》，模彷彿教演說玉皇修道證仙的故事。
宋真宗因夢見神人傳“玉皇”之命，於大中祥符七年九月上玉皇聖號曰“太上開天執符御歷含真體道玉皇大天帝”。宋徽宗繼之，於政和六年九月上尊號曰“太上開天執符御歷含真體道昊天玉皇上帝”。北宋時道教類書《雲笈七籤》把玉皇解釋為“天尊”的三代之一：過去是“元始天尊”，現在是“太上玉皇天尊”，未來是“金闕玉晨天尊”，試圖做某種統合。
南宋時道教內部則尊其為“玉真天帝玄穹至聖玉皇大帝”，編列在“元始天尊”“靈寶天尊”“道德天尊”之下，“自玄氣而化生，居大羅之下，上清之上，掌四種民梵天，而尊於三界之上，是為天主，亦不得已而強名之也。治太微玉清宮”（《上清靈寶大法》卷十）。
元趙道一在進《歷世真仙體道通鑑》表中稱為“昊天金闕至尊玉皇上帝”，後世道教基本上沿襲了這一稱號。總體來看，無論道教內部做何種整合，“玉皇大帝（玉皇上帝）”雖然也是“玄穹主宰”之一，仍然不是最高神。然而在民間信仰中情況則有不同，在宋以後各地都有的玉皇奉祀中，玉皇大帝不僅是道教最高神，也是主宰天地的至高無上之神。
明代傑出的通俗小說《西遊記》進一步構造出玉皇大帝統攝佛、道，兼領仙、鬼、人間帝王及黎民百姓的崇高地位，使玉皇大帝成為人們心目中的天上皇帝。