廣東地處大庾嶺以南，古代被視為“煙雨蠻瘴”之地，生活條件極為艱苦，氣候又與嶺北有很大差別，是封建朝廷流貶犯人的首選之地；而且被流放的犯人往往不易生還。所以很早以前就有“連、英、循、新，與死為鄰；高、竇、雷、化，說著就怕”的民諺（按次序是指今連縣、英德、惠州、新興、高州、信宜、雷州、化州八個縣市）。早在隋朝，隋煬帝就將駙馬柳述貶來惠州，惠州迎來了歷史上第一個遷客。至唐代，從初唐武則天開始，惠州迎來了一批貶官，其中最著名的莫過於曾官居宰相的張錫和牛僧孺。
生活侈靡被貶的宰相張錫
張錫，河南昌樂人，武則天久視元年（公元700年）為鳳閣侍郎，不久取代其姐姐兒子李嶠為相。長安元年（公元701年）三月，因請還廬陵王及漏洩禁中選拔官員消息及賄賂贓銀數萬被繫獄。入獄時，張錫騎著高頭大馬前往刑獄，意氣自若；到刑獄後居三品院，帷帳飲食與平日無異。而同時繫獄的宰相蘇味道前往刑獄時，棄車馬而步行，到刑獄後席地而臥，飲食則粗茶淡飯。兩者對比，張錫顯然過於侈靡。武則天聞訊，赦蘇味道官復原職，判張錫當斬，臨刑釋之，改流惠州。
張錫貶來惠州後，著名詩人章玄同曾去貶所探望他，並寫《流所贈張錫》詩一首，詩曰：“黃葉因風下，甘從洛浦隈；白雲何所為，還出帝鄉來。”詩中流露出對當朝宰相張錫被流循州的惋惜之情。章玄同的事蹟無考，僅見《全唐詩》詩人小傳曰：“章玄同，武后時人。久視中，張錫為相，請還廬陵王，坐流循州。玄同有流所贈詩，蓋亦當時貶謫者。”也就是說，詩人章玄同也是受貶之人，故有“同是天涯淪落人”之感。神龍元年（公元705年），唐中宗即位，大赦天下，貶居惠州約三年的張錫得以赦還，遷工部尚書，兼修國史。
黨爭落敗被貶的宰相牛僧孺
入唐後，唐朝的官員出身大體有二：一是門第士族出身，二是及第庶族出身。雖然講門第是兩晉遺風，入唐後已每況愈下，但門第士族出身的官員還是自以為高貴，看不起及第庶族出身的官員。為此，這些士族出身的官員互相結為朋黨，對庶族出身的官員進行排斥和打擊。但庶族出身的官員也不示弱，他們以“同年”（同年登榜）及師生關係結成另類朋黨，在朝中互相推舉、互相袒護，與士族黨進行激烈爭鬥。其中最著名、歷時最久的是“牛李黨爭”，也就是以牛僧孺為首的庶族官員與以李德裕為首的士族官員之間的爭鬥。他們之間的鬥爭始於唐憲宗，終於唐宣宗，前後爭鬥了40多年，成為中國歷史的一大話題。在此期間，一忽兒牛黨得勢，排斥李黨；一忽兒又李黨得勢，排斥牛黨。如同時在朝，李黨贊成的事，牛黨必然反對；牛黨贊成的事，李黨亦復如是。每議政事，是非蜂起，議而不決，連當朝聖上都感到束手無策，嘆曰：“去河北賊易，去朝中朋黨難！”
牛僧孺，甘肅靈臺人，唐貞元元年（公元785年）進士，唐憲宗時與李宗閔對策條陳弊政，以方正敢言進身，累官御史中丞。唐文宗大和三年（公元829年），宰相裴度薦李德裕為兵部侍郎，同平章事；接著大和四年吏部侍郎李宗閔亦引薦牛僧孺為兵部尚書，同平章事。從此牛僧孺和李宗閔結為朋黨，與李德裕為首的另一朋黨在朝中互相排斥。
唐文宗大和四年十月，西川節度使郭釗因病上書求代，牛僧孺為逐李德裕出朝，遂奏請調李德裕代郭釗為西川節度使，出鎮蜀州。當時，西川邊境維州原是唐朝領土，後為吐番所奪。據守維州番將悉怛謀聞李德裕鎮蜀，遂叛吐蕃，獻城歸唐。這本來是一件好事，但牛僧孺怕李德裕立功，遂對唐文宗曰：“吐蕃近來與我修好，約罷戍兵，若接納彼叛人，必責我失信；若驅萬騎而來，幾日可達，咸陽震動，京城且守備不暇。”文宗本來懦弱，被牛僧孺一說，不禁膽怯起來，乃飭李德裕歸還維州，縛悉怛謀遣回吐蕃。吐蕃執叛將悉怛謀立誅之，極備慘烈。李德裕聞之，不勝嘆息，西川監軍王踐亦謂朝廷失計。唐文宗聞訊，亦責牛僧孺失策。僧孺愧不自安，向唐文宗上表請罷，遂以同平章事充淮南節度使，另徵李德裕入朝。
李德裕入朝為相後以牙還牙，大肆排斥“牛黨”，對牛僧孺窮追猛打。唐武宗會昌四年（公元844年），昭儀節度使劉從諫兒子劉稹謀反被誅，李德裕上表唐武宗，說劉從諫大和年間入朝已有劣跡，時牛僧孺執政，不但不把劉從諫留住，反縱其出京，致使其心輕朝廷，歸後益驕；劉從諫死後兒子劉稹謀反，實牛僧孺之罪。接著孔目官鄭慶又奏說牛僧孺常與劉從諫通訊，從諫每得僧孺書疏閱後皆自焚燬，內有不可告人目的。唐武宗聽完兩人所奏，不為所動。後來李德裕得河南少尹呂述書，說牛僧孺聽到劉稹被誅後出聲嘆息，遂把呂述書上奏。武宗閱後大怒，於會昌四年九月貶牛僧孺為汀州刺史，十一月復貶循州（惠州）司馬。會昌六年二月，唐武宗崩，唐宣宗立；八月，貶居惠州一年多的牛僧孺得以內徙衡州，後召回京遷太子少師，大中二年（公元848年）病逝，享年六十九歲。