趙普上一次入相還是在乾德二年（964年）。而且那次他是獨相，一任就是十年。直到開寶六年（973年）被罷相為止。
趙普被太祖罷相，原因是多方面的。直接原因是開寶六年（973年），吳越王錢俶寫信問候趙普，同時送了十瓶當地的“海味”。趙普剛收到，還沒來得及看信，太祖就來了，看到庭前有十個瓶子，非常好奇，問是什麼東西？趙普說是錢俶送來的海產。太祖笑著說：“既然是錢俶送來的土特產，一定不錯，打開咱們欣賞欣賞！”誰知一打開，趙普立刻就傻了眼，裡面裝的是整整十瓶瓜子金！趙普嚇得趕緊說道：“陛下，微臣實在不知裡面裝的是這種東西！他寫來的信，我都還沒來得及看呢！”說完把信拿給太祖看，果然，上面的火漆封印還在。太祖笑笑說：“既然送你的，你就收下吧……”說完就走了。
（趙普）
說起來這件事也怪不得趙普，別人行賄，不管是沒來得及還是其它原因，總之他沒有受賄。沒有受賄，就不能治他的罪。但是，如果趙普不貪財，錢俶也不敢這麼大模大樣地送他黃金。能夠這樣送來，多半也是摸到了趙普的習性。而且從另一個角度來說，趙普這個宰相的權力也實在太大了，否則，錢俶也不會送他那麼重的禮物！
後來又有一件事，終於坐實了趙普貪財和獨裁的習性。當時朝廷禁止私自販運秦、隴一帶的大木，規定為皇家專用。趙普卻頂風作案，派親信私運回京師，給自己建造豪宅。卻是那位親信想趁機撈一把，攜帶一些回京販賣謀私利，結果被查出來，牽連出趙普。這事最後又捅到太祖那兒。
太祖十分生氣，原本要處罰趙普的，最終還是作罷。這時候，包括那個曾指責趙普沒有學問的盧多遜等人都群起參奏他，包括他獨斷專行，貪汙受賄等等。太祖雖然並沒有立刻懲罰他，但決定擴大參知政事薛居正和呂餘慶的參政權力，讓他們參與宰執的事務。從此把參知政事這個從唐朝就開始設立的職位提高到副相的地位，以此來分割趙普的相權。
加強中央集權，這是太祖一貫的做法，也是趙普給他出的主意。這種中央集權，不僅僅是削弱武將的權利，也是為了避免文臣弄權。不過，太祖這個人一向寬厚，對屬下不錯，重感情。在削弱大將兵權的時候，都沒有大打出手，而是以商量的辦法行事。他的兄弟夥也信服他，配合他規規矩矩把兵權交了出來。所以，在對待趙普的問題上，太祖也是一再寬恕他，原諒他。
到這一年八月的時候，太祖最終還是罷免了趙普，讓他離京去河陽三城任節度使。
究竟是誰讓寬厚的太祖最後下定決心，罷免這個和他關係最貼切的臣子？歷史上並沒有記載。但是從趙普被罷相後給太祖的上書，咱們似乎能嗅到一點氣息。趙普在上書中說：“別人經常說我輕議皇弟開封府尹的不是，說我們兩人不和，這完全是胡說！皇弟忠孝全德，哪裡有什麼值得人輕議的地方？”
皇弟指的是趙光義。這話明說的是趙普和趙光義兩人關係不錯，但是咱們一看就明白了兩點：一是他們兩人的關係肯定很糟糕；二是趙普的罷相，大約與趙光義在太祖面前說了什麼有光。
（大臣遞奏摺）
史書上沒有記載趙普和趙光義兩人爭鬥的那些事情。這個很容易理解，因為那一段歷史，是太宗做過手腳的，他自然不願意拿出來說。這個，咱們在後面還要談到。不過，從一些零枝碎葉中，咱們還是能看出一些蛛絲馬跡的。趙普死後，宋太宗曾對近臣公開聲明：“趙普一向與朕有不足，眾人所知。”《玉壺清話》又記載，在宋太宗貶謫趙普的政敵盧多遜後，曾對趙普說：“朕幾欲誅卿！”《丁晉公談錄》又記載說，太宗登位後說過一句話：“倘若還是趙普在中書，朕也不得此位！”很顯然，宋太宗與趙普的矛盾是相當深的，兩人的爭鬥肯定是異常慘烈的。
那他們是怎麼爭鬥的呢？除了歷史書有可能被宋太宗動過手腳外，還有可能是他們的爭鬥是暗藏在地下的。這兩個人的心機都很深，都不願意把自己與對方的矛盾暴露在太祖面前。因此，一開始大約都很少在太祖面前說對方的壞話，而是採用打擊對方勢力範圍的方式暗中進行著。但是到了後來，趙普顯然坐不住了，他在太祖面前說趙光義的不是多了起來，而趙光義始終沒怎麼說。這也惹得太祖反感，覺得趙普在離間他們兄弟的感情。趙光義呢，他沉默著，一直在等機會。當他覺得太祖還很信任趙普的時候，他絕不會多說。即便要參劾，也是指使盧多遜這樣的人。他自己絕對不會出面。等到趙普的諸多不是惹惱了太祖，讓太祖不再信任他的時候，趙光義才給予趙普致命一擊，最終把他攆出朝廷。
趙普最終肯定也明白了這一點，知道自己絕對不是趙光義的對手。這讓他氣恨難平，給太祖的上書，說自己與趙光義的關係時，語氣中明顯有一種惱羞成怒的意味。
（皇帝看奏摺）
公正地說，趙普雖然盯住趙光義要和他鬥，但顯然不完全是出自個人利益。不完全是權利的爭奪，更多的則是出於從維護太祖的目的出發，提醒太祖對他兄弟多留個心眼，告訴太祖他的兄弟趙光義有著多大的野心。趙普對太祖忠心耿耿，在太祖執政的時候，這是毋庸置疑的。可惜的是，一者，趙普乾的是一件笨事。清官難斷家務事，何況關於皇位繼承的事情。再加上太祖是一個忠厚長者，對自己的兄弟向來愛護有加，所以趙普的提醒確實是吃力不討好。再者，趙普本身不過硬，也許是獨相時間太長了，而太祖在很多事情上都會聽他的意見，所以他就經常自己做主，又不太聽得進別人的意見，得罪人不少。再加上他確實也有些貪財，所以身上的把柄特別多。如果不是太祖一直護著他，他可能早就被趕出京城了。這樣一個人，他怎麼鬥得過心機深沉的趙光義呢？