在司馬道子的折騰下，不但使東晉失去了非常好的發展時期，而且引發了諸多的矛盾，王恭起兵、桓玄起兵、孫恩發難，在這一系列的動盪之中，有一支軍隊只要它投靠誰，誰就是勝者，只要它背叛誰，誰就失敗，這支軍隊就是“北府兵”
在淝水之戰前後開始，半個世紀之內“北府兵”三個字，就是常勝軍的符號，這支軍隊還有一個人和它生死並存，這個人叫做劉牢之。
“北府兵”剛開始是由謝玄創建並領導，後來謝玄死了，劉牢之成為了這支軍隊的領導者，但是劉牢之和謝玄不一樣，謝玄出身名門，有非常好的政治頭腦，謝玄一死，劉牢之就失去了領路人，“北府兵”也失去了政治方向。
在東晉複雜的政治之中，劉牢之帶著“北府兵”投靠過許多的勢力，也背叛了許多的勢力，成為一直僱傭軍。
第一次投靠和背叛的是王恭，王恭為了反對司馬道子的專權，他以誅殺王國寶為名，從鎮江起兵，這其中就有“北府兵”因為劉牢之北伐失敗後，撤回到江南，就投靠了王恭，有了“北府兵”作為基礎，大大增強了王恭軍隊的戰鬥力，起兵之後，司馬道子受不了壓力，把王國寶殺了，王恭也只能退兵了。
當時司馬道子的兒子司馬元顯，看出了王恭和劉牢之的矛盾，因為劉牢之的出生非常卑微，而且還沒有政治頭腦，所以王恭很看不起劉牢之，只是利用他的“北府兵”，而劉牢之也隨著戰功越來越大、地位越來越高，開始很在乎別人對他的態度，所以和王恭之間就離心離德了。
但是他們之間的嫌隙，就被司馬元顯發現，所以司馬元顯派出使者，一番說服，並且許以高官厚祿，劉牢之背叛了王恭，投降了司馬道子和司馬元顯父子，結果王恭兵敗被殺。
當時上游的桓玄軍隊，正順江南下，順江東進，這時司馬元顯就派出劉牢之帶領“北府兵”打前陣，大軍浩浩蕩蕩和桓玄對峙，而桓玄最忌諱的就是劉牢之的“北府兵”因此在他的策反之下，劉牢之第二次反了，背叛了司馬元顯，投靠了桓玄。
投靠了桓玄之後，劉牢之心裡也不踏實，司馬元顯給了他原來王恭所有的地位，而桓玄只有廢掉東晉的皇帝，自己做皇帝才能給劉牢之更高的待遇。
但是桓玄比王恭更看不起劉牢之，尤其是看不上他兩次背叛，桓玄在警惕劉牢之，擔心他再一次背叛，所以他剝奪了劉牢之的兵權，把他和“北府兵”分開，給了他另外一個職務“徵東將軍”會稽太守，使他既不能在南京，也不能到京口，把他派到紹興。
這時的劉牢之決心第三次反叛，他把將領召集起來說：果然不出我所料，桓玄現在要對我下手，我建議幹掉他。將領們都提出反對：我們已經反了兩次 以後我們到底該怎麼辦，事後大家一鬨而散，整個北府兵就此解散了。
劉牢之一生的榮辱都靠這支“北府兵”所有的將領離他而去，包括他的外甥，劉牢之走投無路，最後瞭解了自己的性命。
一代英豪，在東晉末年，在這種變化莫測的政局之中，迷失了方向，最後落得一個悲催的下場。