宋高宗紹興十一年（1141年），岳飛和長子岳雲被害，被殺時岳雲僅二十三歲，天下皆知其冤，岳飛遇害時夫人李娃41歲，之後，岳飛和張憲家屬分貶廣南（廣東廣西）和福建路（福建）監視居住，每月要向宋高宗本人提交作息活動報告，還不准他們同時出發。
岳家軍
嶽霖是岳飛的第三子，從小聰明好學，一直有為父兄報仇雪恨的心願。淳熙五年(1178年)，宋孝宗為岳飛平反後，召見嶽霖說；“卿家紀律，用兵之法，張浚、韓世忠遠不及。卿家冤枉，朕悉知之。”嶽霖遂上疏請求歸還高宗當年所賜給岳家的御札、手詔，孝宗詔準歸還。嶽霖便開始蒐集有關其父的文稿，進行增刪和考訂。
忠貫古今
關於嶽霖在岳飛遇害後的去向，據嶽霖之子岳珂所著的《鄂王行實編年》記載：“遷先臣（指岳飛）家族於嶺南，與張憲並籍沒資產。”後世史家考證傾向於與岳家其它人流放嶺南。根據岳飛後人、北京岳飛思想研究會會長助理嶽喜高先生認為，岳家被流放的地點應是現在的廣東惠州市。最直接證明岳氏一門流放惠州的記載是南宋洪邁所著的《夷堅志·嶽侍郎換骨》：“紹興十一年歲除之夕，嶽少保以非命亡。其子商卿霖並弟震同妻女皆羈管惠州郡，拘置兵馬都監廳之後僧寺牆角土室內。”這裡指明岳飛三子嶽霖（號商卿）和四子嶽震，及其妻女被羈管在惠州。此記載極為可信，因洪邁在紹興十七年時已隨父親洪皓流放到英州（今廣東英德），英州與惠州相距並不遠，不難打聽到岳家的一些消息。
惠州夜景
此外，根據岳珂所編撰的《金佗粹編》一書中的若干官方文件，有學者推算出紹興十二年時岳家一門流放到惠州的有：岳飛妻李氏，子嶽雷、嶽霖、嶽震、嶽靄，女嶽安娘及岳雲、嶽雷的妻子兒女共13人（也有一說是7人）。在惠州拘管期間，嶽雷長子嶽經出生於惠州，嶽安娘也在流放期間出嫁。
修書
遺憾的是，儘管岳氏一門在惠州生活了20年，卻沒有在惠州留下後裔。可能跟孝宗平反後大規模返回有關。