霍家最早起源於商周時期，當年周文王的第八個兒子，被賜封地霍國，也就是今天的山西霍州，此後以霍字為姓，改名為霍叔。
霍元甲
霍家人歷來都很喜歡練武。看家的本領是七十二式“霍家拳”，也叫“燕青拳”、“祕宗拳”。
燕青拳又叫迷蹤拳，是中國傳統武術代表，出自少林寺。其特點是動作輕靈敏捷，靈活多變，講究腰腿功，腳下厚實，功架端正，發力充足，具有技擊性較強的特點。
霍元甲的父親霍恩第早年從事保鏢行業，後來和人結下樑子，四十多歲的時候就退出鏢行，回家務農了。
1869年1月19日，河北靜海縣小南河村（今天津市西青區精武鎮），霍元甲出生，字“俊卿”。霍恩第有三子：霍元卿、霍元甲、霍元棟，霍元甲排行第二。
據說霍元甲幼年體弱，父親霍恩第不讓他習武，擔心元甲習武日後有損霍家名聲，拒不授藝於他。但霍元甲志存高遠，他日日留心，處處參察，偷藝於父傳兄弟之機。苦練於舍外棗林之僻。後為父知，受責。霍元甲保證絕不與人比武，不辱霍家門面，方準父兄一起習武。 霍元甲天資聰穎，毅力驚人，功藝長兄亢進，在兄弟之中出類超群，並在24歲那年5分鐘之內擊敗了一位僅僅用三式打敗了霍元甲的哥哥與弟弟的人。父見此，一改舊念，悉心傳藝於他。霍元甲也將“祕宗拳”發展為“迷宗藝”，最後自創了“迷蹤拳”。
按照精武會發起人陳公哲先生的《精武會五十年》中的記載，霍元甲“身高約五尺八寸，腰圍橫闊，面色赭黃，熊腰虎步，手足敏捷，重二百磅。”憑藉著這身力氣，霍元甲在天津找到了一份工作：成為一家以搬運為主業的“腳行”的代理掌櫃。
由於好交朋友、講義氣，霍元甲很快就丟了這份差使。隨後去了一個叫“懷慶藥棧”的地方。
這家“懷慶藥鋪”老闆叫農勁蓀，以購買藥材做掩護，暗中支持革命黨，反清復明。在農勁蓀的影響下，霍元甲認識了北京順源鏢局的一位老大，江湖人稱：大刀王五。
大刀王五
1900年八國聯軍侵入北京，大刀王五率人奮力抵抗，慘遭被洋人槍殺。“大刀王五”被梟首示眾，首級就掛在北京前門的樓上。
霍元甲得知消息後，二話不說，離開天津直奔北京。在朋友的配合下，潛上城樓，偷到了王五的首級，與他的屍身合葬。
在晚清民初的年代，西洋人把中國當成淘金的地方，各色洋人紛至沓來。比較常見的就是“比武打擂”。
有人說“霍元甲壓根就沒和西洋大力士交過手，算不上高手！”這句話前半部分是對的，後半部卻是錯的。
霍元甲一共與兩位西洋大力士有過比武，一位是1901年在天津戲園賣藝的俄國大力士叫斯奇凡洛夫，一位是1909年在上海大世界的英國大力士奧皮音，兩個人都號稱天下無敵手，更是鄙視中國人是“東亞病夫”。霍元甲兩次提出比武，結果斯奇凡洛夫當場認輸，奧皮音更是爽約，溜之大吉。
所以說不是霍元甲不打，而是西洋對手就不敢打。
不過雖然沒有上臺比武，但天津和上海兩場擂臺賽的“不戰而勝”，讓霍元甲的聲威在全國範圍內迅速達到了鼎盛。
農勁蓀
1909年1910年6月1日，在農勁蓀、陳其美等人的支持下，霍元甲在上海創辦了“中國精武體操會”（後改名精武體育會），由霍元甲親自出馬，開班授霍家祕不示人的迷蹤拳。為此，孫中山先生曾讚揚霍元甲“欲使國強，非人人習武不可”之信念和將霍家拳公諸於世的高風亮節，親筆寫下了“尚武精神”四個大字，惠贈精武體育會。
俗話說：“人怕出名豬怕壯！”霍元甲出名了，但禍也隨之而來。
舊上海蓬萊路一帶為日僑聚居之地，日本柔道會得知霍元甲勇挫俄、英兩國大力士，今又創立了“精武體操會”，很不服氣，特從國內選派十幾名武術高手，由柔道會長親自率領來華，以研究為名，請霍元甲等人來技擊館比武，雙方各自擇定公證人。
比賽開始時，霍元甲先命徒弟劉振聲出陣，令其採用誘敵之法，尋機取勝，劉振聲上場後，穩如泰山一般，日方人員認為有機可乘，使用多種招數，竟沒有撼動他。即使日方派出其力氣最大者上陣，也被劉振聲一腳踢得倒地不能動彈。劉振聲以靜制動，以逸待勞，連勝日方五人。
日本領隊見此情形非常惱火，便出陣向霍元甲挑戰，二人一經交手，未經幾個回合，日本領隊便領教到霍元甲的厲害，於是企圖暗中傷人，誰知霍元甲已看出破綻，虛顯一招，當場用肘將其臂骨磕斷。日方隊員見此情形，便蜂擁而上，當即被中方公證人制止。
這時，日本人改變了策略，在比賽後舉行宴會招待霍元甲。席間聽聞霍元甲患有嗆咳症，並在此次比武中也有外傷，就介紹一名叫秋野的醫生為霍元甲治病。平生胸懷坦蕩的霍元甲毫無懷疑之心，欣然接受。並留住虹口白渡橋的秋野醫院。霍元甲服藥後，病情不但沒有好轉，反而逐漸惡化。
此時精武會欲接霍元甲出院，秋野百般阻撓，後經多方周旋才出院，由精武會同仁陳子正救治，因中毒太深而無藥可救，於1910年9月14日長逝於上海精武體育會。霍元甲的徒弟和朋友們拿著霍元甲每日吃的藥去化驗，才知是一瓶慢性爛肺藥，明白了這是日本人暗下的毒手。逝世時年僅42歲。
不過還另有一種說法，霍元甲自幼就有病在身，咳血也是舊疾（霍元甲身邊多人證實），經過比武后加重病情，不幸逝世。
霍元甲逝世後，當時精武會弟子和上海武術界愛國人士為霍元甲舉行了隆重葬禮，敬獻了“成仁取義”輓聯，安葬於上海北郊。轉年，由弟子劉振聲扶柩歸裡，遷葬於小南河村南。上海精武會由元甲之弟元卿、次子東閣任教。各地分會相繼分起，十數年後，海內外精武分會達43處，會員逾40萬之眾。
2000年，新華社曾發過一篇專電，記錄霍元甲後人開棺驗屍，發現霍元甲遺骨全黑，化驗後確實是中毒。