歷史中程咬金這個人物是真實存在的，絕非杜撰。曾祖父程興，出任北齊兗州司馬；祖父程哲，出任北齊晉州司馬；父親程婁，任隋朝濟州大中正，後追贈使持節瀛州諸軍事、瀛州刺史。
隋大業六年，天下大亂豪強並起，程咬金召集百人武裝護衛鄉里，後投奔李密。李密軍中有精銳八千人，隸屬四個驃騎將軍率領，號稱內軍，程咬金為四大驃騎將軍之一。
李密與王世充大戰，程咬金和裴行儼率軍出擊，裴行儼被箭所傷墜馬，程咬金馳馬救援，連殺數人，抱起裴行儼馳馬回奔，敵軍來追，程咬金斬其槊，殺其兵，王世充軍士不能敵。後來李密失敗，王世充招降程咬金，任命為將軍，待之甚厚。
程咬金雖在王世充帳下，但很鄙夷王世充的為人，曾對秦叔寶說：“王公才識風度淺薄狹隘，卻愛亂說，喜歡賭咒發誓，這不過是老巫婆，哪裡是撥亂反正的君主！”後來王世充與唐軍交戰，程咬金、秦叔寶在陣前率領幾十名部下直接前往唐軍陣營投降，王世充不敢追逼。
唐軍主帥李淵對程咬金等降將並不是太重視，均賜給了兒子李世民。李世民對他們十分尊重，任命秦叔寶為馬軍總管，程知節為左三統軍。此後，程咬金追隨秦王李世民，先後擊敗宋金剛、竇建德、王世充，領左一馬軍總管，每逢出征，常做先鋒舉旗先登，因戰功被封為宿國公。[
唐武德七年，太子李建成上書李淵，任命程咬金為康州刺史，藉以拉攏程咬金。程咬金告知李世民：“大王被去掉左膀右臂，要想使自己得到長久的保全，能做得到嗎？知節有死而已，不敢離開大王身邊！”程咬金之智慧可見一斑。
唐武德九年，在程咬金等大將的支持下，李世民發動玄武門之變，殺齊王，廢太子，囚君上，登基稱帝。玄武門之變後，程咬金拜太子右衛率，遷右武衛大將軍，享受實封七百戶。
貞觀一朝程咬金履任封疆大吏，貞觀十七年李世民封凌煙閣24功臣，程咬金位列19。貞觀二十三年李世民駕崩，程咬金自翠微宮奉敕統率飛騎軍護衛皇太子李治回朝繼位，並在左延明門外連續宿衛三個月。
顯慶元年，程知節任蔥山道行軍大總管討伐西突厥。前軍總管蘇定方率五百騎遭遇西突厥四萬騎兵，唐軍不退反進，西突厥大敗。唐軍追奔二十里，殺獲一千五百多人，繳獲的戰馬及器械，漫山遍野，不可勝計。行軍副總管王文度嫉妒蘇定方的大功，對程咬金說：“這時雖說是獲勝，但我軍也有死傷，千萬不要急追敵寇，應自結方陣，慢慢謹慎前行，敵則戰，萬全之策。”更出格的是，王文度還對人講皇上有密旨給他自己，讓程咬金及全軍歸他指揮，並下令軍隊不許深入追敵。唐軍士卒終日身被重甲緩緩而行，嚴冬朔風，糧草不繼，人馬相繼凍病而死。蘇定方勸程咬金：“我們出師目的是為了殲敵，這時反而坐困自守，敵來必敗，如此怯懦，何以立功！皇上以您為大將，怎麼可能又密詔副手發號施令，其中肯定有詐。請下令把王文度抓起來，飛表上奏皇上弄個清楚。”但此時的程咬金卻搖頭不從。
唐軍至恆篤城，數千胡人歸降。王文度說：“這些人等我們離開，肯定又會反叛，不如全部殺掉，還能得大筆資財。”蘇定方切諫：“這樣幹我們自己倒成賊了，怎能稱得上是為國伐叛！”程咬金默許王文度。幾千胡人被殺得乾淨，王文度“分其財，獨定方不受”，史書雖未說明程咬金也貪財寶，但“獨定方不受”，或表明程咬金自己也有嫌疑。回師以後，事情敗露，王文度因矯詔當死，獲特赦，被除名免職。程咬金因逗留不進及不努力追敵，減死免官，程咬金晚節不保。雖然不久後程咬金又被朝廷起用為岐州刺史，但程咬金上表請求辭官。
麟德二年二月七日，程咬金在長安懷德里的家中去世，享年七十七歲。李治下詔追贈驃騎大將軍、益州大都督，陪葬於昭陵，諡號襄公。