毛澤東在合肥參觀佛子嶺水庫模型
淮河自古以來水情複雜，歷經黃河奪淮和常年戰亂失修等因素影響，水患頻繁、旱澇無常，又受以其難以治理出名，為人稱為“害河”，而流域內人口眾多，土地肥沃，城鎮密集，一旦水害損失巨大。1950年夏，淮河流域連降暴雨，引發洪澇災害，皖北地區大面積受災。此次水災對中共中央的決策起了非常大的影響，周恩來主持政務院會議並頒佈了《關於治理淮河的決定》，以“蓄洩兼籌”作為淮河治理方針，淮河治理成為了之後水利工作的長期重點，同年治淮委員會在蚌埠成立。1950年至1957年，即“國民經濟恢復”和“一五計劃”建設期間，新政權開始了大規模的基礎設施建設，在“大興水利”“水利是農田的命脈”等毛澤東思想的指導下，水利建設得到更多的重視。1951年5月，中央組織治淮視察團去治淮工地視察，毛澤東作出了“一定要把淮河修好”這一著名指示，在淮河的南源皖西大別山區修建以大型水庫為龍頭的山谷水庫群的計劃被寫入了治淮方略。
淠河是淮河的一條重要支流，“每逢汛期，十年九災”，治淮委員會工程部在進行多次查勘後決定在霍山縣縣城南17公里，佛子嶺鎮南2.5公里淠河東源上修建水庫蓄洪，佛子嶺水庫這一重點工程很快得到了國家計委和水利部的批准。繼佛子嶺水庫之後，該地區又有磨子潭水庫、響洪甸水庫、梅山水庫和龍河口水庫四座水庫陸續被建設，形成了淠史杭灌區。
工程系治淮委員會佛子嶺水庫工程指揮部，著名水利專家汪胡楨設計。建壩之初曾經就大壩型的選擇在石壩、土壩、重力壩、平板壩和連拱壩等方案中產生爭論，而工程指揮汪胡禎建議採取鋼筋混凝土連拱壩，認為“省水泥、省鋼筋、省人工，多快好省”。但這個方案受到了包括蘇聯專家等在內的一些人的反對，因為當時世界上僅有兩座連拱壩的建造先例，一座在美國，一座在阿爾及利亞，且由於建國初期西方的封鎖，無法得到相應的資料可供參考，選用連拱壩方案在技術上有著相當大的風險性。此外水庫位於地震區，該結構方案的抗震能力還是未知數。但最終水利部確定在打漁衝口上游150 米的壩址處採用鋼筋混凝土連拱壩方案，佛子嶺水庫至今仍是世界上採用連拱壩不多的幾個例子之一。
1951年年底，六安至佛子嶺公路通車，指揮部開始由各方調配人員，民工多來自皖西北六安、阜陽等地，並從江蘇、上海等地招聘技術工人，次年清基工程正式開工。1952年7月，剛在壽縣完成土改的解放軍第90師改編為水利第一師參加了水庫建設。大壩從1952年7月開始澆築壩身混凝土，至1954年9月澆築完成，11月工程竣工。大壩圍堰曾在1953年洪水中被沖毀，工程一度停工。1954年6月，在工程即將竣工時發生了里氏5.25級地震，壩體未出現破壞現象，但一些觀點猜測此地震可能由水庫的建設所引發。工程的建設期間正值朝鮮戰爭和國內剿匪鬥爭進行之中，國內環境複雜，建設過程曾抓獲十餘名空降來破壞工程的國民黨特務人員。整個工程的土石方挖填量約99萬立方米，混凝土澆築量約23.9萬立方米，耗用水泥6.3萬噸，鋼材8010噸。
水庫樞紐工程由攔河壩、溢洪道、輸水鋼管、發電廠四部分組成。攔河壩與溢洪道由一山隔開，左岸攔河壩為鋼筋混凝土連拱壩，壩高74.4米，高程128.46米，防浪牆頂高程129.6米（1982年分別加至75.9米、129.96米、131.06米）。壩頂長510米，頂寬1.8米。由20個垛、21個拱（個拱直徑13.5米）及兩端接岸重力壩段組成，連拱壩的拱與垛均為薄壁輕型結構，上部厚0.5至0.6米，下部不超過2米。右岸溢洪道，共6孔，單孔淨寬10.6米，最大洩洪流量7540立方米每秒。壩身3道洩洪鋼管，最大洩洪量225立方米每秒，初建5道發電鋼管，後擴至6道，壩後式電站，發電廠有新老廠房各一座，共安裝七臺水輪發電機組，總裝機3.1萬千瓦，多年平均年發電量1.24億千瓦時。
佛子嶺水庫控制流域面積1840平方公里（後由於磨子潭水庫建成蓄水，實際控制流域面積降為1270平方公里）。設計洪水位125.97米，相應庫容4.05億立方米，校核洪水位129.83米，相應庫容4.96億立方米；水庫設計正常蓄水位125.56米，汛期限制水位122.56米。現狀防洪能力僅達到400年一遇。為確保大壩安全，防禦1000年一遇洪水，1994年以後，將汛限水位降至112.56米，嚴重影響了灌溉和發電。1955年建成之初，水庫管理處隸屬治淮委員會領導。歷經數次變革，今天的水庫管理機構為“佛子嶺水電站”，隸屬安徽省電力工業局。
大壩在1954年剛竣工後就出現了垛牆裂縫，並且不斷髮展，對此採取了瀝青灌縫措施。由於該工程是共和國曆史上所建第一個大型水利工程，水文資料與設計經驗匱乏，材料緊缺等條件限制，造成了大壩的應力計算不足，設計防洪標準偏低等問題，在日後的運行過程中逐漸暴露。最嚴重的是1969年7月，流域內普降暴雨，加之運行管理不當，大壩漫水1.08米，兩岸山坡和壩垛後部基岩遭到嚴重沖刷，壩後電力設備被沖毀。所幸大壩是鋼筋混凝土結構，未造成板橋水庫潰壩的悲劇。
大壩自竣工投入使用以來一共經歷了三次大修，分別如下。
第一次：1965年6月－1968年10月。由於壩體出現裂縫，鋼管發生氣蝕和震動等問題放空水庫水，對大壩及洩洪鋼管進加強拱澆築、裂縫灌漿及帷幕和固結灌漿等施工。
第二次：1982年6月－1986年6月。由於1969年7月發生洪水漫壩事故，對大壩加高1.5米，溢洪道增建一孔，使最大洩洪能力達到7540立方米每秒。
第三次：2002年10月－2005年4月。觀測發現大壩河床段壩垛向下遊位移量值普遍增大，雖經前兩次加固，仍存在壩身裂縫嚴重。經鑑定，防洪標準不足，存在安全隱患，屬三類壩。故採用高壓固結灌漿和鋼纖維噴射混凝土等新技術對大壩全面加固。
1954年水庫建成當年，時值流域內特大洪水，大壩將洪峰6350立方米每秒，削減為600立方米每秒，有效消除了下游水災。之後大壩歷經多次加固改造，蓄洪能力不斷增強。隨著流域內多座水庫的建設，其防洪壓力不斷減小。佛子嶺水庫是淠史杭灌區的骨幹工程和重要水源，其水灌溉六安、合肥、巢湖等地區，累計灌溉農田300多萬畝（20多萬公頃），耕地15967畝（1064.5公頃），年均提供灌溉用水11億立方米。水庫的修建為灌區大大增強了防汛抗旱能力，使江淮地區成為了穩定高產的糧產基地。