一、集成算法簡介
集成算法，即構建多個個體學習器，並基於某種結合策略綜合個體學習器的學習效果，進而完成學習任務。個體學習器就是基於現有的算法生成的模型。以上一篇文章《分類算法系列之隨機森林》為例，隨機森林是集成算法的典型代表，基於多組隨機樣本集合生成多棵決策樹，即個體學習器，最後的模型輸出就是綜合了所有個體學習器決策樹的結果。以下是集成算法的結構圖：
根據個體學習器生成方式的不同，集成算法可分成兩類。第一類集成算法的代表是boosting，各個個體學習器之間存在強依賴關係，是通過串行方式生成的；第二類集成算法的代表是bagging，各個個體學習器之間不存在強依賴關係，可並行生成。
二、Boosting算法
Boosting算法的基本思想：基於訓練樣本生成一個個體學習器，然後基於個體學習器的表現調整樣本分佈，即增加錯誤樣本的權重，使其在後續受到更多關注，基於調整好權重的訓練集繼續生成下一個個體學習器，不斷循環，直到生成一定數量的個體學習器，最後基於某種結合策略來綜合這多個個體學習器的輸出。boosting算法的典型代表是Adaboost，小編會在下一篇進行說明。
三、Bagging算法
Bagging算法的基本思想：給定含n個樣本的訓練樣本集，基於有放回的抽樣生成T個含n個樣本的訓練樣本集合，然後基於這T個樣本集合訓練生成T個個體學習器，最後基於某種結合策略來綜合這T個個體學習器的輸出。Bagging算法的典型代表是隨機森林，詳見《分類算法系列之隨機森林》。
相關推薦
'機器學習&深度學習基礎（tensorflow版本實現的算法概述0）'
"tensorflow集成和實現了各種機器學習基礎的算法，可以直接調用。代碼集：https://github.com/ageron/handson-ml監督學習1）決策樹（Decision Tree）和隨機森林決策樹： 決策樹是一種樹形結構，為人們提供決策依據，決策樹可以用...
'機器學習之誤差反向傳播算法'
"機器學習之誤差反向傳播算法 我們知道神經網絡是由大量的參數即權重構成，神經網絡的學習過程則是這些參數的變化更新過程。誤差反向傳播算法就是用於更新這些參數的。這裡我們假設激活函數為Sigmoid。Ps: 在吳恩達機器學習反向傳播算法課程中，而不是：這是因為吳恩達中使用的損失...
'谷歌廣告推出季節性廣告調整功能，現可用於搜索廣告、展示廣告系列'
"在促銷期間，谷歌的出價算法可以讓你更好地瞭解短期廣告轉換率變化。今年5月谷歌在Google Marketing Live上演示的季節性調整功能，現在可用於搜索和展示廣告系列。為什麼要用谷歌廣告季節性調整功能？谷歌的tCPA和tROAS智能競標策略考慮到了大規模的季節性變化...
推薦中...