Matematikai különbségek a GBM, XGBoost, LightGBM, CatBoost között
A GBDT modellcsaládnak számos megvalósítása létezik, például:
- GBM
- XGBoost
- LightGBM
- Catboost.
Milyen különbségek vannak matematika e különböző megvalósítások között?
Úgy tűnik, hogy a Catboost felülmúlja a többi megvalósítást, még csak az alapértelmezett beállításait is felhasználva ezen a benchmarkon, de még mindig nagyon lassú.
Feltételezésem szerint a catboost nem használ dumált változókat, így az egyes (kategorikus) változókhoz rendelt súly kiegyensúlyozottabb, mint a többi megvalósítás, így a nagy kardinalitású változóknak nincs nagyobb súlyuk, mint a többi. Lehetővé teszi a gyenge kategorikus (alacsony kardinalitás) bejutását bizonyos fákba, ami jobb teljesítményt eredményez. Ezen kívül nincs más magyarázatom.
Angol nyelven szeretné megtekinteni a Yandex csapatának a CATBoost matematikai egyediségét.
Röviden elolvastam, és azon néhány dolog között, amire gyorsan rájöttem, az volt, hogy nem használják a kapott maradékot VONAT A KÉPZÉS elkészítéséhez, mert ezek a maradványok optimista elfogultságot teremtenek a tanulás minőségével kapcsolatban. ( Frissítés: ez az újdonság lehetőséget kínál a túlillesztés elleni küzdelemre, ezért az algoritmus jobban teljesített analógjaihoz képest, kivéve a kategorikus változók előzetes feldolgozásának különféle módszereit).
Sajnálom, hogy nem adtam pontos és teljes választ.
Matematikai különbségek a GBM és az XGBoost között
Először azt javaslom, olvassa el Friedman cikkét, amely elsősorban a lineáris regresszoros modellekre, osztályozókra és a döntési fákra alkalmazott gradiens megerősítő gépre vonatkozik. https://statweb.stanford.edu/