Az ideghálózatok a súlyváltozás és a fogyás impulzusát jelentik

A lendületet a súlyingadozások csökkentésére használják az egymást követő iterációk során: α 'role = "presentation"> α

súlyváltozás

Súlycsökkenés λ 'role = "prezentáció"> λ bünteti a súly változását:

A kérdés az, hogy van-e értelme kombinálni a két trükköt a visszapopogatás során, és milyen hatása lenne ennek?

Igen, nagyon gyakori mindkét tipp használata. Különböző problémákat oldanak meg, és jól működhetnek együtt.

Az egyik gondolkodásmód erre az, hogy a fogyás megváltoztatja az optimalizálandó funkciót, míg a mozgás mennyisége megváltoztatja az Ön által követett utat. .

A súlycsökkentés az együtthatók nullára csökkentésével biztosítja, hogy alacsony amplitúdójú paraméterekkel lokális optimumot találjon. Ez általában döntő fontosságú a túlfeszültség elkerülése érdekében (bár más típusú terhelések is működhetnek). Másrészt az is könnyebb lehet a modell optimalizálása, hogy az objektív függvény domborúbbá válik.