Jest to celowe uproszczenie modelu w celu uniknięcia przetrenowania. W zależności od algorytmu stosowane są inne sposoby regularyzacji. Często potocznie regularyzacja jest nazywana karaniem (penalizing) algorytmu.
Wczesne zatrzymanie
Ten sposób regularyzacji dotyczy wszystkich algorytmów. Polega on na odpowiednim doborze czasu uczenia modelu. Najczęściej im dłużej model się uczy, tym jest on coraz bardziej przetrenowany. Stąd wczesne zatrzymanie (early termination) uczenia modelu (gdy już zaczyna spełniać nasze oczekiwania, lub gdy widzimy pierwsze oznaki przetrenowania) jest często dobrym rozwiązaniem.
Drzewa decyzyjne
W przypadku drzew decyzyjnych będzie to na przykład usunięcie ostatnich elementów z drzewa.
Sieci neuronowe
Jeśli chodzi o sieci neuronowe, to regularyzacją tutaj będzie usunięcie/wyłączenie pojedynczych neuronów.
Regresja liniowa
Zakładając, że nasza funkcja ma postać:
f(x) = a + bx
to prostym sposobem regularyzacji będzie wymuszenie wartości 0 dla parametru a:
f(x) = 0 + bx
co daje po prostu:
f(x) = bx
przez co model może sterować tylko nachyleniem linii 🙂