Optymalizacja hiperparametrów

Czym jest optymalizacja hiperparametrów?

Optymalizacja hiperparametrów to proces dostrajania wartości parametrów zewnętrznych modelu uczenia maszynowego, które nie są uczeniem się z danych, ale mają kluczowy wpływ na działanie i wydajność modelu. Hiperparametry kontrolują proces uczenia i strukturę modelu, np. szybkość uczenia (learning rate), liczba neuronów w sieci, czy głębokość drzewa decyzyjnego.

Efektywna optymalizacja hiperparametrów może znacząco poprawić dokładność, stabilność i generalizację modelu.

Rodzaje parametrów w modelach uczenia maszynowego

1. Hiperparametry modelu:

   • Parametry określające strukturę modelu, np. liczba warstw w sieci neuronowej, liczba drzew w random forest.

2. Hiperparametry procesu uczenia:

   • Parametry kontrolujące sposób uczenia, np. szybkość uczenia (\( \eta \)), liczba epok, rozmiar batcha.

3. Parametry wynikające z danych:

   • Parametry związane z przygotowaniem danych, np. metoda skalowania danych, podejście do imputacji braków.

Popularne hiperparametry w różnych algorytmach

1. Modele liniowe (np. regresja liniowa, logistyczna):

• Regularizacja \( \lambda \):
  • Współczynnik regularyzacji L1 (Lasso) lub L2 (Ridge), który kontroluje złożoność modelu: \[ J(\theta) = \frac{1}{m} \sum_{i=1}^m \text{koszt}(h_\theta(x^{(i)}), y^{(i)}) + \lambda ||\theta||_p \] Gdzie:
    • \( ||\theta||_p \) to norma \( L1 \) (suma wartości bezwzględnych) lub \( L2 \) (suma kwadratów współczynników).
• Liczba iteracji: Maksymalna liczba iteracji w metodach optymalizacji, np. w gradient descent.

2. Drzewa decyzyjne i Random Forest:

• Maksymalna głębokość drzewa (\( \text{max depth} \)).
• Minimalna liczba próbek w węźle liściowym (\( \text{min samples leaf} \)).
• Liczba drzew (\( n\_estimators \)) w Random Forest.

3. SVM (Support Vector Machine):

• Parametr \( C \): Kontroluje kompromis między marginesem a błędem klasyfikacji.
• Parametr \( \gamma \): Wpływa na kształt funkcji jądra (kernel). \[ K(x, x') = \exp(-\gamma ||x - x'||^2) \]

4. Sieci neuronowe:

• Szybkość uczenia (\( \eta \)):
  • Określa krok, z jakim model aktualizuje wagi podczas uczenia: \[ w^{(t+1)} = w^{(t)} - \eta \nabla J(w) \]
• Liczba warstw i neuronów w każdej warstwie.
• Funkcja aktywacji (ReLU, sigmoidalna, tanh).
• Rozmiar batcha: Liczba próbek przetwarzanych jednocześnie w jednej iteracji.

Metody optymalizacji hiperparametrów

1. Grid Search (Przeszukiwanie siatki):

• Przeszukiwanie wszystkich możliwych kombinacji zdefiniowanych wartości hiperparametrów.
• Wymaga zdefiniowania zakresu dla każdego hiperparametru.
• Zalety:
  • Łatwe do zrozumienia i implementacji.
• Wady:
  • Czasochłonne, szczególnie dla dużych zbiorów danych i wielu hiperparametrów.

2. Random Search:

• Losowe próbkowanie kombinacji hiperparametrów w określonym zakresie.
• Zalety:
  • Szybsze niż grid search, ponieważ eksploruje przestrzeń w sposób losowy.
• Wady:
  • Może nie uwzględnić najoptymalniejszych wartości, jeśli przestrzeń jest nierównomierna.

3. Bayesowska optymalizacja:

• Budowanie modelu probabilistycznego (np. Gaussian Process) w celu przewidywania, które zestawy hiperparametrów mogą dać najlepsze wyniki.
• Funkcja celu jest modelowana i iteracyjnie optymalizowana.
• Zalety:
  • Bardziej wydajne niż grid i random search.
  • Skupia się na najbardziej obiecujących obszarach przestrzeni hiperparametrów.
• Wady:
  • Złożoność implementacji.

4. Gradient-Based Optimization:

• Używanie gradientów do optymalizacji hiperparametrów, np. optymalizacja szybkości uczenia.
• Stosowane w modelach, gdzie hiperparametry mogą być różniczkowalne.

5. Search Cross-Validation:

• Każda kombinacja hiperparametrów jest oceniana przy użyciu walidacji krzyżowej (cross-validation), co zmniejsza ryzyko overfittingu.

Przykład: Optymalizacja hiperparametrów w Random Forest

Dane:

• Liczba drzew (\( n\_estimators \)): \( \{50, 100, 200\} \).
• Maksymalna głębokość (\( max\_depth \)): \( \{5, 10, 15\} \).

Grid Search:

1. Kombinacje:
   • \( n\_estimators = 50, max\_depth = 5 \)
   • \( n\_estimators = 50, max\_depth = 10 \)
   • \( \dots \) (wszystkie kombinacje).
2. Ocena wyników:
   • Każda kombinacja jest testowana z użyciem walidacji krzyżowej.

Zalety optymalizacji hiperparametrów

• Poprawa dokładności modeli:
  • Optymalne hiperparametry mogą znacząco poprawić wyniki.
• Lepsza generalizacja:
  • Unikanie overfittingu i underfittingu dzięki odpowiednim parametrom.
• Automatyzacja procesu:
  • Dzięki metodom takim jak random search i bayesowska optymalizacja proces może być zautomatyzowany.

Wady optymalizacji hiperparametrów

• Koszt obliczeniowy:
  • Przeszukiwanie dużych przestrzeni hiperparametrów jest czasochłonne i wymaga dużej mocy obliczeniowej.
• Złożoność:
  • Niektóre metody (np. bayesowska optymalizacja) są trudne do wdrożenia bez odpowiedniego doświadczenia.
• Subiektywność:
  • Zakresy hiperparametrów muszą być określone z góry, co wymaga wiedzy eksperckiej.

Podsumowanie

Optymalizacja hiperparametrów jest kluczowym krokiem w procesie budowania modeli uczenia maszynowego. Wybór odpowiedniej metody optymalizacji zależy od dostępnych zasobów, złożoności modelu i celu analizy. Poprawnie dobrane hiperparametry mogą znacząco poprawić wydajność modeli, ale proces wymaga odpowiedniego planowania i zasobów obliczeniowych.