Gradient to po prostu kierunek i wielkość największego wzrostu funkcji (jest to wektor). Czyli aby minimalizować przykładowo funkcję straty należy poruszać się w przeciwnym kierunku do gradientu. Dzięki temu można optymalizować parametry modelu (na przykład wagi w sztucznej sieci neuronowej) w dobrym kierunku.
Metoda gradientu prostego jest często wykorzystywaną metodą przy optymalizacji wag sztucznych sieci neuronowych.
Pod względem matematycznym jest obliczanie pochodnej funkcji względem parametru.