Zastanawiające jest to, jak przykładowo ChatGPT był w stanie nauczyć się tak ogromnej ilości informacji. Szczególnie z uwagi na fakt, że niemożliwym by było umieszczenie całego (lub nawet jakiejś większej części) Internetu w pamięci.
Rozwiązaniem są tutaj algorytmy pozakorowe (out-of-core learning), które pozwalają na naukę z małych porcji danych (wykorzystując przy tym uczenie przyrostowe). Uczenie przyrostowe daje możliwość douczania, a uczenie pozakorowe pozwala na naukę z małych porcji danych.