TPU – Tensor Processing Unit (Google)
Jest to specjalny procesor stworzony w celu przyspieszenia uczenia sieci neuronowych z użyciem TensorFlow. Jest to produkt firmy Google. Warto zajrzeć 1. https://en.wikipedia.org/wiki/Tensor_Processing_Unit
AI
LPU – Language Processing Unit (Groq)
LPU (ang. Language Processing Unit) jest to specjalna konstrukcja procesora, będąca ukierunkowana na obsługę modeli językowych (jak Llama, GPT-4…). Jest to procesor stworzony przez firmę Groq. Czy GPU już nie wystarcza? Procesory GPU są bardzo szybkie dzięki równoległym obliczeniom. Lecz generowanie tekstu jest z natury sekwencyjne (jedno słowo zależy od drugiego/następuje po drugim) i na …
NER – named entity recognition
NER to technika przypisywania podmiotom odpowiednich etykiet. Przykładowo „Konrad” będzie mogło mieć etykietę „imię”, a „50 zł” będzie odpowiadało etykiecie „gotówka”. Inne często stosowane etykiety to: – organizacje (Facebook, Google…)– lokalizacje (Warszawa, Lublin, Londyn…)– wartości liczbowe (1,2,3,4…)– wartości procentowe (10%, 34%…) Przykładowa wizualizacja możliwości biblioteki spaCy
Part Of Speech – określanie części mowy
Aktualnie dostępne biblioteki, pozwalają na określenie części mowy (czasownik, rzeczownik, przymiotnik) na podstawie słowa i kontekstu. Niektóre biblioteki potrafią rozpoznawać też czasy (przeszły, teraźniejszy, przyszły…) jak i inne części mowy. Przykładowa wizualizacja możliwości biblioteki spaCy
NLP – Stop words
Stop words są to słowa nie wnoszące znaczenia w zdaniach. Ale co znaczy nie wnoszące znaczenia? No to już zależy od kontekstu i często jest tak, że lista takich słów może się wahać od kilku do kilkuset. Przykładem takich słów mogłyby być: a, gdzie, że. Ale równie dobrze można się z tym sprzeczać, że te …
Lematyzacja – uzyskanie podstawowej formy słów
Lematyzacja (lemmatization) polega na wydobyciu podstawy słowa na podstawie nie tylko samego słowa, ale też jego kontekstu (słów będących obok). Jest to technika dużo bardziej zaawansowana niż stemming. Przykład na podstawie biblioteki spaCy Jak widać, lematyzacja radzi sobie bardzo dobrze z sprowadzaniem słów do ich podstawowej formy. Warto zajrzeć 1. https://pl.wikipedia.org/wiki/Lematyzacja
Stemming – czyli próba algorytmicznego uzyskania podstawowej formy słowa
Stemming to technika polegająca na wykorzystaniu algorytmów (z wykorzystaniem konkretnych reguł) do uzyskania podstawowej formy słowa. Przykładowo słowem podstawowym dla słowa koty będzie kot. Podobnie dla słowa chłopięcy, będzie to słowo chłopak. Niestety z racji dużego skomplikowania języków stemming okazuje się nie najlepszym wyborem, z racji na jego nieodporność na wyjątki. Najpopularniejsze algorytmy Porter Stemmer …
Stemming – czyli próba algorytmicznego uzyskania podstawowej formy słowa Czytaj dalej »
Potok w uczeniu maszynowym [pipeline]
Potokiem nazywamy zgrupowane ze sobą akcje podejmowane w celu przygotowania modelu. Przykładowo:
Hiperparametry algorytmu a parametry modelu
Hiperparametram dotyczy algorytmu uczącego model i jest to na przykład poziom regularyzacji. Parametrami modelu będą wskaźniki, których się wyuczył. Przykładowo dla regresji liniowej, będą to parametry a i b:
Algorytmy pozakorowe w uczeniu maszynowym
Zastanawiające jest to, jak przykładowo ChatGPT był w stanie nauczyć się tak ogromnej ilości informacji. Szczególnie z uwagi na fakt, że niemożliwym by było umieszczenie całego (lub nawet jakiejś większej części) Internetu w pamięci. Rozwiązaniem są tutaj algorytmy pozakorowe (out-of-core learning), które pozwalają na naukę z małych porcji danych (wykorzystując przy tym uczenie przyrostowe). Uczenie …