NLP

VADER to Valence Aware Dictionary and sEntiment Reasoner. Rozbijmy to na części pierwsze Valence Aware Dictionary Valence Aware Dictionary to w wolnym tłumaczeniu – słownik ze świadomością „zabarwienia”. Czyli mamy wcześniej przygotowany słownik wyrazów z ich oceną. Przykładowo: Słowo Jak pozytywne jest słowo Jak negatywne jest słowo Jak neutralne jest słowo Jakie jest ogółem Dobry …

VADER – czyli jak za pomocą reguł ocenić zabarwienie tekstu Czytaj dalej »

NER to technika przypisywania podmiotom odpowiednich etykiet. Przykładowo „Konrad” będzie mogło mieć etykietę „imię”, a „50 zł” będzie odpowiadało etykiecie „gotówka”. Inne często stosowane etykiety to: – organizacje (Facebook, Google…)– lokalizacje (Warszawa, Lublin, Londyn…)– wartości liczbowe (1,2,3,4…)– wartości procentowe (10%, 34%…) Przykładowa wizualizacja możliwości biblioteki spaCy

Aktualnie dostępne biblioteki, pozwalają na określenie części mowy (czasownik, rzeczownik, przymiotnik) na podstawie słowa i kontekstu. Niektóre biblioteki potrafią rozpoznawać też czasy (przeszły, teraźniejszy, przyszły…) jak i inne części mowy. Przykładowa wizualizacja możliwości biblioteki spaCy

Stop words są to słowa nie wnoszące znaczenia w zdaniach. Ale co znaczy nie wnoszące znaczenia? No to już zależy od kontekstu i często jest tak, że lista takich słów może się wahać od kilku do kilkuset. Przykładem takich słów mogłyby być: a, gdzie, że. Ale równie dobrze można się z tym sprzeczać, że te …

NLP – Stop words Czytaj dalej »

Lematyzacja (lemmatization) polega na wydobyciu podstawy słowa na podstawie nie tylko samego słowa, ale też jego kontekstu (słów będących obok). Jest to technika dużo bardziej zaawansowana niż stemming. Przykład na podstawie biblioteki spaCy Jak widać, lematyzacja radzi sobie bardzo dobrze z sprowadzaniem słów do ich podstawowej formy. Warto zajrzeć 1. https://pl.wikipedia.org/wiki/Lematyzacja