Jednostki takie jak Mebibajt, Gibibajt czy Tebibajt są tak zwanymi jednostkami dwójkowymi – opierają się o potęgi liczby dwa (a nie o potęgi liczby 10 tak jak Megabajty, Gigabajty czy Terabajty). Przykład Megabajt versus Mebibajt 1 MB (Megabajt) -> 103kB -> 1000 kB -> 106B -> 1000 * 1000 B -> 1000000B 1 MiB (Mebibajt) …
Mebibajt [MiB], Gibibajt [GiB], Tebibajt [TiB]… Czytaj dalej »
Bezpieczeństwo w kryptografii określa niemożliwość złamania szyfru. Najczęściej definiuje się je za pomocą bezpieczeństwa w teorii i bezpieczeństwa w praktyce. Bezpieczeństwo w teorii (informacyjne) Bezpieczeństwo w teorii, czasami zwane informacyjnym, jak sama nazwa na to wskazuje opiera się na teorii. Chodzi o to, czy jest w ogóle możliwe złamanie szyfru czy też nie (nie ma …
Losowość jest istotnym elementem w kryptografii gdzie między innymi jest wykorzystywana do generowania kluczy. Aczkolwiek aby losowość była tą rzeczywiście losową (RNG), a nie tylko pseudo losową (PRNG), potrzebne jest wysoki poziom entropii. Entropia To poziom nieuporządkowania. Jeśli entropia jest maksymalna to znaczy, że każdy wynik jest tak samo prawdopodobny – na przykład przy uczciwym …
Jest to uproszczenie modelu poprzez zaokrąglenia do mniej dokładnych wartości niż rzeczywiste. A przez to przechowywanie ich za pomocą mniejszych komórek pamięci (na przykład z Float32 do Float 16). Dzięki temu możliwe jest z uruchomienie modelu na słabszym sprzęcie. A po co to komu? Większość dzisiejszych modeli językowych wymaga naprawdę mocnego sprzętu – pokroju 64 …
Rozmiar modelu językowego to po prostu ilość wag sieci neuronowej. Często mówi się także o ilości parametrów modelu, co także odnosi się do ilości wag. Przykładowe wartości Nazwa modelu Ilość wag (parametrów) Przybliżone wymagania sprzętowe dla uruchomienia modelu (wnioskowanie/inferencja) LLaMA 7B 7 bilionów (7 000 000 000 000) Procesor: GPU: NVIDIA A100 z 40 GB …
W dużym uproszczeniu – JSON to tekst a JSONB to kod binarny. JSON W tym formacie dane są zapisywane za pomocą zwykłego tekstu – co sprawia, że zapis jest szybki. Lecz operacje na strukturze JSON są wolne ponieważ wymagają uprzedniego przetworzenia/dekompozycji. JSONB W tym formacie dane zapisywane są za pomocą kodu binarnego – co sprawia, …
Jest to specjalny procesor stworzony w celu przyspieszenia uczenia sieci neuronowych z użyciem TensorFlow. Jest to produkt firmy Google. Warto zajrzeć 1. https://en.wikipedia.org/wiki/Tensor_Processing_Unit
LPU (ang. Language Processing Unit) jest to specjalna konstrukcja procesora, będąca ukierunkowana na obsługę modeli językowych (jak Llama, GPT-4…). Jest to procesor stworzony przez firmę Groq. Czy GPU już nie wystarcza? Procesory GPU są bardzo szybkie dzięki równoległym obliczeniom. Lecz generowanie tekstu jest z natury sekwencyjne (jedno słowo zależy od drugiego/następuje po drugim) i na …
Klucz jednorazowy (one time pad) to taki klucz, który jest, jak sama nazwa mówi, wykorzystywany tylko raz oraz jego długość jest taka sama (lub czasami dłuższa) jak długość przesyłanej wiadomości. Gwarancja bezpieczeństwa Taki klucz nie może być złamany z jednego prostego założenia – na każdej pozycji może być dosłownie dowolny znak/bit. Jedyne co możemy w …
Klucz jednorazowy – czyli super bezpieczeństwo dużym kosztem Czytaj dalej »
Szyfry klasyczne to te wynalezione jeszcze przed powstaniem komputerów. Szyfr Cezara ~ 1 wiek p. n. e. Szyfr według rzymskiego historyka Swetoniusza był używany przez Juliusza Cezara stąd też jego nazwa. Zasada działania Szyfrowania polegało na przesunięciu liter w górę lub w dół alfabetu (gdy alfabet się kończył to zaczynano od początku/końca). Przykładowo dla przesunięcia …
