Analiza częstotliwości

Analiza częstotliwości to ogólna procedura, która może być używana podczas łamania kilku różnych rodzajów szyfrów. W analizie częstotliwości zazwyczaj przeglądamy tekst szyfru i próbujemy znaleźć pewne podobieństwa do języka, w którym napisana jest wiadomość.

Częstotliwość występowania liter w szyfrogramie

Jednym z podstawowych narzędzi analizy częstotliwości jest częstotliwość występowania znaków w danym języku. Jeśli przeanalizujemy wystarczającą ilość czeskich tekstów, możemy obliczyć różne informacje statystyczne, w tym ile razy które litery wystąpiły w tych tekstach.

Ponieważ pewnego dnia kupiłem około pięciu tysięcy czeskojęzycznych książek, przeprowadziłem na nich taką analizę. W tych pięciu tysiącach książek było łącznie 1 404 443 151 liter. Poniższa tabela przedstawia rozkład liter (po usunięciu znaków diakrytycznych):

Poniższa tabela przedstawia względną częstotliwość występowania liter:

Z tabeli wynika więc, że około 9,58% liter we wszystkich książkach było literą "a". Z tego możemy wywnioskować, że około 9,58% liter w normalnym czeskim tekście byłoby literą "a".

Każda taka statystyka pokaże nieco inne wartości, ale to w porządku - nie chodzi o dokładne wartości, których i tak nie można znaleźć, a jedynie o wartości przybliżone.

Odchylenie częstotliwości liter od częstotliwości liter w języku

Jeśli znamy oczekiwane względne częstotliwości każdej litery w danym języku, możemy obliczyć odchylenie jakiegoś tekstu od oczekiwanych wartości. Jako przykład rozważmy dwa teksty: "fhes dudy fqhup ijhecuc fhejepu eriqxkzu ahkpdysu" i "proc neni parez tree because it contains crucifixes". Na pierwszy rzut oka widać, że pierwszy tekst to jakiś bełkot, a drugie zdanie to tekst czeski. Obliczmy odchylenie - powinno wyjść, że odchylenie pierwszego tekstu będzie znacznie większe niż drugiego.

Najpierw obliczmy liczbę wystąpień liter w każdym tekście:

Teraz obliczamy odchylenia. Obliczamy je, odejmując względną częstotliwość występowania litery w języku od względnej częstotliwości w pierwszym tekście i podnosząc do kwadratu. Oznacza to, że dla litery "a" i pierwszego tekstu otrzymalibyśmy odchylenie jako

$$ (0.0232558 - 0.0958927)^2=0.0052761 $$

i podobnie dla wszystkich pozostałych liter. Po najechaniu kursorem myszy na komórkę z wynikiem wyświetlane jest również wyrażenie, które zostało użyte do uzyskania wyniku.

Na koniec zsumowaliśmy wszystkie odchylenia. Prawidłowo powinniśmy jeszcze podzielić tę wartość przez liczbę liter, a następnie odjąć, aby naprawdę uzyskać odchylenie. Ale te operacje nie zmieniają faktu, że drugi tekst ma znacznie niższe odchylenie, więc jest znacznie bardziej prawdopodobne, że jest to tekst czeski.

Najpopularniejsze słowa w języku

Czasami przydatna może być lista najczęściej używanych słów w danym języku.