Niedawno dzieliłem się statystykami mojego pipeline'u do generowania list blokad DNS. Od tamtej pory przeszedł on solidną metamorfozę.
Zamiast formatu Adblock, pobieram teraz listy w czystych domenach i formacie dnsmasq. Dorzuciłem też dwa potężne źródła skoncentrowane na phishingu: Cert Polska (NASK) oraz Phishing Army.
Efekt? Z 1,15 miliona surowych linii powstała końcowa lista 393 tysięcy domen. Oznacza to, że cały proces odrzucił aż 66% danych wejściowych.
Najpierw deduplikacja wycięła dokładnie te same wpisy, które powtarzały się w różnych listach (zostało 542 tys.). Później aglomeracja wyrzuciła kolejne 149 tysięcy redundantnych subdomen. Skoro blokujemy domena.pl, nie ma sensu trzymać w pliku osobno wpisów dla reklama.domena.pl czy tracking.domena.pl.
Mniejszy plik, szybszy resolver i realna ochrona przed polskim oraz globalnym phishingiem.
