Wereldwijd onderzoek naar webbeveiliging van 5 miljoen sites — tussenrapport: wat er veranderde toen 1 miljoen Common Crawl-domeinen werden toegevoegd

• Tussenrapport van een plan om 5 miljoen websites wereldwijd met één identieke methode te observeren. Na fase 1 (Tranco top 1 miljoen en andere lijsten, 1,057,185 domeinen) zijn in fase 2 1,001,045 nog niet geobserveerde domeinen uit de top van de Common Crawl-domeinranglijst toegevoegd. Tot nu toe zijn 2,058,230 domeinen geobserveerd; voor 2,948,955 loopt de observatie nog. De vergelijkingen in dit rapport gebruiken de 911,485 van Tranco afkomstige domeinen uit fase 1 en de 1,001,045 domeinen uit fase 2.
• De bereikbaarheid in fase 2 (DNS opgelost en een HTTP-antwoord ontvangen) was 85.3% (fase 1: 85.3%). DNS-fouten kwamen uit op 8.9%: ongeveer één op de tien namen op de ranglijst bestaat niet meer.
• Afgedwongen HTTPS (95.4%) ligt vrijwel gelijk aan fase 1, en HSTS (29.7%) ligt 5.4 punten lager. CSP daalde naar 16.0% (-9.9 punten), X-Frame-Options naar 25.2% (-17.0 punten) en het aandeel sites achter een WAF/CDN naar 35.2% (-15.7 punten). Maatregelen die bewust geconfigureerd moeten worden, nemen af naarmate de populatie breder wordt.
• Bij Tranco dalen HSTS en CSP met de rang (HSTS 44.9% in de top 100k tegenover 31.9% bij 600k–1M). Over de rangbanden van Common Crawl is het verband niet monotoon: vlak rond 34% tot rang 600k, een daling naar 23.6% bij 600k–1M en daarna terug naar 31.0% voorbij 1M. De twee ranglijsten bedoelen met "top" iets anders.
• 9.8% van de reagerende sites in fase 2 maakt een PHP-versie bekend (fase 1: 6.8%), en 43.5% daarvan zijn end-of-life-versies (fase 1: 48.5%). 10.5% van de reagerende sites maakt een versie bekend die binnen het bereik van een gepubliceerde CVE valt (bovengrens), ongeveer gelijk aan fase 1 (10.6%).
• Dit is een tussenrapport. De resterende 2.95 miljoen domeinen van fase 2 en de nog lopende aanvraag voor ICANN-zonebestanden komen aan bod in het eindrapport.

Dit artikel is ook in het Engels gepubliceerd op sitescouter.net en nkzw.jp, en in het Japans op sitescouter.net. Dit is de Nederlandse editie op Site Scouter, vertaald uit de Engelse versie. Het eindrapport over alle 5 miljoen sites is nu beschikbaar; de cijfers daarin gaan voor.

Het onderzoek en de plaats van dit rapport

Het onderzoek observeert 5 miljoen websites wereldwijd op HTTPS, HSTS, security headers, TLS, certificaten, vermelding van serverversies en de ondersteuningsstatus van PHP, met dezelfde methode in dezelfde periode. Het breidt het eerdere "Security Exposure Survey 2026" (10 regio's, 260k sites) uit naar wereldschaal. De populatie wordt in twee fasen opgebouwd.

1. Fase 1: Tranco top 1 miljoen (911,485 domeinen, 139 landen plus gTLD's), geobserveerd van 2026-10-22 tot 2026-10-28. Fase 1 nam daarnaast 145,700 domeinen over uit het eerdere onderzoek (onder meer Japanse sites uit de zoekgeschiedenis en uit Majestic); hun populatie wijkt af, dus ze zijn hier buiten de vergelijkingen gehouden.
2. Fase 2: de Common Crawl-domeinranglijst, waaruit in rangvolgorde 3.95 miljoen registreerbare domeinen zijn genomen die niet in fase 1 zaten. Dit rapport behandelt de eerste 1,001,045 daarvan (rang 398 tot 1,256,831).

Er loopt ook een aanvraag bij ICANN CZDS (zonebestanden); bij het schrijven was nog geen goedkeuring binnen. Zonebestanden bevatten veel geregistreerde namen die geen openbare website zijn, dus ook na goedkeuring worden ze behandeld als een populatie los van Common Crawl.

Methode

Elke site krijgt één DNS-lookup, één TLS-handshake en één HTTP GET: hetzelfde als de site één keer in een browser openen. Geen portscans, geen zoeken naar kwetsbaarheden, geen inlogpogingen en geen exploitverkeer. De observatie draait vanaf workers verspreid over meerdere binnenlandse verbindingen; één hubserver deelt een wachtrij uit en verzamelt de resultaten in een tabel waaraan alleen kan worden toegevoegd.

• Ontdubbeling: als een host meer dan eens is geobserveerd, wordt de laatste rij gebruikt die geen DNS-fout is, en anders de laatste rij.
• Common Crawl-rang: de rang op basis van harmonische centraliteit uit de webgraaf op domeinniveau van cc-main-2026-jul-aug-sep. Tranco is een "populariteits"-volgorde die meerdere ranglijstbronnen samenvoegt; de Common Crawl-rang meet centraliteit in de linkgraaf die de crawl bereikt, en dat is niet hetzelfde als populariteit. Alle vergelijkingen in dit rapport gaan uit van dat verschil.
• Scanners in fase 1: in fase 1 is de worker halverwege van PHP naar Python overgezet, waardoor sommige foutlabels verschillen (PRIVATE_OR_INVALID_IP en HTTP_FAILED komen van de PHP-scanner). De definities van bereikbaarheid en adoptie zijn identiek.
• Definities van de indicatoren volgen het Security Exposure Survey 2026: HTTPS afgedwongen = een HTTP-verzoek wordt naar HTTPS doorgestuurd; HSTS = het antwoord bevat Strict-Transport-Security; versie verborgen = geen versienummer in Server of X-Powered-By; CVE-blootstelling = de bekendgemaakte versie valt binnen het getroffen bereik van een gepubliceerde CVE (bovengrens).

Bereikbaarheid — één op de tien namen op de ranglijst is verdwenen

Van de 1,001,045 domeinen in fase 2 gaven er 853,736 (85.3%) een HTTP-antwoord. DNS-fouten waren 8.9%, verbindingsfouten 3.1% en TLS-fouten 2.8%. Fase 1 bereikte 85.3% met 6.8% DNS-fouten (figuur 1).

Per rangband bereikt Tranco in de top 100k minder sites (80.8%) dan bij 600k–1M (87.7%): de top van de lijst bevat veel CDN-leveringsdomeinen en API-hostnamen die geen sites voor browsers zijn. Common Crawl bereikt bijna 90% tot rang 300k (89.9% in de top 100k), zakt naar 81.6% bij 600k–1M en herstelt zich tot 86.8% voorbij 1M (figuur 2). Waarom alleen de band 600k–1M lager uitvalt, wordt in het eindrapport nagegaan.

Adoptie van beveiligingsmaatregelen — wat veranderde en wat niet

Figuur 3 toont de adoptie als aandeel van de reagerende sites.

Afgedwongen HTTPS is in beide populaties vrijwel gelijk: HTTPS is ruim voorbij de top van de ranglijsten doorgedrongen. HSTS ligt 5.4 punten lager, maar de grotere verschillen zitten in maatregelen die een site bewust moet configureren: CSP (-9.9 punten), X-Frame-Options (-17.0 punten), Referrer-Policy (-10.6 punten) en het aandeel sites achter een WAF/CDN (-15.7 punten). Het verschil bij WAF/CDN wordt verklaard doordat Cloudflare in de Server-header staat bij 42.8% van de sites in fase 1, maar bij slechts 27.7% van de sites in fase 2. Een front-end als Cloudflare voegt sommige headers toe zonder dat de site er iets voor hoeft te doen; als het aandeel front-ends daalt, daalt de adoptie van headers mee.

Bij sites die een cookie zetten (244,340 in fase 2) was Secure aanwezig bij 65.5%, HttpOnly bij 62.0% en een expliciete SameSite bij 49.9%. Ten opzichte van fase 1 (64.5% / 67.9% / 57.8%) is Secure ongeveer gelijk, terwijl HttpOnly en SameSite een paar punten lager liggen.

Daalt de adoptie met de rang? De twee ranglijsten verschillen

Bij Tranco dalen HSTS en CSP naarmate de rang lager wordt: HSTS van 44.9% in de top 100k naar 31.9% bij 600k–1M, CSP van 31.8% naar 23.5%. Dat is het intuïtieve patroon: hoe meer een site wordt gebruikt, hoe groter de kans dat hij beter is beveiligd.

Over de rangbanden van Common Crawl verschijnt dat patroon niet. HSTS is 34.4% in de top 100k, 34.5% bij 100k–300k en 33.5% bij 300k–600k — vlak — en zakt dan naar 23.6% bij 600k–1M om voorbij 1M terug te keren naar 31.0%. CSP volgt dezelfde vorm (figuur 4). Harmonische centraliteit meet hoe makkelijk een domein via links vanaf veel pagina's bereikbaar is, en dat is niet hetzelfde als veel gebruikers hebben. Sites in gidsstijl met veel onderlinge links en oudere sites met linklijsten scoren hoog en vormen een populatie die verschilt van een populariteitsvolgorde.

Dit bepaalt hoe de stap van 1 miljoen naar 5 miljoen gelezen moet worden. De cijfers van fase 2 komen dichter bij een gemiddelde voor "het hele web", terwijl "top N" bij Tranco en bij Common Crawl als iets verschillends moet worden behandeld.

TLS en certificaten

In fase 2 werd bij 86.6% van de reagerende sites TLS 1.3 onderhandeld en bij 7.1% TLS 1.2 (fase 1: 85.5% / 9.3%). Met deze methode lukt de verbinding niet bij een site die alleen TLS 1.0/1.1 spreekt, en is die niet te onderscheiden van andere fouten. DV-certificaten waren 92.2% en OV 1.5% (OV in fase 1: 4.0%). Hoe breder de populatie, hoe kleiner het aandeel OV/EV en hoe groter het aandeel sites op gratis DV-certificaten (figuur 5).

Serverproducten en versievermelding

In fase 2 noemde de Server-header Cloudflare bij 27.7%, nginx bij 20.2%, Apache bij 20.3% en LiteSpeed bij 5.0% van de reagerende sites. Vergeleken met fase 1 daalde Cloudflare en stegen Apache en LiteSpeed — het profiel van shared hosting. Een versienummer stond erbij bij 21.6% van de nginx-sites, 17.4% van de Apache-sites en 99.9% van de IIS-sites (IIS maakt zijn versie standaard bekend).

WordPress werd herkend op 25.0% van de reagerende sites in fase 2 (fase 1: 13.4%): een bredere populatie verhoogt het aandeel WordPress aanzienlijk. Shopify daalde van 3.8% in fase 1 naar 0.5%.

PHP-versies en ondersteuningsstatus

9.8% van de reagerende sites in fase 2 (83,813) maakt een PHP-versie bekend in X-Powered-By of vergelijkbaar, meer dan in fase 1 (6.8%). Van de bekendgemaakte versies is 43.5% (36,498 sites) end-of-life (PHP 8.1 of ouder), minder dan in fase 1 (48.5%). 8,042 sites draaien nog PHP 5 en 20,006 PHP 7. 11,483 maken 8.2 bekend (alleen beveiligingsupdates tot 31 december 2026) en 35,830 maken 8.3 of nieuwer bekend (figuur 7).

De versievermelding steeg, terwijl het aandeel end-of-life daalde. Zowel de verspreiding van het wisselen van PHP-versie bij shared hosting als het aantal omgevingen dat de versie standaard niet verbergt, lijken hieraan bij te dragen. Een versie bekendmaken is op zich geen kwetsbaarheid, maar een end-of-life-versie bekendmaken vertelt aanvallers waar ze moeten zoeken.

CVE-blootstelling (bovengrens)

10.5% van de reagerende sites in fase 2 (89,793) maakt een versie bekend die binnen het getroffen bereik van een gepubliceerde CVE valt. 3.9% omvat een CVE uit de klasse remote code execution en 8.2% een CRITICAL-CVE. Fase 1 kwam uit op 10.6% / 3.3% / 7.4%: het niveau veranderde niet met de bredere populatie (figuur 8).

Per product viel 51.4% van de sites die een PHP-versie bekendmaken, 86.9% van die met Apache en 58.5% van die met nginx binnen het bereik van een gepubliceerde CVE. Dit zijn bovengrenzen op basis van de versiestring; distributies als Debian en RHEL backporten fixes zonder het versienummer te wijzigen, en dat kan niet worden meegenomen. Misbruik is niet getest. De meest voorkomende match uit de RCE-klasse, CVE-2024-3566, betreft vooral PHP-CGI op Windows en is doorgaans niet van toepassing op Linux-shared hosting.

Basisscore

Zeven punten — HTTPS afgedwongen, HSTS, CSP, X-Frame-Options, X-Content-Type-Options, versie verborgen en een geldig certificaat — geven een score van 0–7. Het gemiddelde in fase 2 is 3.64 (fase 1: 4.10). Fase 2 concentreert zich bij 3 punten (35.7%), en een volle 7 zakte naar 4.6% (fase 1: 10.2%) (figuur 9). Het meest voorkomende beeld is "HTTPS, certificaat en verbergen van de versie geregeld; headers onaangeroerd".

Per TLD

Figuur 10 vergelijkt de adoptie van HSTS en CSP voor de TLD's die het vaakst voorkomen in de Common Crawl-populatie met dezelfde TLD's in fase 1. .jp staat op HSTS 15.0% en CSP 6.9%, lager dan in fase 1 (27.6% / 11.0%) en het laagst van de grote TLD's. .de daalde van 45.0% naar 32.8% HSTS, een groot verschil tussen de topsites en de rest. Nieuwere gTLD's als .io en .app laten in beide fasen een hoge HSTS-adoptie zien.

Voortgang en volgende stappen

Fase 2 begon op 2026-10-27 21:24 en had op het peilmoment van dit rapport (2026-10-28 03:46) 1,001,045 domeinen geobserveerd. De observatie van de resterende 2,948,955 gaat door, en na afronding volgt een eindrapport over 5 miljoen sites. Het eindrapport voegt uitsplitsingen per land (ccTLD), combinaties van WordPress- en PHP-versies en CVE-uitsplitsingen per product toe. Als de aanvraag bij ICANN CZDS wordt goedgekeurd, wordt de populatie uit de zonebestanden als afzonderlijke fase 3 behandeld.

Beperkingen en kanttekeningen

• De populatie van fase 2 volgt de Common Crawl-rang op basis van harmonische centraliteit, niet populariteit. Lees "top N" niet zoals bij Tranco.
• Bereikbaarheid is gemeten vanaf de observatiepunten (binnenlandse verbindingen); sites die niet reageerden door geoblokkering of botbescherming tellen als fout.
• In fase 1 is de scannerimplementatie halverwege gewijzigd, waardoor sommige foutlabels verschillen. De definities van bereikbaarheid en adoptie zijn gelijk.
• CVE-blootstelling is een bovengrens op basis van versiestrings en kan gebackporte fixes niet meenemen. Misbruik is niet getest.
• Dit is een tussentelling; de cijfers verschuiven naarmate de rest van fase 2 wordt geobserveerd. De waarden van het eindrapport gaan voor.
• In dit rapport wordt geen enkele afzonderlijke site bij naam genoemd.

Veelgestelde vragen

Is dit een aanval?

Nee. Elke site kreeg dezelfde toegang als wanneer u hem één keer in een browser opent, en alleen openbare HTTP-antwoorden en DNS-gegevens zijn gebruikt. Er zijn geen portscans uitgevoerd en er is niet naar kwetsbaarheden gezocht.

Waarom Common Crawl?

Tranco houdt op bij 1 miljoen. Om 5 miljoen te bereiken is een grote, openbare en reproduceerbare lijst nodig. De Common Crawl-domeinranglijst vereist geen aanvraag, iedereen kan hetzelfde bestand downloaden, en ze is beperkt tot namen die de crawl werkelijk heeft bereikt, waardoor ze dichter bij "openbare websites" ligt dan een zonebestand.

Kunnen de twee populaties worden opgeteld tot een "wereldgemiddelde"?

Ze verschillen van aard, dus dit rapport houdt ze gescheiden. Het eindrapport vermeldt de weging en geeft ook gecombineerde waarden.

Kan ik mijn eigen site op dezelfde manier controleren?

Ja. Voer een URL in bij de serverinformatiecheck van Site Scouter om TLS, HSTS, headers en versievermelding te zien met dezelfde niet-ingrijpende methode als in dit onderzoek.

Zijn de gegevens aangepast?

De resultaten worden opgeslagen in een tabel waaraan alleen kan worden toegevoegd, en de aggregatiescripts en CSV's worden bewaard in een vorm die opnieuw doorgerekend kan worden.

Bronnen

Laatst gecontroleerd: 2026-10-28. Specificaties en beleid kunnen veranderen; raadpleeg de primaire bronnen voordat u actie onderneemt.

• Common Crawl: Web Graphs (domain ranking)
• Tranco: A Research-Oriented Top Sites Ranking
• MDN: Strict-Transport-Security
• MDN: Content-Security-Policy
• PHP: Supported Versions (php.net)
• NVD - National Vulnerability Database (NIST)