Wereldwijd onderzoek naar webbeveiliging bij 5 miljoen sites — eindrapport: de beveiligingsstand van de Tranco top 1M en 3.95M Common Crawl-domeinen

• Eindrapport van een plan om 5 miljoen websites wereldwijd met één identieke methode te observeren. Fase 1 (de Tranco top 1 miljoen en andere lijsten, 1,057,185 domeinen) en fase 2 (3,949,993 domeinen uit de domeinranglijst van Common Crawl) waren op 2026-10-29 03:38 afgerond. De vergelijkingen gebruiken de 911,485 van Tranco afkomstige domeinen uit fase 1 en de 3,949,993 domeinen uit fase 2, samen 4,861,478.
• De bereikbaarheid in fase 2 (DNS opgelost en een HTTP-antwoord ontvangen) was 79.6% (fase 1: 85.3%). DNS-fouten waren goed voor 14.4%: ruwweg één op de tien namen op de ranglijst bestaat niet meer.
• Over de samengevoegde 4,861,478 domeinen (3,922,585 met antwoord) is HTTPS afgedwongen bij 95.1%, HSTS 29.3%, CSP 16.6%, X-Frame-Options 26.3%, verborgen versie 73.8% en een WAF/CDN ervoor 38.7%. HTTPS is vrijwel overal doorgedrongen, terwijl maatregelen die een site bewust moet instellen blijven steken op ongeveer drie op de tien voor HSTS en minder dan twee op de tien voor CSP.
• Tussen de Tranco top 1 miljoen en de 3.95 miljoen Common Crawl-domeinen verschilt HSTS met -7.3 punten, CSP met -11.6, X-Frame-Options met -19.8 en WAF/CDN ervoor met -15.3. Het patroon dat het tussenrapport bij de grens van 1 miljoen zag — maatregelen die configuratie vergen dalen naarmate de populatie breder wordt — hield stand over alle 3.95 miljoen.
• WordPress werd herkend op 25.4% van de reagerende sites in fase 2 (fase 1: 13.4%). 9.9% van de sites in fase 2 maakt een PHP-versie bekend en 44.6% daarvan zijn end-of-life-versies. 9.8% van de reagerende sites maakt een versie bekend die binnen het bereik van een gepubliceerde CVE valt (fase 1: 10.6%, bovengrens).
• De open vraag uit het tussenrapport — waarom alleen de Common Crawl-band 600k–1M een lagere bereikbaarheid en minder HSTS liet zien — is uitgesplitst naar fouttype en observatietijdstip. DNS-fouten nemen toe met de rang, en de band 1.6M–1.8M bevat een cluster dode domeinen die ook bij latere herhaalde opvraging via andere resolvers niet worden opgelost (echt verdwenen). Verbindings- en TLS-fouten waren scheefgetrokken door het observatietijdstip, dus de 255,894 betrokken hosts zijn vóór de eindtelling opnieuw geobserveerd (paragraaf 3).

Dit artikel is ook in het Engels gepubliceerd op sitescouter.net en nkzw.jp, en in het Japans op sitescouter.net. Dit is de Nederlandse editie op Site Scouter, vertaald uit de Engelse versie. Zie het tussenrapport voor de fase met 1 miljoen domeinen.

Het onderzoek en de plaats van dit rapport

Het onderzoek observeert 5 miljoen websites wereldwijd op HTTPS, HSTS, beveiligingsheaders, TLS, certificaten, het prijsgeven van serverversies en de ondersteuningsstatus van PHP, met dezelfde methode in dezelfde periode. Het breidt het eerdere "Security Exposure Survey 2026" (10 regio's, 260k sites) uit tot wereldschaal. De populatie is in twee fasen opgebouwd.

1. Fase 1: de Tranco top 1 miljoen (911,485 domeinen, 139 landen plus gTLD's), geobserveerd van 2026-10-22 tot 2026-10-28. Fase 1 nam ook 145,700 domeinen over uit het eerdere onderzoek (onder meer Japanse sites uit zoekgeschiedenis en Majestic); hun populatie is anders, dus ze vallen hier buiten de vergelijkingen.
2. Fase 2: de domeinranglijst van Common Crawl, met 3,949,993 registreerbare domeinen die niet in fase 1 zaten, in volgorde van rang (rang 398 tot 4,322,835), geobserveerd van 2026-10-27 21:24 tot 2026-10-29 03:38.

Het tussenrapport (28 oktober 2026) besloeg de eerste 1,002,874 domeinen van fase 2 (rangen tot 1,256,831). Dit rapport houdt dat bereik aan als het "bereik van het tussenrapport" en laat zien hoe het afwijkt van de volledige set (paragraaf 5). De aanvraag bij ICANN CZDS (zonebestanden) loopt nog, dus er is geen populatie uit zonebestanden opgenomen; als die wordt goedgekeurd en later geobserveerd, volgt een apart verslag als fase 3.

Methode

Elke site krijgt één DNS-opvraging, één TLS-handshake en één HTTP GET: hetzelfde als de site één keer openen in een browser. Geen portscans, geen zoeken naar kwetsbaarheden, geen inlogpogingen en geen exploitverkeer. De observatie draait op workers verspreid over meerdere binnenlandse verbindingen; één hubserver deelt een wachtrij uit en verzamelt de resultaten in een tabel waaraan alleen wordt toegevoegd.

• Ontdubbeling: als een host meer dan eens is geobserveerd, wordt de laatste rij gebruikt die geen DNS-fout is, en anders de laatste rij.
• Common Crawl-rang: de rang op basis van harmonische centraliteit uit de webgraaf op domeinniveau van cc-main-2026-jul-aug-sep. Tranco is een volgorde naar "populariteit" die meerdere ranglijstbronnen samenvoegt; de Common Crawl-rang meet centraliteit in de linkgraaf die de crawl heeft bereikt, en dat is niet hetzelfde als populariteit.
• Scanners in fase 1: fase 1 stapte halverwege over van een worker-implementatie in PHP naar een in Python, waardoor sommige foutlabels verschillen. De definities van bereikbaarheid en adoptie zijn identiek.
• Definities van de indicatoren volgen het Security Exposure Survey 2026: HTTPS afgedwongen = een HTTP-verzoek wordt doorgestuurd naar HTTPS; HSTS = het antwoord bevat Strict-Transport-Security; versie verborgen = geen versienummer in Server of X-Powered-By; CVE-blootstelling = de bekendgemaakte versie valt binnen het getroffen bereik van een gepubliceerde CVE (bovengrens).
• Samengevoegde waarden: "samengevoegd" betekent de 911,485 van Tranco afkomstige en de 3,949,993 Common Crawl-domeinen opgeteld zonder weging. Common Crawl maakt ongeveer 80% uit, dus samengevoegde waarden liggen dicht bij fase 2.

Bereikbaarheid — één op de tien gerangschikte namen is verdwenen

Van de 3,949,993 domeinen in fase 2 gaven er 3,145,094 (79.6%) een HTTP-antwoord. DNS-fouten waren 14.4%, verbindingsfouten 3.5% en TLS-fouten 2.5%. Fase 1 bereikte 85.3% met 6.8% DNS-fouten (figuur 1).

Per rangband bereikt Tranco in zijn top 100k minder sites (80.8%) dan bij 600k–1M (87.7%): de top van de lijst bevat veel CDN-leveringsdomeinen en API-hostnamen die geen sites voor browsers zijn. Common Crawl bereikt 90.3% in de top 100k, 82.2% bij 600k–1M, 78.4% bij 1M–2M, 81.9% bij 2M–3M en 75.5% voorbij 3M (figuur 2).

Het tussenrapport liet open waarom alleen de band 600k–1M lager uitkwam. Fouten uitsplitsen naar type en observatietijdstip (figuur 13) levert twee antwoorden op. DNS-fouten, de grootste categorie, nemen toe met de rang (6.8% in de top 200k, 25.8% voorbij 4M): een eigenschap van de populatie, met meer dode domeinen verder naar beneden. Ze zijn echter niet gelijkmatig verdeeld: alleen al de 200k domeinen op rang 1.6M–1.8M gaven 35% DNS-fouten. Een steekproef van die mislukte hosts later opnieuw opvragen via andere resolvers (1.1.1.1 en 8.8.8.8, met en zonder www) leverde voor geen enkele een resolutie op: er zit een cluster dode domeinen bij elkaar in de ranglijst. Oudere domeinen die centraal stonden in linknetwerken blijven gerangschikt nadat de sites zijn verdwenen.

Verbindingsfouten en TLS-fouten waren daarentegen scheefgetrokken door het observatietijdstip. De band 600k–1M (voor het eerst geobserveerd op 28 oktober 00:00–02:23) liet bij die eerste ronde 4.1% verbindingsfouten en 4.1% TLS-fouten zien, ongeveer twee keer zoveel als de aangrenzende banden (2–3%), en andere banden die in dezelfde uren werden geobserveerd vertoonden dezelfde stijging, wat wijst op een tijdelijk probleem op een deel van de observatieverbindingen. Elke Common Crawl-host die eindigde met een verbindings- of TLS-fout is daarom vóór de eindtelling opnieuw geobserveerd, en de cijfers in dit rapport bevatten die resultaten. Slechts een klein deel van die hosts antwoordde echter bij de tweede ronde. De band 600k–1M ging van 81.6% naar 82.2% bereikbaar, en verbindings- plus TLS-fouten van 8.2% naar 4.6% + 3.0%, wat nu tussen de aangrenzende banden in ligt (86.0% en 78.4%). Het probleem aan de observatiekant verklaart maar een deel van het overschot; de meeste fouten waren hosts die echt niet antwoordden. HSTS blijft daarentegen met 23.4% de laagste van alle banden (buren: 33.4% en 27.3%), en omdat HSTS alleen over bereikbare sites wordt berekend, verklaart de bereikbaarheid dat niet. Er is iets scheef in de populatie van die band, maar dit rapport kon niet vaststellen wat.

Adoptie van beveiligingsmaatregelen — wat veranderde en wat niet

Figuur 3 en de tabel tonen de adoptie als aandeel van de reagerende sites. "Samengevoegd" is de eenvoudige som van Tranco en Common Crawl.

Het afdwingen van HTTPS is in beide populaties vrijwel gelijk: HTTPS is ver voorbij de top van de ranglijsten doorgedrongen. De verschillen zitten in maatregelen die een site bewust moet instellen: HSTS (-7.3 punten), CSP (-11.6 punten), X-Frame-Options (-19.8 punten), Referrer-Policy (-13.4 punten) en het aandeel sites achter een WAF/CDN (-15.3 punten). Het verschil bij WAF/CDN wordt verklaard doordat Cloudflare in de Server-header staat bij 42.8% van de sites in fase 1, maar bij slechts 29.1% van die in fase 2. Een front-end zoals Cloudflare voegt sommige headers toe zonder dat de site iets hoeft te doen, dus als het aandeel front-ends daalt, daalt de adoptie van headers mee.

Bij sites die een cookie plaatsen (879,428 in fase 2) was Secure aanwezig bij 68.0%, HttpOnly bij 59.5% en een expliciete SameSite bij 48.2% (fase 1: 64.5% / 67.9% / 57.8%).

Wat er is verschoven sinds het tussenrapport (grens van 1 miljoen)

Het tussenrapport besloeg de eerste 1,002,874 Common Crawl-domeinen (rangen tot 1,256,831). Dat bereik naast de volledige set gelegd: bereikbaarheid 85.8% → 79.6%, HTTPS afgedwongen 95.3% → 94.8%, HSTS 29.6% → 27.8%, CSP 16.0% → 14.3%, WAF/CDN ervoor 35.2% → 35.6%, versie verborgen 72.6% → 73.6%, CVE-blootstelling 10.5% → 9.8% (figuur 12). Het toevoegen van de resterende 2.95 miljoen domeinen verschoof de adoptiecijfers maar met een paar punten, en de lezing van het tussenrapport blijft overeind. Wat wel verschoof was de bereikbaarheid, omdat dode domeinen verder naar beneden in de ranglijst vaker voorkomen.

Daalt de adoptie met de rang? De twee ranglijsten verschillen

Bij Tranco dalen HSTS en CSP naarmate de rang daalt: HSTS van 44.9% in de top 100k naar 31.9% bij 600k–1M, CSP van 31.8% naar 23.5%. Dat is het intuïtieve patroon: hoe meer een site wordt gebruikt, hoe groter de kans dat hij is gehard.

Over de Common Crawl-rangbanden is HSTS 34.4% in de top 100k, 34.4% bij 100k–300k, 33.4% bij 300k–600k, 23.4% bij 600k–1M, 27.3% bij 1M–2M, 30.4% bij 2M–3M en 25.2% voorbij 3M. CSP gaat van 20.1% in de top 100k naar 12.8% voorbij 3M, en daalt over het geheel met schommelingen daartussen (figuur 4). HSTS is vlak rond 34% tot rang 600k en beweegt daarna van band tot band tussen 23% en 31%, zonder de eenrichtingshelling die bij Tranco te zien is. Harmonische centraliteit meet hoe makkelijk een domein via links vanaf veel pagina's wordt bereikt, en dat is niet hetzelfde als veel gebruikers hebben. Gidsachtige sites met dichte onderlinge links en oudere sites met linklijsten scoren hoog en vormen een populatie die verschilt van een volgorde naar populariteit.

TLS en certificaten

Fase 2 onderhandelde TLS 1.3 bij 86.7% van de reagerende sites en TLS 1.2 bij 6.0% (fase 1: 85.5% / 9.3%; samengevoegd: 86.4% / 6.6%). Met deze methode kan een site die alleen TLS 1.0/1.1 spreekt geen verbinding maken en is die niet te onderscheiden van andere fouten. In fase 2 was 91.6% van de certificaten DV en 1.0% OV (fase 1 OV 4.0% / EV 0.2%; de scanner van fase 2 detecteerde geen EV, dus EV uit fase 1 is niet direct vergelijkbaar). Hoe breder de populatie, hoe kleiner het aandeel OV en hoe groter het aandeel sites dat draait op gratis DV-certificaten (figuur 5).

Serverproducten en het prijsgeven van versies

In fase 2 noemde de Server-header Cloudflare bij 29.1%, nginx bij 19.0%, Apache bij 19.5% en LiteSpeed bij 5.2% van de reagerende sites (fase 1: Cloudflare 42.8%, nginx 18.3%, Apache 12.2%, LiteSpeed 2.7%). Een bredere populatie verlaagt het aandeel van Cloudflare en verhoogt dat van Apache en LiteSpeed — het profiel van shared hosting. Een versienummer stond erbij bij 20.3% van de nginx-, 15.0% van de Apache- en 99.9% van de IIS-sites (IIS maakt zijn versie standaard bekend).

WordPress werd herkend op 25.4% van de reagerende sites in fase 2 (fase 1: 13.4%; samengevoegd: 23.0%): een bredere populatie verhoogt het aandeel WordPress aanzienlijk. Shopify daalde van 3.8% in fase 1 naar 1.0%.

WordPress- en PHP-versies samen bekeken

Van de sites die als WordPress zijn herkend, maakt in fase 2 20.4% (163,110) een PHP-versie bekend, meer dan de 6.3% van niet-WordPress-sites. Van de bekendgemaakte versies is 38.4% end-of-life op WordPress-sites tegenover 51.4% elders: lager op WordPress. WordPress zelf vereist een recente PHP-versie en het dashboard waarschuwt voor niet-ondersteunde versies, wat PHP-updates lijkt aan te jagen. Voor headers geldt het omgekeerde: WordPress-sites laten HSTS 20.5%, CSP 11.6% en verborgen versie 71.1% zien, onder de 30.3%, 15.2% en 74.5% van andere sites. PHP wordt bijgewerkt; de configuratie van headers blijft liggen als werk aan de serverkant. In fase 1 was 28.7% van de WordPress-sites die hun PHP-versie prijsgeven end-of-life.

PHP-versies en ondersteuningsstatus

9.9% van de reagerende sites in fase 2 (310,928; fase 1: 6.8%) maakt een PHP-versie bekend in X-Powered-By of iets vergelijkbaars. Van de bekendgemaakte versies is 44.6% (138,528 sites; fase 1: 48.5%) end-of-life (PHP 8.1 of ouder). 27,526 sites draaien nog PHP 5 en 76,717 draaien PHP 7. 42,926 melden 8.2 (alleen beveiligingsfixes tot 31 december 2026) en 129,445 melden 8.3 of nieuwer (figuur 7). Samengevoegd is 45.1% (164,150) van de 363,719 sites die hun PHP-versie prijsgeven end-of-life.

Het prijsgeven van versies nam toe, terwijl het aandeel end-of-life daalde. Zowel de verspreiding van het wisselen van PHP-versie bij shared hosting als het aantal omgevingen dat de versie standaard niet verbergt lijken bij te dragen. Een versie bekendmaken is op zichzelf geen kwetsbaarheid, maar een end-of-life-versie bekendmaken vertelt aanvallers waar ze moeten zoeken.

CVE-blootstelling (bovengrens)

9.8% van de reagerende sites in fase 2 (309,323) maakt een versie bekend die binnen het getroffen bereik van een gepubliceerde CVE valt. 4.0% omvat een CVE uit de klasse remote code execution en 7.9% een CRITICAL-CVE. Fase 1 kwam uit op 10.6% / 3.3% / 7.4% en de samengevoegde waarden zijn 10.0% / 3.8% / 7.8% (figuur 8). De stap van 1 miljoen naar 5 miljoen sites heeft dit niveau nauwelijks verschoven.

Per product viel 52.2% van de sites die een PHP-versie bekendmaken, 87.1% van die met Apache en 54.1% van die met nginx binnen een gepubliceerd CVE-bereik. Dit zijn bovengrenzen op basis van de versiestring; distributies zoals Debian en RHEL backporten fixes zonder het versienummer te veranderen, en dat kan niet worden meegenomen. Misbruik is niet getest. De meest voorkomende match uit de RCE-klasse, CVE-2024-3566, betreft vooral PHP-CGI op Windows en is doorgaans niet van toepassing op Linux-shared hosting.

Basisscore

Zeven onderdelen — HTTPS afgedwongen, HSTS, CSP, X-Frame-Options, X-Content-Type-Options, verborgen versie en een geldig certificaat — leveren een score van 0–7 op. Het gemiddelde in fase 2 is 3.56 (fase 1: 4.10; samengevoegd: 3.67). Fase 2 concentreert zich op 3 punten (36.5%), en de volle 7 wordt door slechts 4.3% gehaald (fase 1: 10.2%) (figuur 9). Het meest voorkomende profiel is "HTTPS, certificaat en verbergen van de versie geregeld; headers onaangeroerd".

Per TLD

Figuur 10 vergelijkt de adoptie van HSTS en CSP voor de TLD's die het vaakst voorkomen in de Common Crawl-populatie met dezelfde TLD's in fase 1. .jp staat in fase 2 op HSTS 14.9% en CSP 7.4% (fase 1: 27.6% / 11.0%), wat samen met .ru (HSTS 15.7% / CSP 6.4%) het laagst is van de grote TLD's. .de daalde van 45.0% naar 28.0% HSTS. Nieuwere gTLD's zoals .io en .app tonen in beide fasen een hoge adoptie van HSTS.

Samengevoegde waarden (Tranco + Common Crawl) voor de grote TLD's:

Het niveau van "het hele web" gezien over 5 miljoen sites

De samengevoegde 4,861,478 domeinen (3,922,585 met antwoord) geven een referentieniveau voor het web als geheel: HTTPS afgedwongen 95.1%, HSTS 29.3%, CSP 16.6%, X-Frame-Options 26.3%, X-Content-Type-Options 32.6%, versie verborgen 73.8%, WAF/CDN ervoor 38.7%, TLS 1.3 86.4%, CVE-blootstelling (bovengrens) 10.0%, gemiddelde basisscore 3.67.

Dit is een eenvoudige som waarin Common Crawl ongeveer 80% uitmaakt. De Tranco top 1 miljoen alleen (HSTS 35.1%, CSP 25.9%) is een redelijk niveau voor veelgebruikte sites, maar valt hoog uit als niveau voor het web als geheel. Omgekeerd veranderden het afdwingen van HTTPS, TLS 1.3 en de CVE-blootstelling nauwelijks toen de populatie breder werd. Upgrades van HTTPS en TLS zijn maatregelen die aan de kant van de hostingprovider vorderen; HSTS en CSP zijn maatregelen die de beheerder van een site zelf instelt. Wat 5 miljoen sites zichtbaar maken, is de kloof tussen die twee soorten maatregelen.

Beperkingen en kanttekeningen

• De populatie van fase 2 volgt de Common Crawl-rang op basis van harmonische centraliteit, niet populariteit. Lees "top N" hier niet zoals bij Tranco.
• Bereikbaarheid is gemeten vanaf de observatiepunten (binnenlandse verbindingen); sites die niet antwoordden vanwege geografische beperkingen of botbescherming tellen als fout. Verbindings- en TLS-fouten in fase 2 zijn opnieuw geobserveerd; DNS-fouten niet (een steekproefcontrole bevestigde dat de namen verdwenen zijn).
• Fase 1 wisselde halverwege van scannerimplementatie, waardoor sommige foutlabels verschillen. De definities van bereikbaarheid en adoptie zijn dezelfde.
• CVE-blootstelling is een bovengrens op basis van versiestrings en kan gebackporte fixes niet meenemen. Misbruik is niet getest.
• Samengevoegde waarden zijn ongewogen sommen.
• Er is geen populatie uit zonebestanden (ICANN CZDS) opgenomen.
• In dit rapport wordt geen enkele individuele site bij naam genoemd.

Veelgestelde vragen

Is dit een aanval?

Nee. Elke site kreeg dezelfde toegang als wanneer u hem één keer in een browser opent, en er zijn alleen openbare HTTP-antwoorden en DNS-gegevens gebruikt. Er zijn geen portscans uitgevoerd en er is niet naar kwetsbaarheden gezocht.

Waarom Common Crawl?

Tranco houdt op bij 1 miljoen. Om 5 miljoen te halen is een grote, openbare en reproduceerbare lijst nodig. De domeinranglijst van Common Crawl vereist geen aanvraag, iedereen kan hetzelfde bestand downloaden, en hij is beperkt tot namen die de crawl echt heeft bereikt, waardoor hij dichter bij "openbare websites" ligt dan een zonebestand.

Kunnen de twee populaties worden opgeteld tot een "wereldgemiddelde"?

Ze verschillen van aard, dus worden ze apart getoond, en paragraaf 14 geeft daarnaast de ongewogen som.

Waarom wijken de cijfers af van het tussenrapport?

Het tussenrapport besloeg de eerste 1,002,874 Common Crawl-domeinen; dit rapport beslaat er 3,949,993. Paragraaf 5 vergelijkt hetzelfde bereik. De waarden in dit rapport hebben voorrang.

Kan ik mijn eigen site op dezelfde manier controleren?

Ja. Voer een URL in bij de serverinformatiecheck van Site Scouter om TLS, HSTS, headers en het prijsgeven van versies te zien, met dezelfde niet-ingrijpende methode als in dit onderzoek.

Zijn de gegevens aangepast?

De resultaten worden opgeslagen in een tabel waaraan alleen wordt toegevoegd, en de aggregatiescripts en CSV's worden bewaard in een vorm waarmee alles opnieuw kan worden berekend.

Bronnen

Laatst gecontroleerd: 2026-10-29. Specificaties en beleid kunnen veranderen; raadpleeg de primaire bronnen voordat u actie onderneemt.

• Common Crawl: Web Graphs (domain ranking)
• Tranco: A Research-Oriented Top Sites Ranking
• MDN: Strict-Transport-Security
• MDN: Content-Security-Policy
• PHP: Supported Versions (php.net)
• NVD - National Vulnerability Database (NIST)
• Interim report: World Web Security Survey of 5 Million Sites (Site Scouter)