Дослідження вебзахисту 5 мільйонів сайтів світу — підсумковий звіт: стан безпеки в Tranco top 1M і 3.95 млн доменів Common Crawl

• Підсумковий звіт проєкту, в межах якого 5 мільйонів вебсайтів світу перевірено одним і тим самим методом. Етап 1 (Tranco top 1 мільйон та інші списки, 1,057,185 доменів) і етап 2 (3,949,993 домени з рейтингу доменів Common Crawl) завершено 2026-10-29 о 03:38. Для порівнянь використано 911,485 доменів етапу 1, що походять із Tranco, і 3,949,993 домени етапу 2 — разом 4,861,478.
• Доступність на етапі 2 (DNS резолвиться й отримано HTTP-відповідь) становила 79.6% (етап 1: 85.3%). Збої DNS — 14.4%: приблизно кожного десятого імені з рейтингу вже не існує.
• Для об'єднаної сукупності 4,861,478 доменів (3,922,585 відповіли) примусовий HTTPS має 95.1%, HSTS — 29.3%, CSP — 16.6%, X-Frame-Options — 26.3%, приховування версії — 73.8%, WAF/CDN на вході — 38.7%. HTTPS дійшов майже до всіх, тоді як заходи, які сайт має налаштувати свідомо, тримаються на рівні близько трьох із десяти для HSTS і менше ніж двох із десяти для CSP.
• Між Tranco top 1 мільйон і 3.95 мільйона доменів Common Crawl різниця становить -7.3 пункту для HSTS, -11.6 для CSP, -19.8 для X-Frame-Options і -15.3 для WAF/CDN на вході. Закономірність, помічена на позначці 1 мільйон у проміжному звіті, — заходи, що потребують налаштування, слабшають у міру розширення сукупності, — підтвердилася на всіх 3.95 мільйона.
• WordPress виявлено на 25.4% сайтів етапу 2, що відповіли (етап 1: 13.4%). 9.9% сайтів етапу 2 повідомляють версію PHP, і 44.6% із них — версії, підтримку яких припинено. 9.8% сайтів, що відповіли, повідомляють версію в межах діапазону опублікованої CVE (етап 1: 10.6%, верхня межа).
• Відкрите питання з проміжного звіту — чому лише діапазон Common Crawl 600 тис.–1 млн показав нижчі доступність і HSTS — розібрано за типом збою та часом спостереження. Збої DNS зростають із місцем у рейтингу, а в діапазоні 1.6–1.8 млн є скупчення мертвих доменів, які не резолвляться й при пізнішому повторному запиті через інші резолвери (справжнє зникнення). Збої з'єднання та TLS були спотворені часом спостереження, тож 255,894 відповідні хости перед підсумковим підрахунком спостерігали повторно (розділ 3).

Ця стаття також опублікована англійською на sitescouter.net і nkzw.jp та японською на sitescouter.net. Це українська версія на Site Scouter, перекладена з англійської. Етап з 1 мільйоном доменів описано в проміжному звіті.

Дослідження і місце цього звіту

Дослідження перевіряє 5 мільйонів вебсайтів світу на HTTPS, HSTS, заголовки безпеки, TLS, сертифікати, розкриття версії сервера та стан підтримки PHP — одним методом і в один період. Воно розширює попереднє «Дослідження відкритості безпеки 2026» (10 регіонів, 260 тис. сайтів) до світового масштабу. Сукупність формували у два етапи.

1. Етап 1: Tranco top 1 мільйон (911,485 доменів, 139 країн плюс gTLD), спостереження з 2026-10-22 до 2026-10-28. Етап 1 також успадкував 145,700 доменів із попереднього дослідження (зокрема японські сайти з історії пошуку та з Majestic); їхня сукупність інша, тому в порівняннях тут їх не враховано.
2. Етап 2: рейтинг доменів Common Crawl — 3,949,993 домени для реєстрації, яких не було на етапі 1, у порядку рейтингу (місця з 398 до 4,322,835), спостереження з 2026-10-27 21:24 до 2026-10-29 03:38.

Проміжний звіт (28 жовтня 2026) охоплював перші 1,002,874 домени етапу 2 (місця до 1,256,831). У цьому звіті цей обсяг збережено як «діапазон проміжного звіту» і показано, чим він відрізняється від повного набору (розділ 5). Запит до ICANN CZDS (файли зон) досі розглядається, тому сукупності з файлів зон тут немає; якщо його схвалять і спостереження проведуть пізніше, про нього буде окремий звіт як про етап 3.

Метод

Кожен сайт отримує один DNS-запит, одне TLS-рукостискання та один HTTP GET — так само, як під час одноразового відкриття сайту в браузері. Жодного сканування портів, пошуку вразливостей, спроб автентифікації чи трафіку експлойтів. Спостереження ведуть воркери, розподілені між кількома внутрішніми підключеннями; один центральний сервер роздає чергу й збирає результати в таблицю, куди дані лише дописуються.

• Усунення дублікатів: якщо хост спостерігали кілька разів, береться останній рядок, що не є збоєм DNS, а за його відсутності — просто останній рядок.
• Рейтинг Common Crawl: рейтинг за гармонічною центральністю з вебграфа рівня доменів cc-main-2026-jul-aug-sep. Tranco — це порядок «популярності», що поєднує кілька джерел рейтингів; рейтинг Common Crawl вимірює центральність у графі посилань, до якого дійшов краулер, і це не те саме, що популярність.
• Сканери етапу 1: на етапі 1 реалізацію воркера посеред роботи змінили з PHP на Python, тому деякі позначки збоїв відрізняються. Визначення доступності та запровадження заходів ідентичні.
• Визначення метрик відповідають «Дослідженню відкритості безпеки 2026»: примусовий HTTPS = HTTP-запит перенаправляється на HTTPS; HSTS = відповідь містить Strict-Transport-Security; версію приховано = у Server чи X-Powered-By немає номера версії; вразливість до CVE = повідомлена версія потрапляє в діапазон ураження опублікованої CVE (верхня межа).
• Об'єднані значення: «об'єднані» означає 911,485 доменів із Tranco і 3,949,993 домени Common Crawl, складені разом без зважування. Common Crawl становить близько 80%, тому об'єднані значення близькі до етапу 2.

Доступність — кожного десятого імені з рейтингу вже немає

Із 3,949,993 доменів етапу 2 HTTP-відповідь повернули 3,145,094 (79.6%). Збої DNS склали 14.4%, збої з'єднання — 3.5%, помилки TLS — 2.5%. Етап 1 мав доступність 85.3% при 6.8% збоїв DNS (рисунок 1).

За діапазонами рейтингу Tranco у топ-100 тис. досягає менше сайтів (80.8%), ніж у діапазоні 600 тис.–1 млн (87.7%): на вершині списку багато доменів доставки CDN та імен хостів API, які не є сайтами для браузера. Common Crawl має 90.3% у топ-100 тис., 82.2% у діапазоні 600 тис.–1 млн, 78.4% у 1–2 млн, 81.9% у 2–3 млн і 75.5% понад 3 млн (рисунок 2).

Проміжний звіт залишив відкритим питання, чому нижчим був лише діапазон 600 тис.–1 млн. Розподіл збоїв за типом і часом спостереження (рисунок 13) дає дві відповіді. Збої DNS, найбільша категорія, зростають із місцем у рейтингу (6.8% у топ-200 тис., 25.8% понад 4 млн): це властивість сукупності — що нижче, то більше мертвих доменів. Проте розподілені вони нерівномірно: лише 200 тис. доменів на місцях 1.6–1.8 млн показали 35% збоїв DNS. Повторний запит вибірки цих хостів пізніше через інші резолвери (1.1.1.1 і 8.8.8.8, з www і без) не резолвив жодного: у рейтингу поруч лежить скупчення мертвих доменів. Старіші домени, що займали центральне місце в мережах посилань, лишаються в рейтингу й після зникнення сайтів.

Натомість збої з'єднання та помилки TLS були спотворені часом спостереження. Діапазон 600 тис.–1 млн (уперше спостерігався 28 жовтня 00:00–02:23) під час першого проходу показав 4.1% збоїв з'єднання і 4.1% помилок TLS — приблизно вдвічі більше, ніж сусідні діапазони (2–3%), а інші діапазони, що спостерігалися в ті самі години, показали таке саме зростання, що вказує на тимчасову проблему на частині ліній спостереження. Тому кожен хост Common Crawl, який завершився збоєм з'єднання чи TLS, перед підсумковим підрахунком спостерігали повторно, і цифри цього звіту включають ці результати. Однак під час другого проходу відповіла лише невелика частка цих хостів. Доступність діапазону 600 тис.–1 млн зросла з 81.6% до 82.2%, а збої з'єднання та TLS змінилися з 8.2% на 4.6% + 3.0%, що тепер лежить між сусідніми діапазонами (86.0% і 78.4%). Проблема на боці спостереження пояснює лише частину надлишку; більшість збоїв — це хости, які справді не відповіли. HSTS, з іншого боку, лишається найнижчим серед усіх діапазонів — 23.4% (сусіди: 33.4% і 27.3%), а оскільки HSTS рахується лише серед доступних сайтів, доступністю це не пояснити. Щось у сукупності цього діапазону зміщене, але визначити, що саме, в межах цього звіту не вдалося.

Запровадження заходів безпеки — що змінилося, а що ні

Рисунок 3 і таблиця показують рівень запровадження як частку сайтів, що відповіли. «Об'єднане» — проста сума Tranco і Common Crawl.

Примусовий HTTPS майже однаковий в обох сукупностях: HTTPS поширився далеко за межі верхівок рейтингів. Розрив з'являється в заходах, які сайт має налаштувати свідомо: HSTS (-7.3 пункту), CSP (-11.6 пункту), X-Frame-Options (-19.8 пункту), Referrer-Policy (-13.4 пункту) та частка сайтів за WAF/CDN (-15.3 пункту). Розрив за WAF/CDN пояснюється тим, що Cloudflare з'являється в заголовку Server у 42.8% сайтів етапу 1, але лише у 29.1% сайтів етапу 2. Фронтенд на зразок Cloudflare додає деякі заголовки без жодних дій з боку сайту, тож коли частка фронтендів падає, разом із нею падає й запровадження заголовків.

Серед сайтів, що встановлюють cookie (879,428 на етапі 2), атрибут Secure був у 68.0%, HttpOnly — у 59.5%, а явний SameSite — у 48.2% (етап 1: 64.5% / 67.9% / 57.8%).

Що змінилося з часу проміжного звіту (позначка 1 мільйон)

Проміжний звіт охоплював перші 1,002,874 домени Common Crawl (місця до 1,256,831). Якщо поставити цей діапазон поруч із повним набором: доступність 85.8% → 79.6%, примусовий HTTPS 95.3% → 94.8%, HSTS 29.6% → 27.8%, CSP 16.0% → 14.3%, WAF/CDN на вході 35.2% → 35.6%, приховування версії 72.6% → 73.6%, вразливість до CVE 10.5% → 9.8% (рисунок 12). Додавання решти 2.95 мільйона доменів змінило рівні запровадження лише на кілька пунктів, і висновок проміжного звіту залишається в силі. Змінилася доступність, бо що нижче в рейтингу, то частіше трапляються мертві домени.

Чи падає запровадження з місцем у рейтингу? Два рейтинги відрізняються

У Tranco HSTS і CSP знижуються разом із місцем у рейтингу: HSTS — з 44.9% у топ-100 тис. до 31.9% у діапазоні 600 тис.–1 млн, CSP — з 31.8% до 23.5%. Це інтуїтивна закономірність: що більше сайтом користуються, то ймовірніше, що його захищено.

У діапазонах рейтингу Common Crawl HSTS становить 34.4% у топ-100 тис., 34.4% у 100–300 тис., 33.4% у 300–600 тис., 23.4% у 600 тис.–1 млн, 27.3% у 1–2 млн, 30.4% у 2–3 млн і 25.2% понад 3 млн. CSP змінюється від 20.1% у топ-100 тис. до 12.8% понад 3 млн, загалом знижуючись із коливаннями між ними (рисунок 4). HSTS тримається рівно близько 34% до 600 тис. місця, а далі коливається між 23% і 31% від діапазону до діапазону, без однонаправленого спаду, який видно в Tranco. Гармонічна центральність вимірює, наскільки легко до домену дістатися посиланнями з багатьох сторінок, а це не те саме, що мати багато користувачів. Сайти-каталоги з щільними взаємними посиланнями та старіші сайти зі списками посилань посідають високі місця, утворюючи сукупність, відмінну від порядку популярності.

TLS і сертифікати

На етапі 2 TLS 1.3 узгоджено на 86.7% сайтів, що відповіли, а TLS 1.2 — на 6.0% (етап 1: 85.5% / 9.3%; об'єднане: 86.4% / 6.6%). За цього методу сайт, який підтримує лише TLS 1.0/1.1, не встановлює з'єднання, і його неможливо відрізнити від інших збоїв. На етапі 2 сертифікати DV становили 91.6%, OV — 1.0% (етап 1: OV 4.0% / EV 0.2%; сканер етапу 2 не виявляв EV, тому EV етапу 1 напряму не порівнюваний). Що ширша сукупність, то менша частка OV і то більша частка сайтів на безкоштовних сертифікатах DV (рисунок 5).

Серверні продукти та розкриття версій

На етапі 2 заголовок Server називав Cloudflare у 29.1%, nginx — у 19.0%, Apache — у 19.5% і LiteSpeed — у 5.2% сайтів, що відповіли (етап 1: Cloudflare 42.8%, nginx 18.3%, Apache 12.2%, LiteSpeed 2.7%). Розширення сукупності зменшує частку Cloudflare і збільшує частки Apache та LiteSpeed — це профіль віртуального хостингу. Номер версії містили 20.3% сайтів на nginx, 15.0% на Apache і 99.9% на IIS (IIS за замовчуванням повідомляє свою версію).

WordPress виявлено на 25.4% сайтів етапу 2, що відповіли (етап 1: 13.4%; об'єднане: 23.0%): розширення сукупності помітно підвищує частку WordPress. Частка Shopify впала з 3.8% на етапі 1 до 1.0%.

WordPress і версії PHP разом

Серед сайтів, ідентифікованих як WordPress, 20.4% (163,110) на етапі 2 повідомляють версію PHP — більше, ніж 6.3% сайтів не на WordPress. З повідомлених версій підтримку припинено в 38.4% випадків на сайтах WordPress проти 51.4% на інших — на WordPress менше. Сам WordPress вимагає свіжого PHP, а його консоль попереджає про непідтримувані версії, що, схоже, підштовхує до оновлення PHP. Із заголовками все навпаки: сайти WordPress мають HSTS 20.5%, CSP 11.6% і приховування версії 71.1% — нижче, ніж 30.3%, 15.2% і 74.5% в інших сайтів. PHP оновлюють, а налаштування заголовків лишається роботою на боці сервера. На етапі 1 серед сайтів WordPress, що розкривають PHP, підтримку припинено в 28.7%.

Версії PHP і стан підтримки

9.9% сайтів етапу 2, що відповіли (310,928; етап 1: 6.8%), повідомляють версію PHP у X-Powered-By чи подібному заголовку. З повідомлених версій 44.6% (138,528 сайтів; етап 1: 48.5%) уже не підтримуються (PHP 8.1 і старіші). 27,526 сайтів досі працюють на PHP 5, а 76,717 — на PHP 7. 42,926 повідомляють 8.2 (лише виправлення безпеки до 31 грудня 2026), а 129,445 — 8.3 чи новішу (рисунок 7). В об'єднаній сукупності 45.1% (164,150) із 363,719 сайтів, що розкривають PHP, працюють на версіях без підтримки.

Розкриття версій зросло, а частка версій без підтримки зменшилася. Схоже, свій внесок роблять і поширення перемикання версій PHP на віртуальному хостингу, і кількість середовищ, які за замовчуванням не приховують версію. Повідомлення версії саме по собі не є вразливістю, але повідомлення версії без підтримки підказує атакувальникам, куди дивитися.

Вразливість до CVE (верхня межа)

9.8% сайтів етапу 2, що відповіли (309,323), повідомляють версію, яка потрапляє в діапазон ураження опублікованої CVE. 4.0% включають CVE класу віддаленого виконання коду, а 7.9% — CVE рівня CRITICAL. На етапі 1 було 10.6% / 3.3% / 7.4%, а об'єднані значення — 10.0% / 3.8% / 7.8% (рисунок 8). Перехід від 1 мільйона до 5 мільйонів сайтів майже не змінив цього рівня.

За продуктами в діапазоні опублікованої CVE опинилися 52.2% сайтів, що повідомляють версію PHP, 87.1% тих, що повідомляють Apache, і 54.1% тих, що повідомляють nginx. Це верхні межі на основі рядка версії; дистрибутиви на зразок Debian і RHEL бекпортують виправлення без зміни номера версії, і це врахувати неможливо. Експлуатацію не перевіряли. Найчастіший збіг класу RCE, CVE-2024-3566, здебільшого стосується PHP-CGI на Windows і зазвичай не застосовний до віртуального хостингу на Linux.

Базова оцінка

Сім пунктів — примусовий HTTPS, HSTS, CSP, X-Frame-Options, X-Content-Type-Options, приховування версії та чинний сертифікат — дають оцінку від 0 до 7. Середнє на етапі 2 — 3.56 (етап 1: 4.10; об'єднане: 3.67). Етап 2 зосереджений на 3 балах (36.5%), а повних 7 досягають лише 4.3% (етап 1: 10.2%) (рисунок 9). Найпоширеніша картина: «HTTPS, сертифікат і приховування версії зроблено; заголовки не чіпали».

За TLD

Рисунок 10 порівнює запровадження HSTS і CSP для найпоширеніших TLD у сукупності Common Crawl з тими самими TLD на етапі 1. Зона .jp на етапі 2 має HSTS 14.9% і CSP 7.4% (етап 1: 27.6% / 11.0%), що разом із .ru (HSTS 15.7% / CSP 6.4%) є найнижчим показником серед основних TLD. У .de HSTS впав із 45.0% до 28.0%. Новіші gTLD, як-от .io і .app, демонструють високе запровадження HSTS на обох етапах.

Об'єднані значення (Tranco + Common Crawl) для основних TLD:

Рівень «усього вебу» на прикладі 5 мільйонів сайтів

Об'єднані 4,861,478 доменів (3,922,585 відповіли) дають орієнтир для вебу загалом: примусовий HTTPS 95.1%, HSTS 29.3%, CSP 16.6%, X-Frame-Options 26.3%, X-Content-Type-Options 32.6%, приховування версії 73.8%, WAF/CDN на вході 38.7%, TLS 1.3 86.4%, вразливість до CVE (верхня межа) 10.0%, середня базова оцінка 3.67.

Це проста сума, у якій Common Crawl становить близько 80%. Сам лише Tranco top 1 мільйон (HSTS 35.1%, CSP 25.9%) — справедливий орієнтир для широко використовуваних сайтів, але як рівень для вебу загалом він завищений. Натомість примусовий HTTPS, TLS 1.3 і вразливість до CVE майже не змінилися з розширенням сукупності. Перехід на HTTPS і оновлення TLS — це заходи, що просуваються на боці хостинг-провайдера; HSTS і CSP — заходи, які налаштовує власник сайту. Те, що робить видимим вибірка з 5 мільйонів сайтів, — це розрив між цими двома типами заходів.

Обмеження та застереження

• Сукупність етапу 2 впорядковано за гармонічною центральністю Common Crawl, а не за популярністю. Не читайте «топ-N» так, як у Tranco.
• Доступність виміряно з точок спостереження (внутрішні підключення); сайти, що не відповіли через географічні обмеження чи захист від ботів, зараховано до збоїв. Збої з'єднання та TLS етапу 2 спостерігали повторно; збої DNS — ні (вибіркова перевірка підтвердила, що цих імен більше не існує).
• На етапі 1 реалізацію сканера змінили посеред роботи, тому деякі позначки збоїв відрізняються. Визначення доступності та запровадження заходів ті самі.
• Вразливість до CVE — це верхня межа на основі рядків версій, яка не може врахувати бекпортовані виправлення. Експлуатацію не перевіряли.
• Об'єднані значення — незважені суми.
• Сукупності з файлів зон (ICANN CZDS) немає.
• У цьому звіті не названо жодного окремого сайту.

Поширені запитання

Чи це атака?

Ні. Кожен сайт отримав такий самий доступ, як під час одноразового відкриття в браузері, і використано лише публічні HTTP-відповіді та дані DNS. Сканування портів чи пошуку вразливостей не проводили.

Чому Common Crawl?

Tranco закінчується на 1 мільйоні. Щоб дійти до 5 мільйонів, потрібен великий, публічний і відтворюваний список. Рейтинг доменів Common Crawl не потребує заявки, той самий файл може завантажити будь-хто, і він обмежений іменами, до яких краулер справді дійшов, що робить його ближчим до «публічних вебсайтів», ніж файл зони.

Чи можна скласти дві сукупності у «світове середнє»?

Їхня природа різна, тому їх показано окремо, а в розділі 14 наведено й незважену суму.

Чому цифри відрізняються від проміжного звіту?

Проміжний звіт охоплював перші 1,002,874 домени Common Crawl; цей звіт охоплює 3,949,993. Розділ 5 порівнює той самий діапазон. Пріоритет мають значення цього звіту.

Чи можу я так само перевірити власний сайт?

Так. Введіть URL у перевірку інформації про сервер Site Scouter, щоб побачити TLS, HSTS, заголовки та розкриття версій тим самим неінвазивним методом, що й у цьому дослідженні.

Чи змінювали дані?

Результати зберігаються в таблиці, куди дані лише дописуються, а скрипти агрегації та CSV-файли зберігаються у вигляді, що дозволяє все перерахувати.

Джерела

Остання перевірка: 2026-10-29. Специфікації та правила можуть змінюватися; перш ніж діяти, звіртеся з першоджерелами.

• Common Crawl: Web Graphs (domain ranking)
• Tranco: A Research-Oriented Top Sites Ranking
• MDN: Strict-Transport-Security
• MDN: Content-Security-Policy
• PHP: Supported Versions (php.net)
• NVD - National Vulnerability Database (NIST)
• Interim report: World Web Security Survey of 5 Million Sites (Site Scouter)