Світове дослідження безпеки 5 мільйонів вебсайтів — проміжний звіт: що змінилося після додавання 1 мільйона доменів Common Crawl

• Проміжний звіт плану спостереження за 5 мільйонами вебсайтів у всьому світі за одним і тим самим методом. Після етапу 1 (топ-1 мільйон Tranco та інші списки, 1,057,185 доменів) на етапі 2 додано 1,001,045 ще не спостережених доменів із верхньої частини доменного рейтингу Common Crawl. Наразі спостережено 2,058,230 доменів; 2,948,955 ще в роботі. Порівняння в цьому звіті спираються на 911,485 доменів етапу 1, отриманих із Tranco, та 1,001,045 доменів етапу 2.
• Досяжність на етапі 2 (DNS-ім'я розв'язано й отримано HTTP-відповідь) становила 85.3% (етап 1: 85.3%). Збої DNS — 8.9%: приблизно кожного десятого імені з рейтингу вже не існує.
• Примусовий HTTPS (95.4%) майже такий самий, як на етапі 1, а HSTS (29.7%) нижчий на 5.4 пункту. CSP знизився до 16.0% (-9.9 пункту), X-Frame-Options — до 25.2% (-17.0 пункту), частка сайтів за WAF/CDN — до 35.2% (-15.7 пункту). Заходи, що потребують свідомого налаштування, трапляються рідше в міру розширення вибірки.
• У Tranco поширеність HSTS і CSP знижується разом із позицією в рейтингу (HSTS 44.9% у топ-100 тис. проти 31.9% на позиціях 600 тис.–1 млн). У діапазонах рейтингу Common Crawl залежність не монотонна: рівна лінія близько 34% до позиції 600 тис., падіння до 23.6% на 600 тис.–1 млн, а потім повернення до 31.0% за межею 1 млн. Два рейтинги вкладають у слово «топ» різний зміст.
• 9.8% сайтів етапу 2, що відповіли, оголошують версію PHP (етап 1: 6.8%), і 43.5% із них — версії із завершеною підтримкою (етап 1: 48.5%). 10.5% сайтів, що відповіли, оголошують версію в межах діапазону опублікованої CVE (верхня оцінка) — приблизно як на етапі 1 (10.6%).
• Це проміжний звіт. Решту 2.95 мільйона доменів етапу 2 та запит на файли зон ICANN, що очікує розгляду, буде охоплено в підсумковому звіті.

Ця стаття також опублікована англійською на sitescouter.net і nkzw.jp та японською на sitescouter.net. Це українська версія на Site Scouter, перекладена з англійської. Опубліковано підсумковий звіт, що охоплює всі 5 мільйонів сайтів; пріоритет мають його дані.

Про дослідження та місце цього звіту

Дослідження за одним методом і в той самий період спостерігає 5 мільйонів вебсайтів у всьому світі: HTTPS, HSTS, заголовки безпеки, TLS, сертифікати, розкриття версій сервера та статус підтримки PHP. Воно розширює до світового масштабу попереднє «Дослідження відкритості безпекових налаштувань 2026» (10 регіонів, 260 тис. сайтів). Вибірку сформовано у два етапи.

1. Етап 1: топ-1 мільйон Tranco (911,485 доменів, 139 країн плюс gTLD), спостереження з 2026-10-22 до 2026-10-28. На етап 1 також перенесено 145,700 доменів із попереднього дослідження (зокрема японські сайти з історії пошуку та з Majestic); їхня вибірка має інший склад, тому тут вони виключені з порівнянь.
2. Етап 2: доменний рейтинг Common Crawl — 3.95 мільйона доменів рівня реєстрації, яких немає на етапі 1, у порядку рейтингу. Цей звіт охоплює перші 1,001,045 із них (позиції від 398 до 1,256,831).

Запит до ICANN CZDS (файли зон) також очікує розгляду; на момент написання схвалення не надійшло. Файли зон містять багато зареєстрованих імен, які не є публічними вебсайтами, тож навіть після схвалення їх розглядатимуть як окрему від Common Crawl вибірку.

Метод

Кожен сайт отримує один DNS-запит, одне TLS-рукостискання та один HTTP GET — те саме, що один раз відкрити сайт у браузері. Жодного сканування портів, пошуку вразливостей, спроб автентифікації чи експлойт-трафіку. Спостереження ведуть воркери, розподілені між кількома національними підключеннями; один центральний сервер роздає чергу й збирає результати в таблицю, до якої дані лише дописуються.

• Усунення дублікатів: якщо хост спостерігали більше одного разу, використовується останній рядок, що не є збоєм DNS, а якщо такого немає — просто останній рядок.
• Рейтинг Common Crawl: рейтинг за гармонічною центральністю з доменного вебграфа cc-main-2026-jul-aug-sep. Tranco — це порядок «популярності», що об'єднує кілька джерел рейтингів; рейтинг Common Crawl вимірює центральність у графі посилань, до якого дісталася краулінгова система, а це не те саме, що популярність. Усі порівняння в цьому звіті враховують цю різницю.
• Сканери етапу 1: на етапі 1 реалізацію воркера посеред роботи змінили з PHP на Python, тому деякі мітки збоїв відрізняються (PRIVATE_OR_INVALID_IP і HTTP_FAILED походять від PHP-сканера). Визначення досяжності та поширеності ідентичні.
• Визначення показників — як у «Дослідженні відкритості безпекових налаштувань 2026»: примусовий HTTPS = HTTP-запит перенаправляється на HTTPS; HSTS = відповідь містить Strict-Transport-Security; версію приховано = у Server чи X-Powered-By немає номера версії; CVE-експозиція = оголошена версія потрапляє в уражений діапазон опублікованої CVE (верхня оцінка).

Досяжність — кожного десятого імені з рейтингу вже немає

З 1,001,045 доменів етапу 2 HTTP-відповідь повернули 853,736 (85.3%). Збої DNS становили 8.9%, збої з'єднання — 3.1%, помилки TLS — 2.8%. Етап 1 мав досяжність 85.3% при 6.8% збоїв DNS (рисунок 1).

У розрізі діапазонів рейтингу Tranco досягає менше сайтів у своєму топ-100 тис. (80.8%), ніж на позиціях 600 тис.–1 млн (87.7%): верхівка списку містить багато доменів доставки CDN та імен хостів API, які не є сайтами для відвідування в браузері. Common Crawl тримає досяжність майже 90% до позиції 300 тис. (89.9% у топ-100 тис.), опускається до 81.6% на 600 тис.–1 млн і відновлюється до 86.8% за межею 1 млн (рисунок 2). Чому нижчий лише діапазон 600 тис.–1 млн, буде перевірено в підсумковому звіті.

Поширеність заходів безпеки — що змінилося, а що ні

Рисунок 3 показує поширеність як частку від сайтів, що відповіли.

Примусовий HTTPS майже однаковий в обох вибірках: HTTPS поширився далеко за межі верхівок рейтингів. HSTS нижчий на 5.4 пункту, але більші розриви видно в заходах, які сайт має налаштувати свідомо: CSP (-9.9 пункту), X-Frame-Options (-17.0 пункту), Referrer-Policy (-10.6 пункту) і частка сайтів за WAF/CDN (-15.7 пункту). Розрив у WAF/CDN пояснюється тим, що Cloudflare фігурує в заголовку Server у 42.8% сайтів етапу 1, але лише у 27.7% сайтів етапу 2. Фронтенд на кшталт Cloudflare додає деякі заголовки без жодних дій з боку сайту, тож коли частка фронтендів падає, разом із нею падає й поширеність заголовків.

Серед сайтів, що встановлюють cookie (244,340 на етапі 2), атрибут Secure був у 65.5%, HttpOnly — у 62.0%, явний SameSite — у 49.9%. Порівняно з етапом 1 (64.5% / 67.9% / 57.8%) Secure приблизно на тому самому рівні, тоді як HttpOnly і SameSite на кілька пунктів нижчі.

Чи падає поширеність разом із позицією в рейтингу? Два рейтинги поводяться по-різному

У Tranco HSTS і CSP знижуються разом із позицією: HSTS — з 44.9% у топ-100 тис. до 31.9% на 600 тис.–1 млн, CSP — з 31.8% до 23.5%. Це інтуїтивна картина: що активніше сайтом користуються, то ймовірніше, що його захищено.

У діапазонах рейтингу Common Crawl такої картини немає. HSTS становить 34.4% у топ-100 тис., 34.5% на 100 тис.–300 тис. і 33.5% на 300 тис.–600 тис. — рівна лінія, — потім падає до 23.6% на 600 тис.–1 млн і повертається до 31.0% за межею 1 млн. CSP має ту саму форму (рисунок 4). Гармонічна центральність вимірює, наскільки легко до домену дістатися посиланнями з багатьох сторінок, а це не те саме, що мати багато користувачів. Високі позиції займають сайти-каталоги з щільними взаємними посиланнями та старіші сайти зі списками посилань, утворюючи вибірку, відмінну від порядку популярності.

Від цього залежить, як читати перехід від 1 мільйона до 5 мільйонів. Показники етапу 2 наближаються до середнього для «всього вебу», тоді як «топ-N» у Tranco і в Common Crawl слід розглядати як різні речі.

TLS і сертифікати

На етапі 2 TLS 1.3 узгоджено з 86.6% сайтів, що відповіли, TLS 1.2 — з 7.1% (етап 1: 85.5% / 9.3%). За цього методу до сайту, який підтримує лише TLS 1.0/1.1, не вдається під'єднатися, і його неможливо відрізнити від інших збоїв. Сертифікати DV становили 92.2%, OV — 1.5% (OV на етапі 1: 4.0%). Що ширша вибірка, то менша частка OV/EV і більша частка сайтів на безкоштовних DV-сертифікатах (рисунок 5).

Серверні продукти та розкриття версій

На етапі 2 заголовок Server називав Cloudflare у 27.7%, nginx у 20.2%, Apache у 20.3% і LiteSpeed у 5.0% сайтів, що відповіли. Порівняно з етапом 1 частка Cloudflare знизилася, а частки Apache та LiteSpeed зросли — це профіль віртуального хостингу. Номер версії містили 21.6% сайтів на nginx, 17.4% на Apache і 99.9% на IIS (IIS типово оголошує свою версію).

WordPress виявлено на 25.0% сайтів етапу 2, що відповіли (етап 1: 13.4%): розширення вибірки помітно підвищує частку WordPress. Частка Shopify знизилася з 3.8% на етапі 1 до 0.5%.

Версії PHP і статус підтримки

9.8% сайтів етапу 2, що відповіли (83,813), оголошують версію PHP у X-Powered-By або подібному заголовку — більше, ніж на етапі 1 (6.8%). З оголошених версій 43.5% (36,498 сайтів) мають завершену підтримку (PHP 8.1 або старіші), що менше, ніж на етапі 1 (48.5%). 8,042 сайти досі працюють на PHP 5, а 20,006 — на PHP 7. 11,483 оголошують 8.2 (лише виправлення безпеки до 31 грудня 2026), а 35,830 — 8.3 або новішу (рисунок 7).

Розкриття версій зросло, тоді як частка версій із завершеною підтримкою зменшилася. Схоже, свій внесок роблять і поширення перемикання версій PHP на віртуальному хостингу, і кількість середовищ, які типово не приховують версію. Оголошення версії саме по собі не є вразливістю, але оголошення версії із завершеною підтримкою підказує зловмисникам, куди дивитися.

CVE-експозиція (верхня оцінка)

10.5% сайтів етапу 2, що відповіли (89,793), оголошують версію, яка потрапляє в уражений діапазон опублікованої CVE. У 3.9% серед них є CVE класу віддаленого виконання коду, а у 8.2% — CVE рівня CRITICAL. На етапі 1 було 10.6% / 3.3% / 7.4%: з розширенням вибірки рівень не змінився (рисунок 8).

За продуктами, у межах діапазону опублікованої CVE опинилися 51.4% сайтів, що оголошують версію PHP, 86.9% тих, що оголошують Apache, і 58.5% тих, що оголошують nginx. Це верхні оцінки на основі рядка версії; дистрибутиви на кшталт Debian і RHEL переносять виправлення (backport) без зміни номера версії, і цього врахувати неможливо. Експлуатацію не перевіряли. Найчастіший збіг класу RCE, CVE-2024-3566, здебільшого стосується PHP-CGI на Windows і зазвичай не застосовний до віртуального хостингу на Linux.

Базова оцінка

Сім пунктів — примусовий HTTPS, HSTS, CSP, X-Frame-Options, X-Content-Type-Options, приховування версії та дійсний сертифікат — дають оцінку від 0 до 7. Середнє значення на етапі 2 — 3.64 (етап 1: 4.10). Етап 2 зосереджується на 3 балах (35.7%), а повні 7 балів знизилися до 4.6% (етап 1: 10.2%) (рисунок 9). Найпоширеніший профіль — «HTTPS, сертифікат і приховування версії є; заголовки не налаштовано».

За TLD

Рисунок 10 порівнює поширеність HSTS і CSP для найпоширеніших TLD у вибірці Common Crawl з тими самими TLD на етапі 1. Зона .jp має HSTS 15.0% і CSP 6.9% — менше, ніж на етапі 1 (27.6% / 11.0%), і найнижчі показники серед основних TLD. У зоні .de HSTS знизився з 45.0% до 32.8% — великий розрив між її топсайтами та рештою. Новіші gTLD, як-от .io та .app, демонструють високу поширеність HSTS на обох етапах.

Хід роботи та подальші кроки

Етап 2 стартував 2026-10-27 о 21:24 і на момент зрізу для цього звіту (2026-10-28 03:46) охопив спостереженням 1,001,045 доменів. Спостереження решти 2,948,955 триває, а після завершення вийде підсумковий звіт про 5 мільйонів сайтів. У підсумковому звіті буде додано розбивку за країнами (ccTLD), комбінації версій WordPress і PHP та розбивку CVE за продуктами. Якщо запит до ICANN CZDS схвалять, вибірку з файлів зон буде опрацьовано як окремий етап 3.

Обмеження та застереження

• Вибірка етапу 2 впорядкована за рейтингом гармонічної центральності Common Crawl, а не за популярністю. Не тлумачте «топ-N» так, як у Tranco.
• Досяжність визначається з точок спостереження (національні підключення); сайти, що не відповіли через геообмеження чи захист від ботів, зараховано до збоїв.
• На етапі 1 реалізацію сканера посеред роботи змінили, тож деякі мітки збоїв відрізняються. Визначення досяжності та поширеності однакові.
• CVE-експозиція — це верхня оцінка на основі рядків версій, яка не може врахувати перенесені виправлення. Експлуатацію не перевіряли.
• Це проміжний підрахунок; показники змінюватимуться в міру спостереження решти етапу 2. Пріоритет мають значення підсумкового звіту.
• У цьому звіті не названо жодного окремого сайту.

Поширені запитання

Чи це атака?

Ні. Кожен сайт отримав такий самий доступ, як під час одноразового відкриття в браузері, і використовувалися лише публічні HTTP-відповіді та дані DNS. Сканування портів чи пошук вразливостей не проводилися.

Чому Common Crawl?

Tranco закінчується на 1 мільйоні. Щоб дійти до 5 мільйонів, потрібен великий, публічний і відтворюваний список. Доменний рейтинг Common Crawl не потребує подання заявки, будь-хто може завантажити той самий файл, і він обмежений іменами, до яких краулер справді дістався, — тому він ближчий до «публічних вебсайтів», ніж файл зони.

Чи можна скласти дві вибірки в «світове середнє»?

Їхня природа різна, тому в цьому звіті вони розглядаються окремо. Підсумковий звіт вкаже спосіб зважування і також наведе об'єднані значення.

Чи можу я перевірити власний сайт так само?

Так. Введіть URL у перевірку серверної інформації Site Scouter, щоб побачити TLS, HSTS, заголовки та розкриття версій за тим самим неінвазивним методом, що й у цьому дослідженні.

Чи змінювалися дані?

Результати зберігаються в таблиці, до якої дані лише дописуються, а скрипти агрегації та CSV збережено у формі, що дає змогу все перерахувати.

Джерела

Остання перевірка: 2026-10-28. Специфікації та правила можуть змінюватися; перш ніж діяти, звіртеся з першоджерелами.

• Common Crawl: Web Graphs (domain ranking)
• Tranco: A Research-Oriented Top Sites Ranking
• MDN: Strict-Transport-Security
• MDN: Content-Security-Policy
• PHP: Supported Versions (php.net)
• NVD - National Vulnerability Database (NIST)