Власний SEO-стек на VPS: краулери, логи та аналітика без підписок

SEO та маркетингові агенції часто платять за 5-6 дорогих сервісів одночасно, все одно регулярно зіштовхуючись з лімітами: скінчилися кредити на аудит, місячна квота на сканування URL вичерпана раніше дедлайну, доплата за аналіз логів.

Оптимізувати витрати та позбутися жорстких обмежень здатен власний SEO-стек на VPS, за який треба платити декілька десятків, а не тисячі доларів за місяць. Команда хостинг-провайдера Cityhost.ua детально розповідає, як влаштована така SEO-інфраструктура, коли вона потрібна та чи можливо на практиці замінити всі відомі сервіси власним сервером.

Власний SEO-стек — це набір інструментів для збору й аналізу даних, які працюють на орендованому сервері під вашим контролем, а не в чужій хмарі за підпискою.

Орендуючи віртуальний приватний сервер, ви отримуєте комп'ютер з Linux, який працює цілодобово. І саме на нього ви можете встановлювати будь-які інструменти, які працюватимуть за вашим розкладом — щогодини, щодня чи в реальному часі.

SEO-стек на VPS складається з чотирьох шарів:

• Збір даних — краулер, який сканує сайти за розкладом, парсер серверних логів, скрипти вивантаження даних із Google Search Console через офіційний API.
• Зберігання — база даних, куди автоматично зберігаються дані, які можуть накопичуватися роками.
• Аналіз — звіти й дашборди, які перетворюють сирі рядки на зрозумілі графіки.
• Автоматизація — планувальник, який запускає все це за заздалегідь вказаним вами графіком взагалі без вашої участі та надсилає сповіщення, коли щось пішло не так.

Ключові інструменти безкоштовні для власного використання: GoAccess для аналізу логів працює під ліцензією MIT, SerpBear відстежує позиції, Matomo замінює зовнішню аналітику. Автоматизацію бере на себе n8n — не класичний open source, а fair-code рішення, безкоштовне для внутрішніх бізнес-задач.

Кожен інструмент самостійно вирішує питання бази даних та дашборда. SerpBear зберігає позиції у власному SQLite-файлі — без жодного окремого налаштування. Matomo вимагає MySQL або MariaDB. А коли даних стає забагато для звичайної бази (логи чи історії позицій за роки), зверху додають Grafana: вона однаково підключається і до MySQL, і до спеціалізованих аналітичних баз та збирає дані з різних інструментів стека в одному дашборді.

Важливо: ці інструменти неможливо запустити на звичайному віртуальному хостингу.

На відміну від WordPress, який просто завантажується в уже готове середовище хостингу (налаштовані заздалегідь провайдером PHP та MySQL), GoAccess, ClickHouse чи n8n потребують встановлення системних пакетів та фонових процесів, що працюють годинами.

Класичний хостинг навмисно обмежує це з міркувань безпеки й стабільності для інших клієнтів на тому самому сервері.

Побудова власного SEO-стеку на VPS сервері надає повний контроль над ресурсами. Ви можете відстежувати позиції, статус та технічні помилки сторінок цілодобово, мати повний доступ до логів, виконувати важкі завдання без навантаження на процесор та оперативну пам'ять власного комп’ютера, аналізувати поведінку ШІ ботів на сайті, зберігати та аналізувати історію даних за попередні роки без обмежень максимального періоду.

Коли будь-яка людина чи програма відкриває сторінку інтернет-проєкту, вебсервер створює відповідний рядок у спеціальному текстовому файлі. В ньому фіксується, хто та коли прийшов, яку адресу запросив, що сервер відповів. Такий access log (файл доступу) існує навіть на звичайних сайтах на віртуальному хостингу, але панелі керування зазвичай не дають до нього прямого доступу — це властивість стандартного середовища, а не рішення конкретного провайдера щось приховати.

Через це доводиться орієнтуватися на Google Analytics 4 та Google Search Console, але обидва інструменти показують лише частину картини. GA4 взагалі не бачить цих даних: він працює через JavaScript у браузері, а пошукові роботи не виконують ніякий код. Search Console показує лише те, що Google вирішив показати, і лише про себе, тож дані, які ви бачите в консолі, зазвичай суттєво обрізані. Натомість у логах записано все, враховуючи кожного бота, запит, помилку.

Віртуальний приватний сервер дозволяє обійти обмеження класичних Google Analytics та Google Search Console. Наприклад, для щоденної роботи можна використовувати GoAccess — програму з відкритим кодом під ліцензією MIT, яка майже не вимоглива до ресурсів. Вона скеровується на лог nginx чи Apache й будує інтерактивний HTML-звіт у реальному часі, де одразу видно, на що йде краулінговий бюджет.

Так можна виявити:

• що робот місяцями сканує сторінки фільтрів та пагінації, а нові товари відвідує раз на кілька тижнів;
• приховані помилки 404 та 500, які фронтенд не показує;
• повний перелік ботів із кількістю запитів кожного.

Якщо ж ваш проєкт вже величезний або швидко росте, текстові файли перестають бути зручними: рядок стандартного логу важить 200-400 байтів, а сайт з мільйоном запитів на добу генерує близько 100 ГБ на рік. Тоді до власного SEO-стеку на VPS варто додати ClickHouse — колонкову базу під аналітичні запити на мільярди рядків, а зверху поставити Grafana, яка звертається до ClickHouse напряму через відповідне джерело даних та будує графіки динаміки помилок чи швидкості відповіді сервера тиждень до тижня.

Припустимо, ви маєте портфель з двохсот гостьових публікацій. Ви зараз успішно їх опублікували, пішли зовнішні лінки з якісних донорів, але вже через 3-6 місяців частина посилань зникла через продаж майданчика, переписування статті, додавання атрибуту nofollow тощо. Звичайно можна регулярно ходити по списку та вручну перевіряти кожен URL, але це навіть уявити складно.

Натомість скрипт на сервері робить це за розкладом, перевіряючи для кожної адреси код відповіді, фізичну наявність посилання в HTML, атрибут rel та збіг анкора з погодженим. Якщо програма виявляє розбіжності, миттєво надсилає вам сповіщення через WhatsApp, Telegram чи будь-який інший канал.

Зібрати такий конвеєр можна скриптом на Python або візуально на платформі автоматизації n8n, ліцензія якої дозволяє безкоштовне використання для внутрішніх бізнес-задач. Звичайно для разових перевірок достатньо безкоштовної перевірки беклінків Collaborator та даних SE Ranking, який аналізує до 50 посилань на сайт. Але для власників великих проєктів, які хочуть зекономити час, власний скрипт цілком себе виправдовує.

Внутрішні політики безпеки у фінансових, медичних компаніях та великих інтернет-магазинах часто прямо забороняють вивантажувати структуру сайту чи серверні логи до сторонніх сервісів. Особливу увагу зверніть на останній пункт, адже логи містять IP-адреси відвідувачів, які GDPR прямо визначає як персональні дані, з усіма наслідками щодо цього регламенту.

Власний SEO-стек на VPS дає змогу забезпечити кращу безпеку даних клієнтів за допомогою:

• шифрування диска на рівні сервера — дані не читаються навіть при фізичному доступі до носія;
• ізоляції середовища — жоден сторонній сервіс чи чужий клієнт на спільній інфраструктурі не має доступу до ваших логів чи бази даних;
• власних протоколів ротації й видалення логів — самі вирішуєте, скільки часу зберігати дані з IP-адресами, а не покладаєтесь на політику вендора;
• обмеженого доступу за SSH-ключами замість пароля — стандартна практика на VPS, яку рідко пропонує SaaS-панель.

На SaaS-сервісі кожен із цих пунктів довелося б погоджувати з підтримкою вендора або чекати оновлення тарифу. Натомість на власному сервері рівень захисту обираєте ви.

Ще однією важливою причиною мати SEO-стек на віртуальному приватному сервері є збереження повної історії. Search Console зберігає дані за останні 16 місяців максимум, після чого вони видаляються без можливості відновлення. Через це складно відповісти на питання клієнта: «чому трафік впав саме зараз?». Без даних за кілька років ви не побачите, що таке саме сезонне падіння вже було два роки тому в лютому.

З власним SEO-стеком на VPS ви можете позбутися цього обмеження однією автоматизацією. Запуск скрипта дозволить щодня викликати офіційний API Search Console, брати дані та переносити у вашу базу даних. Той самий скрипт заодно буде знімати обмеження інтерфейсу в 1000 рядків на звіт, адже Search Analytics API віддає до 50 000 рядків на добу на кожну властивість, а окремий ліміт URL Inspection API дозволяє проводити до 2000 перевірок індексації щодня. Через рік такої роботи у вас буде повна історія, через три — глибина, якої немає в конкурентів.

До власного SEO-стеку варто додати декілька важливих програм:

• SerpBear — відкритий трекер позицій під ліцензією MIT: він сам не сканує видачу, тому потребує підключення стороннього SERP-API, зате знімає плату за інтерфейс та не обмежує кількість доменів і ключів. Для порівняння: типовий платний трекер на кшталт Nightwatch коштує ≈$39 на місяць і при цьому обмежує стеження лише 250 ключами, натомість на SerpBear той самий бюджет піде на виклики SERP-API для набагато більшої кількості запитів, без жорсткої стелі.
• Matomo або легша альтернатива Umami закривають вебаналітику без передачі даних відвідувачів третім сторонам. І це без щомісячної плати, яку інакше довелося б віддавати за подібний сервіс на кшталт Plausible — $9 на місяць за лише 10 000 переглядів.

Ці інструменти не претендують на місце Ahrefs. Вони радше закривають щоденну рутину, за яку інакше довелося б платити окремо. При цьому інструменти відносно невибагливі: Matomo для комбінованого сервера з базою даних офіційно рекомендує близько 8 ГБ пам'яті при серйозному навантаженні, а Umami обходиться сотнями мегабайтів навіть під активним трафіком.

Screaming Frog SEO Spider — один з найпоширеніших інструментів технічного аудиту для SEO-агенцій. Однак сканування сайту на кількасот тисяч сторінок триває годинами, а комп’ютер у цей час майже непридатний до роботи. Якщо ще й розірветься інтернет-з'єднання через технічні проблеми, то весь процес, на який вже могли бути витрачені години, зникне.

Водночас сам Screaming Frog має консольний режим та відносно легко запускається на Linux-сервері без графічного інтерфейсу командою:

screamingfrogseospider --crawl https://example.com --headless --save-crawl --output-folder ~/crawls

З VPS ви просто додаєте цей рядок у вбудований у Linux-планувальник, і можете автоматично сканувати десятки сайтів в будь-який час. Наприклад, вказати, щоб система самостійно щопонеділка о третій ночі запускала сканування, а результат видавала зранку у форматі CSV з додатковим повідомленням в WhatsApp чи Telegram. При цьому обсяг сканування впирається лише в оперативну пам'ять: за офіційною документацією Screaming Frog, у режимі бази даних 4 ГБ дають 2-3 мільйони URL, 8 ГБ — до 5 мільйонів, 16 ГБ — до 10 мільйонів.

Важливо: консольний режим та збереження краулів працюють лише з платною ліцензією — £199 на рік на людину, а не на пристрій, тож окремо купувати «серверну» версію не потрібно: своя ліцензія переноситься на сервер разом із задачею.

Будувати власний SEO-стек на VPS на Screaming Frog взагалі не обов'язково. Якщо ваша задача — не технічний аудит, а збір контенту сайту для навчання власного AI-помічника підтримки чи внутрішньої бази знань (RAG-система), Screaming Frog для цього не призначений. Тут краще підійдуть безкоштовні краулери з відкритим кодом: Crawl4AI одразу віддає вміст сторінок у чистому Markdown або Katana на Go, яка працює швидше за важчі краулери і добре знаходить посилання, заховані в JS-коді сучасних сайтів.

Серверні логи стали ще більш важливими у 2025-2026 роках, коли на сайт почали масово заходити краулери штучного інтелекту, зокрема GPTBot і OAI-SearchBot від OpenAI, ClaudeBot від Anthropic, PerplexityBot, Google-Extended, Applebot-Extended та Meta-ExternalAgent. Вони вивчають інформацію на сторінках вашого проекту, від чого залежить, чи процитує вас ChatGPT або Perplexity у відповіді користувачеві. І ось отримати повну інформацію про їхнє відвідування можна з власних логів, адже жодна аналітична платформа цих даних не має, бо вони фізично існують тільки на вашому сервері.

Ба більше — бота треба перевірити. User-agent підробляється одним рядком тексту, тому Google дає офіційну інструкцію з перевірки свого робота через зворотний DNS-запит: адреса має розв'язуватися в домен googlebot.com, google.com чи googleusercontent.com, а зворотна перевірка — повертати той самий IP. Anthropic довгий час не публікувала списки IP-адрес для ClaudeBot, тож єдиним способом перевірки залишався зворотний DNS. Із квітня 2026 року компанія веде офіційний список IP-адрес для своїх ботів, але зворотний DNS все одно залишається надійним резервним методом, якщо список ще не оновили.

Замінити Ahrefs чи Semrush власним сервером неможливо. І це не питання навичок або бюджету на оренду. За офіційними даними Ahrefs, компанія зберігає 35 трильйонів живих беклінків та 28.7 мільярда ключових слів, а працює це все на власній інфраструктурі з 674 тисяч процесорних ядер, 3 петабайтів оперативної пам'яті та 503 петабайтів SSD. В тих же даних вказана сума, яку довелося б витратити на хмару за три роки без власного обладнання, — 900 мільйонів доларів.

Із цього випливає просте правило: дані про посилання, частотність ключів та позиції в чужій видачі ви купуєте, а не будуєте. Власний сервер обробляє ваші дані, а не збирає світові.

Частково до Ahrefs та Semrush можна віднести парсинг видачі Google. Технічно зібрати свій трекер позицій можна, але Google забороняє автоматизовані запити своїми умовами використання й активно з цим бореться. Яскравим прикладом став позов Google проти сервісу SerpApi у грудні 2025 року — компанія звинуватила сервіс в обході технічного захисту видачі.

Хоча у липні 2026 суд відхилив основну частину претензій за DMCA, а Google вже подала звужений позов щодо контенту в Knowledge Panels, сама справа стала показовою. Бізнес отримав корисний урок: будувати робочий процес на самостійному парсингу видачі — це закладати в нього ризик, який ви не контролюєте. Дані про позиції розумніше купувати в тих, хто взяв цей ризик на себе.

Це не означає, що весь стек виявляється марним: логи, моніторинг беклінків та трекінг позицій через SerpBear з підключеним SERP-API — усе це залишається у вашому SEO-стеку на VPS, під повним контролем. А Ahrefs, Semrush та подібні сервіси з масштабним індексом просто лишаються окремою підпискою поруч — не частиною стека, а інструментом, яким ви продовжуєте користуватись напряму.

Власний SEO-стек на VPS у середньому обходиться в $10-60 на місяць — залежно від масштабу задач. Для мінімальних задач достатньо 10-11 доларів, для великих компаній з десятками сайтів під управлінням доведеться платити орієнтовно 60 доларів, що все одно набагато менше, ніж повноцінні підписки на класичні сервіси.

Для мінімальних витрат (невеликі команди, сайти до кількох сотень тисяч сторінок) достатньо сервера KVM-35 ($8.49/міс), безкоштовного GoAccess для аналізу логів, SerpBear для трекінгу позицій — сам інструмент безкоштовний, платите лише за SERP-API, орієнтовно ≈$2/міс при помірній кількості ключів — та n8n для автоматизації. Разом виходить приблизно $10-11 на місяць.

Якщо бізнесу потрібен повноцінний стек — регулярний важкий краулінг великих сайтів, десятки клієнтських проєктів, історія логів за роки — додається сервер потужнішого тарифу (KVM-250, $26.20/міс), платна ліцензія Screaming Frog (£199/рік, тобто приблизно $22/міс за поточним курсом) і більший обсяг запитів до SERP-API під сотні ключів (орієнтовно ≈$10-15/міс). Сумарно виходить близько $60 на місяць — це та сама сума, про яку йшлося на початку статті: «кілька десятків, а не тисячі доларів».

Для кращого розуміння розглянемо різницю між витратами на готові інструменти та власний SEO-стек:

Важливо: наведені суми орієнтовні. Реальні витрати залежать від обсягу сайту, кількості ключів під трекінг і того, чи вже є в команди ліцензія Screaming Frog для інших задач. Власний стек не безкоштовний загалом — ліцензію Screaming Frog доведеться купити все одно, SERP-дані оплатити окремо, а головне — закласти час на налаштування й адміністрування. Але його перевага не в повній відсутності витрат грошей чи часу, а в суттєвій економії та ширших можливостях.

Вимоги задає найважча задача — краулінг. За офіційною документацією Screaming Frog, у режимі зберігання в базі даних 4 ГБ оперативної пам'яті вистачає приблизно на 2-3 мільйони адрес, 8 ГБ — до 5 мільйонів, 16 ГБ — до 10 мільйонів. Для сканування у пам'яті межа значно нижча, тому для великих сайтів обов'язковий SSD.

Звідси дві практичні конфігурації:

1. Базова — KVM-35 або KVM-75. Аналіз логів, моніторинг посилань і доступності, трекінг позицій, легка аналітика, автоматизація. Закриває потреби невеликої команди й сайтів до кількох сотень тисяч сторінок.
2. Робоча — KVM-250 або KVM-400, NVMe. Додається регулярний краулінг великих проєктів, повноцінна аналітика й зберігання логів за тривалий період.

Для прикладу розглянемо актуальні на момент підготовки матеріалу тарифи оренди VPS в Cityhost:

Тарифи KVM-35 та KVM-75 підходять для стартового SEO-стеку, зокрема логів, моніторингу посилань, автоматизації та краулінгу сайтів до кількасот тисяч адрес. На KVM-250 з 8 ГБ пам'яті варто переходити, коли потрібно до 5 мільйонів URL у режимі бази даних та рік логів із запасом. KVM-400 підходить для паралельної роботи з кількома великими клієнтськими проєктами одразу.

Власний стек найкраще окупається в агенціях та командах технічного SEO, які ведуть десятки проектів одночасно, регулярно повторюють одні й ті самі задачі та зацікавлені в глибині даних, якої не дає жоден зовнішній сервіс. Якщо ж у вас один-два невеликі сайти чи задача разова, безкоштовних лімітів Screaming Frog та Search Console зазвичай вистачає, і швидше оплатити місяць підписки, ніж будувати інфраструктуру.

Якщо вирішили будувати власний SEO-стек на VPS, тоді:

1. Замовте мінімальний сервер. KVM-35 або KVM-75 (від $8.49/міс) — цього достатньо для першого кроку. Скористайтесь тестовим періодом 5 днів за $2.16, щоб перевірити сервер, перш ніж платити за повний місяць.
2. Встановіть GoAccess та підключіть його до логів nginx чи Apache. Це займає кілька годин, а перший звіт буде готовий вже за тиждень.
3. Через тиждень подивіться на результат. Куди реально йде краулінговий бюджет, чи заходять на сайт ШІ-краулери, чи є приховані помилки 404 та 500, які не показує фронтенд.
4. Якщо ці дані змінили хоча б одне рішення в роботі — розширюйте стек. Додайте SerpBear для трекінгу позицій, а після — автоматизацію моніторингу беклінків через n8n чи Python-скрипт.
5. Коли навантаження зросте — переходьте на потужніший тариф (KVM-250 чи KVM-400) та додавайте Screaming Frog у headless-режимі, а для логів у масштабі мільйонів рядків — ClickHouse з Grafana.

Спробуйте спочатку логи — це найдешевший та найшвидший вхід у власний SEO-стек. Якщо за тиждень побачите, що дані реально впливають на рішення, розширюйте стек трекінгом позицій та моніторингом беклінків. А регулярний важкий краулінг та повноцінну аналітику додавайте лише тоді, коли перших кроків стане замало для масштабу ваших проектів.