SEO и ИИ-ответы в поиске: AI Overviews, Нейро и llms.txt

«SEO и нейросети» — год назад это звучало как название доклада, который слушают вполуха. Сегодня это строчка в отчёте: позиция та же, показы держатся, а кликов меньше. Сверху выдачи встал готовый ответ, и часть людей до сайтов просто не доходит.

Разберу по порядку: что изменилось в выдаче и почему информационные страницы просели заметнее коммерческих, как устроены AI Overviews и Нейро, что машина способна процитировать, зачем нужен llms.txt и кто его читает на самом деле, пускает ли ваш robots.txt тех, ради кого всё затевается. И чем это мерить, когда клика нет.

Цифр будет мало. Рынку пара лет, сводных замеров по рунету, которым я готов верить, не появилось, а зарубежные отчёты про «падение трафика на N процентов» выходят каждую неделю и спорят друг с другом. Дальше — механика и способы проверить всё у себя.

Что изменилось в выдаче

Раньше поиск отдавал список. Десять ссылок, человек выбирал сам, задача сводилась к тому, чтобы стоять повыше. Теперь поверх списка лежит связный текст, собранный из нескольких источников, а сами источники ушли в сноски сбоку. Открывать их никто не обязан.

Нулевой клик придумали не нейросети. Погода, курс валют, расписание, калькулятор — поиск отвечал сам ещё десять лет назад, и на колдунщики ругались задолго до всякого GPT. Изменилось другое: ответ теперь собирается из нескольких страниц и пересказывается своими словами, а покрывает не десяток типовых случаев, а почти любой вопрос.

Для сайта разница вот в чём: показ засчитан, ваш абзац прочитали — но в чужом пересказе, и к вам человек не пришёл. В аналитике этого нет вовсе: где не было клика, там нет и строки.

Куда делись клики с информационных запросов

Информационный вопрос закрывается ответом целиком. «Чем отличается кэшбэк от бонусов», «сколько сохнет стяжка», «что такое УТП» — человек спрашивал, чтобы узнать, а не чтобы куда-то перейти.

Проверяется это у себя за полчаса. Откройте Search Console и Вебмастер, возьмите год к году по одинаковым календарным периодам и посмотрите пару «показы — клики» отдельно по информационным запросам. Позиция стоит, показов столько же, а CTR оседает — вот он, тот самый эффект. Один запрос ничего не докажет, группа из полусотни — вполне.

Оговорка, о которой в статьях забывают: у падения CTR бывают и скучные причины. Переписали Title, конкурент влез выше, спрос стал сезонным, в выдачу приехал новый блок. Прежде чем винить нейросеть, посмотрите на выдачу глазами — из нужного региона и с чистого браузера.

Почему коммерческие запросы пострадали меньше

Покупка держится на подробностях, за которые кто-то отвечает: цена сегодня, наличие на складе, доставка в ваш город, гарантия, договор. Машина этого на себя не берёт — ошибиться в чужой цене ей дорого, а проверить остаток нечем. Да и человек, выбирающий станок за полтора миллиона, на пересказе не остановится: откроет пять сайтов, позвонит, сравнит.

Спокойным этот участок называть рано. Между «что такое» и «купить» лежит широкая полоса запросов на сравнение: какой выбрать, чем отличается, что лучше для дома. Раньше туда шли обзоры и подборки. Как раз такие вопросы нейросеть отвечает охотнее всего — свести два варианта в табличку она умеет прекрасно.

Отсюда вывод дороже рассуждений о будущем поиска: посмотрите, на чём держится ваш трафик. Половина приходит на статьи вида «что такое» — это зона риска. Держится на карточках, услугах и регионах — вы отделались лёгким испугом, а тревожные заголовки в отраслевых чатах писали не про вас.

AI Overviews у Google и Нейро у Яндекса

Словом «ИИ-ответ» называют минимум три разные вещи, и путать их дорого.

AI Overviews — блок Google над обычными результатами: несколько абзацев и ссылки на источники сбоку. Собирается он поверх обычного индекса, отдельного «индекса для ИИ» у Google нет. Раскатывают его волнами по странам, языкам и типам запросов — проверяя руками, проверяйте с разных устройств и сетей.

Нейро — ответ Яндекса, устроенный похоже: поиск отбирает документы, модель читает их и пишет связный текст со ссылками на использованные страницы. Тот же движок отвечает в Алисе. Своего отдельного индекса тут тоже нет.

ChatGPT, Perplexity и прочие чаты — случай другой. Туда идут вместо поисковика: человек открывает не поиск, а вкладку с диалогом. Часть ответа собирается из того, что модель уже знает, часть — из живого обхода сети прямо во время разговора. Роботы, которыми они ходят по сайтам, у каждого свои, и переход оттуда виден в аналитике отдельным источником — в отличие от AI Overviews, где показы и клики уходят в общую кучу Search Console.

Общего у них три вещи, и они важнее различий. Ответ надстраивается над поиском: сайт, выпавший из индекса, в нём не участвует — значит, разговор про нейросети начинается с индексации и структуры, то есть с обычного SEO-продвижения. Ответ не воспроизводится: задайте один вопрос дважды и получите две формулировки, а иногда и разные источники — единичная проверка не значит ничего. И позиции нет: нельзя быть третьим, можно быть названным или неназванным.

Generative engine optimization, AEO и прочие три буквы

Работу вокруг ИИ-ответов называют минимум тремя способами. Generative engine optimization, сокращённо GEO, — термин из академической статьи, оттуда он и разошёлся по конференциям. Answer engine optimization, AEO, — то же самое с другой стороны: оптимизация под ответ вместо оптимизации под ссылку. Встречается ещё LLMO, по-русски говорят «оптимизация под нейросети», и каждый месяц кто-нибудь предлагает свежую аббревиатуру.

Разницы между ними на практике я не нашёл. Все три описывают один набор действий, и на девять десятых он совпадает с обычным SEO: чтобы вас процитировали, сайт должен индексироваться, отвечать на вопрос и грузиться. Новая — оставшаяся десятая: структура ответа внутри страницы, разметка, названный автор, следы за пределами сайта, доступ отдельным роботам. Полезная десятая, но десятая. Поэтому тот, кто продаёт GEO отдельной дисциплиной с отдельным прайсом и обещает место в ответе, продаёт слово. Как эта работа выглядит с моей стороны, расписано на странице продвижения в AI-поиске.

Спрашивайте не «попадём ли мы в ответ», а «как мы это проверим и по какому списку вопросов». На первый вопрос честного ответа нет ни у кого. На второй он обязан быть.

Правило, к которому я пришёл после первых же замеров

Как попасть в ответы нейросети

Гарантий тут нет ни у кого, и дальше речь о том, что повышает шансы. Раскладывается всё на четыре вещи.

Ответ, который вынимается целиком

Машина ищет готовый кусок, а не повод дочитать страницу до конца. Вопрос стоит в заголовке теми словами, которыми его задают вслух; ответ идёт сразу под ним — два-три предложения, без разбега на полстраницы. Цифру, срок или условие называйте прямо: «индивидуально» и «зависит от многих факторов» вынуть невозможно, и цитировать будут того, кто написал понятнее.

Разметка, которую читают без догадок

Schema.org говорит машине прямым текстом, что за объект перед ней: организация, автор, услуга, товар, статья, хлебные крошки. JSON-LD, ничего экзотического. FAQPage ставится там, где на странице правда есть вопросы и ответы, а не ради галочки. Условие жёсткое: разметка обязана сходиться с тем, что видит человек — расхождение ловят и наказывают давно.

Автор, у которого есть имя

Текст без подписи машина сводит с десятком таких же и цитирует того, кто назвался. Нужен минимум: подпись живого человека, страница автора с опытом и подтверждениями, ссылки на площадки, где его уже читают. Писать некому? Подпишите то, что уже написано: у собственника обычно за плечами лет пятнадцать в своей теме, и на сайте об этом нет ни строчки.

Упоминания за пределами сайта

Ответ почти никогда не собирают из одного источника: сводят несколько и смотрят, говорят ли они одно и то же. Отраслевые площадки, справочники, форумы и отзывы работают на цитируемость наравне с самим сайтом, причём упоминание без ссылки тоже считается — важно, что имя стоит рядом с темой. Свежесть сюда же: то, что не трогали три года, вытесняется обновлённым в прошлом месяце.

llms.txt: что это за файл и кто его читает

Из всех новых слов у этого самый заметный спрос: «llms txt» ищут заметно чаще, чем «ai overviews». Разберу подробно, тем более что разбор выходит неудобный.

Идея простая. В корень сайта, рядом с robots.txt, кладётся файл llms.txt — короткая карта в разметке Markdown: что это за сайт, чем занимается, какие разделы главные. Предложил её в 2024 году Джереми Ховард из Answer.AI, описание формата лежит на llmstxt.org. Рядом поминают llms-full.txt — то же самое, но с полным текстом документации одним куском.

Устроен файл так:

• заголовок первого уровня — название сайта или компании;
• под ним абзац-цитата: одно-два предложения о том, чем вы занимаетесь;
• дальше разделы: заголовок второго уровня, а под ним список ссылок с короткими пояснениями, зачем каждая;
• в конце необязательный раздел Optional — то, что можно пропустить, если места мало.

Теперь честная часть. Ни один крупный поисковик публично не подтвердил, что читает этот файл и как-то на него опирается. В Google высказывались прямо: сравнивали llms.txt с метатегом keywords — тем самым, который поиск перестал учитывать полтора десятилетия назад. Стандартом файл тоже не стал: за ним нет ни RFC, ни соглашения между площадками — есть предложение одного человека, которое подхватила часть индустрии.

Кто его выкладывает? В основном документация для разработчиков: файл есть у Anthropic, есть у Cloudflare, а платформы вроде Mintlify собирают его автоматически всем клиентам — такие сайты читают как раз машины.

Ходит ли кто-нибудь к вам за этим файлом, выясняется без чужих мнений: положите его и поищите в логах обращения к /llms.txt. Через месяц у вас будет свой факт вместо чужого поста с конференции.

Делать или нет? Заводите, если сайт большой и разделов много, и относитесь как к бесплатной мелочи. Час работы, вреда никакого, а побочная польза настоящая: описывая свой сайт человеческими словами, обычно обнаруживаешь, что треть разделов не объясняется одной фразой. Разговор выходит о структуре сайта, и полезен он безо всяких нейросетей. Чего делать не стоит — платить за файл отдельной строкой сметы и ждать от него переходов. Практика складывается прямо сейчас: через год он либо станет общим местом, либо тихо исчезнет, как исчезли до него десятки похожих предложений.

Пускаете ли вы их вообще: robots.txt и роботы нейросетей

Половина разговоров про ИИ-ответы заканчивается на одной строке в robots.txt. В 2023–2024 годах роботов моделей закрывали массово, и спор шёл справедливый: тексты забирали в обучение, никого не спрашивая. Сегодня та же строка мешает попасть в ответ, а помнят о ней редко.

Список неполный и меняется чаще, чем хочется: агентов добавляют, переименовывают, делят надвое. Заглядывать в него раз в квартал — разумная привычка.

Развилка, которая удивляет многих: обучение модели и ответ прямо сейчас — разные вещи, и разводятся они разными строками. Робот, забирающий текст в обучающий набор, и робот, зашедший по ссылке, потому что человек в эту секунду задал вопрос, — два разных агента. Закрыть первого и пустить второго можно.

С Google тонкость отдельная, на ней спотыкаются и опытные. Google-Extended управляет обучением моделей, а на попадание в AI Overviews не влияет: блок собирается из обычного индекса силами обычного Googlebot. Отказаться от участия выйдет только сниппетными директивами — nosnippet, max-snippet, data-nosnippet, — но вместе с ИИ-ответом вы потеряете и обычный фрагмент в выдаче. Обмен так себе. У Яндекса отдельной строки под нейроответы нет вовсе: Нейро работает поверх поискового индекса, и «выключить Нейро, оставить поиск» технически не выйдет.

И последнее, о чём говорят реже всего: robots.txt — просьба, а не забор. Стандарт (RFC 9309, если нужен первоисточник) описывает добровольное соглашение: приличные компании его соблюдают, а решивший не соблюдать просто не соблюдает. Нужен настоящий запрет — это уровень сервера: блокировка по user-agent и диапазонам адресов, ограничение частоты.

Чем меряется результат, когда клика нет

Привычные метрики построены на клике: показ, переход, позиция, отказы. Ответ без перехода в них не помещается. Отрасль сошлась на двух показателях, и оба считаются руками.

• Доля упоминаний — в скольких ответах из вашего списка вопросов название компании вообще прозвучало. Позицией это не назвать: порядка в ответе нет.
• Доля цитирований — в скольких ответах стоит ссылка именно на ваш домен. Переходом это тоже не назвать: ответ читают, ссылку открывают редко.

Делается замер так. Берёте список вопросов, которые задаёт ваш покупатель, — три-четыре десятка, человеческими словами, а не выгрузкой из Wordstat. Проходите с ним по площадкам, где сидит ваша аудитория, и записываете, кого назвали и на что сослались. Потом правки. Потом тот же список, те же площадки, тот же способ. Сравнивать можно только замеры, сделанные одинаково.

Что смотреть кроме этого:

• Переходы из чатов. В Метрике они видны в отчёте по источникам, доменами чатов. Ручеёк тонкий, зато качество обычно хорошее: человек пришёл после развёрнутого объяснения.
• Брендовый поиск. Часть людей после ответа не переходит никуда, а через день ищет вас по названию. Кривая брендовых запросов в Вебмастере — сигнал косвенный, но честный.

Чего в отчётах нет и ждать не стоит: Search Console не выделяет AI Overviews отдельной строкой, отдельного отчёта по Нейро у Яндекса тоже нет. Любой красивый график «видимости в нейросетях» собран чьими-то руками по чьему-то списку вопросов в какой-то один день.

Отсюда правило, которое стоит проговорить до начала работ. Просите вместе с цифрой список вопросов, перечень площадок и дату замера. Дают — цифру можно перепроверить самому, и это главное её свойство. Не дают — сверять нечего. Тот же приём я разбирал в статье про выбор SEO-специалиста: проверяемость важнее красоты.

Что проверить у себя на этой неделе

Ни один пункт не требует подрядчика и бюджета. Полдня работы — и про свой сайт вы будете знать больше, чем даёт любая обзорная статья.

• Прочитать robots.txt целиком: кто и когда поставил строки с именами роботов моделей
• Посмотреть в логах, кто из них приходил за месяц и что забирал
• Сравнить показы с кликами год к году по пяти главным информационным страницам
• Вбить в поиск пять своих главных вопросов: есть ли сверху ответ и кого в нём называют
• Задать те же вопросы Нейро и ChatGPT — просто прочитать, для понимания масштаба
• Проверить на ключевых страницах JSON-LD: сходится ли он с тем, что видит человек
• Найти на страницах имя автора и дату обновления; нет — завести, это делается за вечер
• Прочитать первый абзац под каждым подзаголовком: он отвечает или разгоняется?
• Поискать название компании вместе с темой: где о вас пишут, кроме вашего же сайта?
• Решить про llms.txt: делаете как бесплатную мелочь или не делаете

Дальше зависит от того, сколько минусов набралось, и разобраться самому вполне реально — список выше и есть половина работы. Нужен замер по всем площадкам с записанными ответами — это аудит видимости в AI-поиске. Нужны руки на правки, разметку, авторство и повторный замер — это оптимизация под AI-поиск.

И напоследок. За двадцать лет в поиске я насмотрелся на волны: ссылки решают всё, тексты решают всё, поведение решает всё. Каждый раз оказывалось, что решает понятный ответ на конкретный вопрос — у которого есть автор и который кто-то ещё, кроме вас, готов процитировать. Нейросети эту закономерность не сломали. Они сделали её заметнее и убрали клик, за которым раньше было удобно прятать плохой текст.