«У меня бригада кладёт фундамент быстрее, чем конкуренты успевают смету составить. Но когда спрашиваю Алису «где найти надёжную строительную компанию», она называет кого-то другого», — пожаловался Самсон Ярдов, листая историю запросов в голосовом помощнике на телефоне. Сайт компании «Строим крутые дома» в Google на первой странице. В Яндексе — тоже неплохо. А вот когда клиенты начали спрашивать не поисковик, а нейросеть — его компания там просто не существовала. Как будто все построенные дома внезапно снесли, хотя на деле бизнес работает лучше, чем когда-либо.
Самсон в своей манере не стал тратить время на панику — сразу спросил технического специалиста: «Что мешает нейросетям нас видеть?» Ответ оказался до смешного простым: файл robots.txt, который годами исправно обслуживал Google и Яндекс, про генеративный ИИ попросту ничего не знал. Представляем готовый robots.txt, адаптированный под популярные LLM — чтобы ваш сайт начал появляться не только в поисковой выдаче, но и в ответах Алисы, ChatGPT, Perplexity и других ИИ-помощников.