Выгрузка результатов

На каждой странице выдачи есть кнопки, которые скачивают найденное: URLs, CSV и CSV с фрагментами. Если вы вошли в аккаунт, есть ещё Кластер: эта кнопка не скачивает результаты, а сохраняет их. Строки идут в том же порядке, что и на странице выдачи.

Что даёт каждая кнопка

Файл называется по запросу, из которого выброшено всё, кроме латинских букв, цифр, - и _: из "static.hotjar.com" получается statichotjarcom.csv.

Формат

• UTF-8. Первая строка CSV и CSV с фрагментами называет столбцы: url;rank или url;rank;snippets. В файле URLs такой строки нет.
• Колонки разделены точкой с запятой ;. Ячейка, в которой есть точка с запятой, запятая, табуляция, двойная кавычка или перевод строки, берётся в двойные кавычки, а кавычка внутри неё удваивается. Это обычный CSV: программа для таблиц или библиотека CSV читает его как есть, если выбрать разделителем точку с запятой, и ячейка остаётся целой, даже если разделителем выбрать ещё и запятую или табуляцию.
• Rank - место сайта в рейтинге популярности. У сайта без места в рейтинге это поле пустое.
• Все фрагменты одной страницы стоят в одной ячейке через ....
• Перед фрагментом, который начинается с =, +, - или @, ставится апостроф, чтобы программа для таблиц показала его, а не выполнила как формулу. Числа, например номера телефонов, остаются как есть.

Сколько строк

Строки берутся с начала выдачи, но не больше предела тарифа: Результатов на один поиск или выгрузку для URLs и CSV, Выгрузка с фрагментами (строк) для CSV с фрагментами. Числа - на странице Тарифы. Без входа в файл попадает первая страница выдачи: до 20 строк.

Сайты, скрытые на вашем тарифе, - строки, где показано Зарегистрироваться или Выбрать тариф, - в файл не попадают. Выдача идёт по популярности, и скрытые сайты стоят после открытых, поэтому файл может быть короче предела или совсем без строк; тогда кнопки выгрузки неактивны.

Подсказка на каждой кнопке говорит, сколько строк будет в файле, например 7 из 1 059 строк: сайты, скрытые на вашем тарифе, не скачиваются. Когда по странице не видно, где кончаются открытые строки, в подсказке стоит Не больше: файл кончается на первом сайте, скрытом на вашем тарифе, а он может встретиться раньше.

Если файл короче выдачи, его последняя строка говорит, почему:

# Truncated at the plan limit: 1000 of 22694 results.
# 7 of 1059 results: websites hidden on your plan are left out.

Первый вариант значит, что достигнут предел строк тарифа, второй - что сайты, скрытые на вашем тарифе, в файл не вошли. Строка начинается с # и написана на языке того сайта, с которого вы скачивали (примеры выше взяты с английской версии); числа в ней - без разделителя тысяч. Это не результат: при чтении файла программой её нужно пропустить. Если её нет, в файле все результаты.

Выгрузка расходует лимит так же, как сам поиск: один поиск из суточного лимита, а CSV с фрагментами - ещё и одну выгрузку с фрагментами, см. лимиты и ограничения частоты. Когда поиски на сегодня кончились, в выгрузку попадает столько, сколько разрешает бесплатный тариф, и последняя строка сообщает, что файл урезан.

Из скрипта

Кнопки - это ссылки на странице выдачи; адрес в них работает десять минут с того сетевого адреса, с которого открыли страницу. Чтобы скачивать из своего кода, используйте API: /v1/search с format=csv или format=txt. Старые адреса выгрузки с ?key= сохраняют прежний формат в точности: ячейки не берутся в кавычки, последней строки нет, а у сайта без места в рейтинге стоит >30M.

Другие выгрузки

• Кластер - значок скачивания в списке кластеров даёт текстовый файл с его доменами, по одному в строке.
• Извлечение - CSV с разделителем-запятой, а не точкой с запятой, со строкой заголовков: домен, затем по колонке на каждое выражение. Несколько значений, найденных на одном сайте, стоят в одной ячейке, по одному в строке. Последняя строка, которая начинается с #, говорит, сколько баллов извлечения израсходовал прогон; когда баллы на сегодня кончаются, строка перед ней говорит, с какого места продолжить. См. Извлечение.