Какие прокси покупать под конкретную задачу: протокол, потоки и срок доступа

Выбор сводится к четырём величинам: протокол под свой софт, число одновременных потоков под нагрузку, срок доступа под частоту задачи и формат выдачи списка. Под сбор данных и съём позиций берут HTTP с HTTPS, под почту, произвольные порты и приложения на сокетах берут SOCKS5, потоки считают по нагрузке прогона, срок ставят по тому, разовая задача или повторяющаяся.

Ниже разобрано по сценариям: сбор данных, съём позиций, несколько рабочих кабинетов, отправка почты и проверка своего сайта со стороны. По каждому указан протокол, разумный порядок потоков, срок и список того, что проверяется в тестовом окне. Отдельным разделом идёт то, что покупать не стоит, включая бесплатные открытые списки.

Четыре величины, из которых складывается выбор

Задача описывается одной фразой без прилагательных: собрать прайсы поставщиков, снять позиции по семантике, развести рабочие кабинеты, отправить рассылку с рабочего адреса, посмотреть на собственный сайт из другой сети. Формулировка задаёт всё остальное, поэтому она идёт первой.

Протокол диктует софт. Парсеры, чекеры выдачи и браузеры ходят по HTTP и HTTPS, программы с произвольными портами и приложения, работающие на уровне сокетов, предпочитают SOCKS. В пакете доступны IPv4 с HTTP и HTTPS, а также SOCKS4 и SOCKS5 на выбор, из сокетной пары рекомендуется пятая версия: она умеет передавать разрешение имён на сторону посредника и работает поверх произвольных портов.

Потоки считаются по нагрузке. Стандартные пакеты дают до 1000 одновременных потоков, корпоративный месяц до 3000, и подавляющее большинство рабочих сценариев укладывается в первую цифру с большим запасом. Порядок расчёта разобран отдельно в материале про число потоков под задачу, здесь берутся готовые ориентиры.

Срок это то, за что мы платим: доступ к пулу на сутки, неделю, месяц или корпоративный месяц. Трафик безлимитный на всех вариантах, объём выкачки на выбор не влияет совсем.

Формат выдачи стоит пятым и решается за секунду. IP:PORT берётся, когда рабочий адрес привязан в кабинете, IP:PORT:LOGIN:PASS берётся, когда машин несколько или адрес машины меняется. Оба формата мы выдаём в пакете, забрать список можно ссылкой или файлом.

Шестым пунктом держим в голове привязку. Мы даём в пакете одновременную привязку 2 адресов со свободной сменой прямо в настройках, и при двух привязанных адресах общий лимит потоков делится между ними пополам. Когда основной прогон идёт с одной машины, вторую привязку мы оставляем пустой до момента, когда она реально понадобится, иначе расчёт по полной цифре упрётся в половину лимита и логи наполнятся отказами. Пакет включается примерно за 5 минут после оплаты, поэтому переиграть выбор срока или протокола можно почти сразу после первого прогона. Наш состав по протоколам, потокам и привязкам целиком виден там, где оформляется доступ к пулу IPv4 и SOCKS5.

Сбор данных и парсинг: HTTP с HTTPS, потоки по прогону

Парсеры каталогов, прайсов и остатков работают по HTTP и HTTPS. A-Parser, Netpeak Spider, самописные сборщики на requests и aiohttp принимают строку посредника в одном поле, и никаких дополнительных библиотек под этот протокол ставить не приходится. Сокетный вариант эти программы тоже принимают, выигрыш появляется на прогонах, где страница тянет ресурсы с десятка доменов.

Потоки в таком сценарии редко выходят за пределы сотни. Прогон на 60 000 обращений за восьмичасовое ночное окно требует около 2 запросов в секунду, а при среднем отклике 1.8 секунды формула даёт четыре потока, и в софте ставится 15 с тройным запасом. Крупные ежедневные выгрузки на несколько сотен тысяч страниц поднимают цифру до 200 или 400 потоков, что всё ещё вдвое ниже стандартного лимита.

Срок ставится по расписанию. Разовая выгрузка каталога поставщика закрывается сутками, регулярный ночной прогон живёт на месячном доступе. Для постоянной работы сборщиков подходят адреса под сбор открытых данных, где нагрузка идёт ровным фоном каждую ночь.

# проверка целевой страницы через HTTP-посредник
curl -x http://185.24.87.14:8000 -o /dev/null -s \
  -w "код %{http_code}, время %{time_total} с\n" \
  https://example-shop.com/catalog/page/1

В тестовом окне по этому сценарию мы смотрим три вещи: код ответа целевого домена при рабочей частоте обращений, ровность времени отклика от запроса к запросу и поведение своей программы при импорте списка. Третий пункт неочевиден и стоит потраченных минут: часть сборщиков ждёт логин с паролем отдельными полями и ломает строку, склеенную через двоеточие.

Съём позиций: те же протоколы, упор на ровность обращений

Проверка выдачи устроена мягче парсинга по нагрузке и жёстче по требованиям к ритму. Key Collector, A-Parser в режиме съёма и близкие программы обращаются к страницам выдачи по HTTPS, и главная величина здесь пауза между обращениями с разбросом, а вслед за ней уже потоки.

Семантика на 4 000 запросов при глубине в три страницы и двух поисковых системах даёт 24 000 обращений за съём. Растянутый на шесть часов, он требует 4 000 запросов в час, это чуть больше одного в секунду. При отклике 2.5 секунды формула выдаёт три потока, в софте ставится 12. Умеренная параллельность с разбросом пауз держит съём стабильнее, чем попытка пройти всю семантику за сорок минут на двух сотнях соединений.

Срок берётся недельный при разовой проверке и месячный при регулярном съёме. Еженедельная задача на месячном доступе избавляет от четырёх ручных продлений, каждое из которых можно забыть посреди ночного окна.

Разнообразие подсетей проверяется одной строкой: несколько запросов подряд на сервис, который возвращает выходной адрес. Наш пул устроен как микс со всего мира, ротацию внутри него мы держим автоматической, поэтому соседние обращения уходят из разных диапазонов без ручной настройки перебора. Отдельную логику перебора строк в софте писать не нужно совсем.

Несколько рабочих кабинетов: SOCKS5 и счёт по профилям

Работа с рекламными и торговыми кабинетами считается по числу одновременно открытых профилей. Антидетект-браузеры принимают и HTTP, и SOCKS5, при этом сокетный вариант удобнее: разрешение имён уходит на сторону посредника, и картина по выходному адресу получается цельной без отдельной настройки в самом браузере.

Один активный профиль держит от 6 до 12 соединений сразу: страница, статика, внутренние методы интерфейса, фоновые опросы. Пять сотрудников по три профиля дают 15 профилей и около 180 потоков в пике, отдел на сорок профилей выходит к 480. Стандартный лимит покрывает оба случая, при этом в расчёт входит одна деталь: в пакет входит одновременная привязка 2 адресов со свободной сменой, и при двух привязках общее число потоков делится пополам.

Срок здесь всегда длинный. Кабинеты живут месяцами, профили переоткрываются ежедневно, поэтому доступ берётся на месяц, а при большом отделе на корпоративный месяц с лимитом до 3000 потоков. Тем, у кого работа идёт постоянным потоком без сезонных пауз, ровнее всего заходит доступ к пулу на месяц.

# профиль антидетекта, строка подключения по SOCKS5
socks5://user5521:[email protected]:8000

# та же машина, доступ по привязке адреса без пары логина
socks5://185.24.87.14:8000

В тесте по этому сценарию мы открываем два профиля с разными строками подключения и смотрим, что выходные адреса у них различаются, интерфейс кабинета грузится полностью, а фоновые запросы не отваливаются по таймауту. Двух часов на такую проверку хватает с избытком.

Отправка почты: SOCKS5 обязателен, потоки минимальные

Почтовый сценарий стоит особняком. SMTP работает поверх собственного протокола на портах 25, 465 и 587, обычный HTTP-посредник такие соединения не переносит, поэтому здесь берётся SOCKS5. Приём почты по IMAP и POP3 устроен так же и требует того же сокетного варианта.

Нагрузка в почтовых задачах низкая. Отправка нескольких сотен писем в час укладывается в 5 или 10 потоков, крупная рассылка на десятки тысяч адресов редко просит больше 50 одновременных сессий, потому что почтовые серверы принимающей стороны сами держат ритм и охотнее работают с ровным потоком. Основная работа здесь идёт в настройках почтового клиента и в заголовках письма.

# отправка через сокетный посредник, порт 587 с STARTTLS
swaks --to [email protected] --from [email protected] \
  --server smtp.mydomain.ru:587 --tls \
  --socks5 185.24.87.14:8000

Срок берётся по характеру рассылки: разовая отправка закрывается сутками, постоянная переписка через рабочий адрес живёт на месячном доступе. Под этот сценарий подходит вариант, где нужно взять доступ по протоколу SOCKS5, потому что переключение между четвёртой и пятой версией делается прямо в строке подключения. Разбор самой отправки лежит в материале про SMTP через посредник.

В тестовом окне проверяются три вещи: соединение с почтовым сервером по выбранному порту, прохождение приветствия и авторизации, доставка одного тестового письма на свой ящик. Если письмо дошло и заголовки в нём выглядят как задумано, сценарий рабочий.

Проверка своего сайта со стороны: минимум потоков, короткий срок

Самый лёгкий сценарий из всех. Администратор смотрит на собственный сайт из другой сети: проверяет, как отдаётся кеш, видна ли региональная версия, работает ли редирект, что показывает страница до входа в личный кабинет. Обращений десятки, потоков хватает пяти.

Протокол здесь HTTP с HTTPS, потому что вся работа идёт в браузере и в curl. Настройка в браузере занимает минуту, в консоли и того меньше. Для разовых проверок берётся суточный доступ, для регулярного мониторинга доступности недельный или месячный.

# сравнение ответа напрямую и через посредник
curl -s -o /dev/null -w "прямо: %{http_code} %{time_total}\n" https://mydomain.ru/
curl -s -o /dev/null -w "через пул: %{http_code} %{time_total}\n" \
  -x http://185.24.87.14:8000 https://mydomain.ru/

Две строки выше закрывают половину задачи: расхождение кодов или заметная разница во времени сразу показывает, что сайт по-разному отвечает своим и чужим сетям. Под такой сценарий берётся простой вариант, где достаточно подключить прокси по HTTP в браузере. Порядок первой проверки описан в разборе про то, как убедиться, что прокси работает.

Сводная таблица: задача, протокол, потоки, срок

Таблица собирает всё сказанное выше в одну картину. Цифры потоков даны как рабочие ориентиры с запасом относительно расчётной величины.

Из таблицы видно закономерность. Протокол диктуется софтом и почти никогда не обсуждается, потоки меняются в пятидесятикратном диапазоне между сценариями, а срок сводится к одному вопросу: задача повторится на следующей неделе или закончится сегодня. Оформить подходящий вариант можно там, где собраны пакеты прокси IPv4 по срокам и потокам.

Ещё одну вещь мы советуем проверить до оформления: сколько машин пойдёт в работу. Одна рабочая станция закрывается привязкой адреса и форматом IP:PORT, два и больше рабочих места удобнее вести по паре логина и пароля, потому что строка подключения тогда переносится между машинами без правок в кабинете. Ограничений на число пакетов у учётной записи мы не ставим, поэтому параллельные независимые задачи спокойно разводятся по отдельным пакетам с собственными сроками и лимитами.

Чего покупать не стоит и почему открытые списки не работают

Первое, чего брать не надо: пакет, выбранный до формулировки задачи. Покупатель, который открыл кабинет раньше, чем посчитал нагрузку, обычно берёт срок наугад и потоки круглой цифрой, потом переставляет и то и другое. Пять минут арифметики экономят половину первого рабочего дня.

Второе: несколько мелких пакетов вместо одного подходящего. Потоки разных пакетов не складываются, каждый работает со своим лимитом, поэтому рост нагрузки внутри одного прогона закрывается переходом на старший вариант. Несколько пакетов имеют смысл при параллельных независимых задачах, где у каждой свой сервер и свой лимит.

Третье: покупка без тестового окна. Бесплатный тест длится до 2 часов под конкретный запрос, и он отвечает на вопрос о пригодности точнее любого описания, потому что проходит на вашем софте и ваших доменах.

Отдельная тема это бесплатные открытые списки, которые публикуются на форумах и агрегаторах. В производственной задаче они не выдерживают проверки по четырём причинам сразу, и вот как это выглядит в работе.

Практический итог простой. Прогон, который на пуле с автоматической ротацией занимает восемь часов и не требует внимания, на открытом списке растягивается на двое суток и наполняется ручной работой по отсеву неотвечающих строк. Наш пул держит около 12 000 активных адресов, список обновляется в реальном времени, доступ открыт только клиентам сервиса, и ротация внутри пула идёт без участия оператора. Разбор поставщиков и признаков рабочего сервиса лежит в отдельном материале про то, где покупать прокси.

Что успеть за тестовые два часа перед покупкой

План теста пишется заранее и занимает пол-листа. Без плана первый час уходит на установку софта, и к концу окна на руках оказывается один ответ сервера, по которому картина не складывается.

Порядок запуска короткий: выбрать тип прокси под свой софт, зарегистрироваться в кабинете, отправить запрос теста из меню, указать свой адрес в настройках, активировать доступ, затем написать оператору логин и тип прокси. Пакет после оплаты включается примерно за 5 минут.

Три записанные цифры дальше превращаются в выбор пакета за пару минут: среднее время отклика, доля успешных ответов и рабочее число потоков. Проверять всё это мы советуем на своих доменах и своей программой, потому что общий чекер показывает только факт доступа, а поведение целевого сайта под нагрузкой видно исключительно на реальном прогоне. Записи стоит сохранить в тот же файл, где лежал план: через неделю детали стираются из памяти, и строка с цифрами возвращает к выбору без повторного теста.

Частые вопросы

Какой тип прокси вы даёте?

В пакете идут IPv4 и SOCKS5, из сокетной пары доступны SOCKS-4 и SOCKS-5 на выбор, рекомендуется пятая версия. HTTP и HTTPS работают на тех же адресах, переключение делается в строке подключения, докупать под другой протокол ничего не нужно.

В каком формате выдаётся список прокси?

Форматов два: IP:PORT и IP:PORT:LOGIN:PASS. В кабинете доступны оба способа получения, ссылкой или файлом. Список обновляется в режиме реального времени, поэтому перед крупным прогоном его стоит перечитать.

Можно ли заказать адреса определённой страны?

Пул представляет микс со всего мира, адреса приходят из 200+ стран, выборка по отдельной стране не делается. Для сбора открытых данных, съёма выдачи и разведения рабочих профилей такая схема даёт разнообразие подсетей без ручной настройки.

Чем проверять купленные прокси?

Для массовой проверки списка рекомендуется чекер от Zennolab, у него есть демонстрационная версия. Он проходит список пачкой и показывает отвечающие строки, время отклика и тип прокси. Одиночную проверку удобнее делать вызовом curl на сервис, который возвращает выходной адрес.

Соседние материалы раздела закрывают остальные шаги покупки: бесплатный тест до 2 часов с планом проверки по минутам, порядок покупки от кабинета до первого запроса, как приходит список адресов и что с ним делать дальше. Различия протоколов между собой подробно разобраны в материале про HTTP, HTTPS, SOCKS4 и SOCKS5.