Что такое прокси IPv4 и как он работает: адрес, маршрут и пул

Прокси IPv4 это промежуточный сервер с собственным адресом четвёртой версии протокола, через который программа обращается к сайту. Площадка принимает соединение уже от адреса посредника и ему же отправляет ответ, поэтому исходный адрес пользователя до площадки не доходит.

Эта страница открывает раздел «Основы» и разбирает вопрос целиком: как записан адрес IPv4, что происходит с запросом на каждом шаге, почему свободных адресов в четвёртой версии не осталось, чем серверный адрес отличается от адреса домашнего провайдера, зачем такие адреса нужны в работе и что меняет пул из тысяч адресов при регулярной нагрузке. Дальше идёт разбор по разделам, от устройства записи до порядка подключения.

Как устроен адрес IPv4: 32 бита и четыре числа

Адрес IPv4 занимает 32 бита. Читать двоичную строку неудобно, поэтому её делят на четыре части по 8 бит и записывают десятичными числами через точку: 203.0.113.24. Каждая часть называется октетом и принимает значения от 0 до 255. Всего комбинаций получается около 4,3 миллиарда, и это полный запас четвёртой версии протокола.

Одной записи для маршрутизации мало. Рядом с адресом всегда идёт маска подсети, она делит 32 бита на две зоны: старшие биты отвечают за номер сети, младшие за номер узла внутри этой сети. Запись 203.0.113.24/24 читается так: первые 24 бита это сеть, оставшиеся 8 бит различают узлы, и в блоке помещается 256 значений. Первое значение блока занимает адрес сети, последнее уходит под широковещательную рассылку, остальные 254 можно назначить оборудованию.

Двоичная запись показывает логику деления нагляднее. Октет 203 в двоичном виде выглядит как 11001011, и таких групп ровно четыре, отсюда и берутся 32 бита. Маска /24 это 24 единицы подряд и 8 нулей в конце, в привычной записи она выглядит как 255.255.255.0. Маска /16 оставляет под узлы 16 бит и даёт блок на 65 536 значений, маска /8 отдаёт под узлы 24 бита. Чем меньше число после косой черты, тем крупнее блок и тем больше адресов внутри.

Часть запаса выведена из открытого обращения. Диапазоны 10.0.0.0/8, 172.16.0.0/12 и 192.168.0.0/16 работают внутри локальных сетей, 127.0.0.0/8 замкнут на сам узел, блок от 224.0.0.0 отдан групповой рассылке. Домашний роутер раздаёт устройствам именно такие внутренние значения, а наружу выпускает трафик под тем адресом, который выдал оператор связи. Отсюда простой вывод: адрес, который видно в настройках ноутбука, и адрес, который видит сайт, обычно разные.

Подсеть, диапазон и автономная система

Адреса раздаются блоками, поштучно их не распределяют. Минимальный блок, который принято анонсировать в глобальной таблице маршрутов, это /24 на 256 значений. У блока есть владелец, он записан в базе регионального регистратора, и любой желающий поднимет эту запись через whois за секунду. Там же видно название организации, страну регистрации и контакты для жалоб.

Блоки собираются в автономную систему. Автономная система это набор сетей под общим управлением с единой политикой маршрутизации, у неё свой номер вида AS64500. По номеру видно тип владельца: оператор связи с абонентами, хостинговая площадка с серверами или корпоративная сеть. Крупные площадки держат собственные списки автономных систем и раскладывают входящий трафик по ним ещё до того, как отработает бизнес-логика сайта.

Проверить принадлежность блока можно за пару команд, и это полезная привычка при разборе отказов. Запрос whois по адресу отдаёт владельца диапазона, границы блока и адрес для жалоб, а запрос к публичному сервису маршрутов покажет номер автономной системы и текущий анонс.

whois 203.0.113.24 | grep -iE "netname|descr|country|origin"
dig +short AS64500.asn.cymru.com TXT

Практический вывод для работы такой: сайт оценивает не только конкретный адрес, но и его соседей по блоку, владельца диапазона и номер автономной системы. Когда из одной подсети идёт поток однотипных запросов, счётчики срабатывают на весь диапазон целиком, и адреса рядом получают ту же оценку. Поэтому разнесение нагрузки по разным подсетям работает лучше, чем частая смена значений внутри одного блока. Это и отличает набор адресов из разных диапазонов от нескольких соседних значений, купленных подряд.

Что происходит с запросом: разбор по шагам

Читатель обычно формулирует вопрос коротко: «куда уходит мой запрос и что в итоге видит сайт». Разложим путь на шаги, он одинаков для браузера, парсера и любой программы с поддержкой посредника.

1. Программа читает настройки и видит адрес посредника, порт и способ авторизации. 2. Устанавливается TCP-соединение с посредником, например на порт 8080 для HTTP или 1080 для SOCKS. 3. Посредник проверяет право на доступ: сверяет адрес, с которого пришло подключение, либо принимает логин и пароль. 4. Программа сообщает, куда идти дальше. В HTTP это метод CONNECT с именем узла и портом, в SOCKS5 короткий обмен служебными пакетами с тем же смыслом. 5. Посредник открывает соединение с площадкой от своего адреса IPv4 и связывает два канала. 6. Ответ возвращается тем же путём, программа получает страницу, площадка записывает в логи адрес посредника.

# HTTP, авторизация логином
curl -x http://203.0.113.24:8080 -U login:pass https://example.com/catalog

# SOCKS5, имя узла разрешается на стороне посредника
curl --socks5-hostname 203.0.113.24:1080 -U login:pass https://example.com/catalog

Шестой шаг упирается в имя узла. При работе через SOCKS5 с флагом socks5-hostname имя разрешается на стороне посредника, и запрос к службе имён уходит оттуда же, откуда идёт трафик. Такая схема держит картину соединения ровной. Отдельная тема это служебные заголовки: обычный HTTP-посредник умеет добавлять к запросу поля с исходным адресом, поэтому под рабочие задачи берут прокси с высоким уровнем анонимности, которые лишних полей не подставляют.

Почему адресов IPv4 не хватает и откуда берутся новые

Запас в 4,3 миллиарда значений выглядит большим только на бумаге. Служебные диапазоны съедают заметную долю, крупные блоки разошлись по организациям ещё на раннем этапе развития сети, а число устройств с выходом наружу давно перевалило за число доступных значений. Свободные блоки у региональных регистраторов закончились, и новые заявки обслуживаются из возвращённых адресов и по очереди ожидания.

Операторы связи выкрутились через трансляцию адресов. Внутри сети абонент получает внутреннее значение, наружу сотни абонентов выходят под одним общим адресом оператора. Схема с общей трансляцией экономит запас, но у неё есть побочный эффект: соседи по этому адресу влияют на репутацию всех, кто через него работает.

Новые адреса приходят на рынок тремя путями. Первый это возвраты в регистратор от организаций, которым блок стал не нужен. Второй это передача блоков между владельцами по официальной процедуре регистратора, с переоформлением записи и сменой владельца в базе. Третий это подъём уже выданных, но простаивавших диапазонов: их анонсируют заново и вводят в работу. Дата-центры участвуют во всех трёх процессах, поэтому именно у них скапливаются большие рабочие блоки, пригодные под нагрузку.

Серверный адрес и адрес домашнего провайдера: в чём разница

Вопрос звучит примерно так: «почему мой домашний адрес плохо тянет 20 потоков». Ответ упирается в происхождение адреса и в канал, к которому он привязан на уровне сети.

Адрес домашнего подключения выдаёт оператор связи, живёт он на абонентском тарифе с узким исходящим каналом и часто меняется при переподключении. Значение может достаться из общей трансляции, тогда оно делится с соседями по району. Оборудование на той стороне рассчитано на просмотр видео и почту, поэтому десятки одновременных сессий упираются в возможности абонентского канала.

Серверный адрес живёт в дата-центре. За ним стоит стойка с оборудованием, широкий канал, резервное питание и прямой стык с магистральными операторами. Такой адрес держит сотни одновременных соединений, отдаёт стабильное время отклика и не пропадает при перезагрузке домашнего роутера. Именно поэтому под рабочие задачи берут серверные адреса из дата-центров, а под личный просмотр сайтов хватает обычного подключения.

Зачем адреса IPv4 нужны в рабочих задачах

Сбор открытых данных стоит первым в списке. Каталог поставщика на 40 000 карточек снимается за несколько часов, и все запросы летят с одного адреса, если посредника нет. Площадка считает частоту обращений по адресу, ловит превышение и отдаёт заглушку с проверкой браузера. С пулом адресов те же 40 000 карточек расходятся по разным точкам выхода, частота на каждую точку падает до безопасной, а прогон доходит до конца.

Вторая задача это несколько рабочих кабинетов. Формулировка от читателя обычно такая: «я веду 8 кабинетов одного бренда и хочу, чтобы каждый жил своей жизнью». Сервис сопоставляет вход по адресу, отпечатку браузера и сессии, поэтому кабинеты разводят по разным адресам и разным профилям браузера. Для команды это ещё и вопрос порядка: у каждого сотрудника своя точка выхода и понятный след в логах.

Третья задача это проверка выдачи. Запрос в поддержку звучал так: «я снимаю позиции по 3000 ключей утром и вечером, к середине списка ответы начинают приходить пустыми». Поисковая система показывает подсказки и порядок сайтов с оглядкой на источник запроса, поэтому съём позиций с одного адреса быстро упирается в квоту сервиса. Разложенные по пулу 3000 ключей проходят целиком, потому что на каждую точку выхода приходится несколько десятков обращений за прогон. Ещё один пласт работ это проверка собственного продукта снаружи: как отвечает сайт для посетителя из другой сети, как отрабатывает баннер, доходит ли письмо. Под весь этот набор задач берут купить прокси IPv4 под рабочие задачи на срок работы проекта.

Пул адресов и одиночный адрес: что меняется в работе

Разница видна на цифрах. Формулировка из переписки с поддержкой: «я держу 20 потоков и упираюсь в лимит площадки уже на третьей минуте». С одним адресом 20 потоков дают 20 одновременных обращений с одной точки, счётчик площадки видит всплеск и включает защиту. Те же 20 потоков через пул расходятся по разным адресам из разных подсетей, и на каждую точку выхода приходится частота, которая не выделяется на общем фоне.

Второй эффект касается устойчивости. Когда одна точка выхода перестаёт отвечать, работа продолжается через остальные, прогон не останавливается на полпути. Третий эффект это разделение задач: сбор данных, кабинеты и проверка выдачи идут через разные точки и не пересекаются между собой.

Потоки при этом планируются от задачи. Для съёма позиций хватает 20 или 40 одновременных запросов, крупный каталог на сотни тысяч карточек разгоняется до нескольких сотен потоков, а тяжёлые ночные прогоны упираются уже в лимит пакета. Ориентир простой: сначала считается нужная скорость обхода в запросах за минуту, затем к ней подбирается число потоков с запасом процентов на 20 сверху. Такой запас закрывает повторные попытки по медленным страницам.

Пул закрывает и вопрос доступа к оборудованию. Собственный парк адресов означает стойки, работу с регистратором и постоянное сопровождение, а приватный доступ к пулу адресов снимает эту часть работы целиком: список готов к работе сразу после включения пакета.

Как устроен доступ: привязка адреса или логин

Есть два способа пустить программу в пул, и оба настраиваются в личном кабинете. Первый это привязка собственного адреса. Клиент указывает адрес своей машины или сервера, посредник принимает подключения только с него, и никаких паролей в конфигурации не остаётся. В пакет входит одновременная привязка 2 адресов, менять их можно свободно прямо в настройках, поэтому запрос «у меня динамический адрес, как быть» закрывается сменой значения за минуту.

Второй способ это авторизация логином и паролем. Он удобен, когда рабочее место переезжает: ноутбук в поездке, сервер у подрядчика, запуск из контейнера. Просьба вида «мне удобнее логин и пароль, адрес плавает» решается выбором второго формата выдачи. Список адресов приходит в двух вариантах, ссылкой или файлом.

# формат под привязку адреса
203.0.113.24:8080
203.0.113.61:8080

# формат с авторизацией
203.0.113.24:8080:login:pass
203.0.113.61:1080:login:pass

Протоколы доступны на выбор: IPv4 с HTTP и HTTPS, а также SOCKS4 и SOCKS5. Под парсинг, почтовые клиенты и произвольные протоколы удобнее работа по протоколу SOCKS5, поскольку он передаёт трафик любого приложения и умеет разрешать имена на своей стороне. Потоков в обычных пакетах 1000, в корпоративном до 3000, при этом пакеты по потокам не складываются: лимит считается по конкретному пакету.

Сколько адресов в пуле и как работает автоматическая ротация

Типичный вопрос перед покупкой: «сколько адресов я получу и как они меняются». В пуле около 12 000 активных адресов IPv4 и SOCKS5, онлайн в сутки держится примерно на этой же отметке, а список обновляется в режиме реального времени и открыт только клиентам сервиса. География это микс со всего мира, в списке представлены адреса из 200 с лишним стран, выборка по отдельной стране не делается.

Автоматическая ротация внутри пула работает так: очередное соединение уходит через очередной адрес из общего списка, порядок распределяет сама система. Программе достаточно одной строки подключения, ходить в кабинет за новыми значениями и перезапускать процесс не нужно. Для парсинга это даёт ровное распределение частоты по точкам выхода без единой строки кода на стороне клиента.

Отдельно спрашивают про порядок работы с самим списком: «мне выгружать список каждый раз заново или он живёт постоянно». Ссылка на выгрузку остаётся рабочей всё время действия пакета, файл можно скачать заново в любой момент, а изменения состава пула подтягиваются автоматически. Программе видна одна точка входа, вся механика распределения остаётся на стороне сервиса.

Трафик на всех пакетах безлимитный, платят за срок доступа к пулу и за число потоков. Срок выбирается под задачу: короткий прогон закрывается сутками, регулярная работа удобнее на длинном сроке. Пакет включается примерно за 5 минут после оплаты, перед покупкой доступен бесплатный тест до 2 часов под конкретный софт. Полный набор возможностей описан на странице, где можно оформить пакет доступа к пулу адресов IPv4 на нужный срок.

Частые вопросы

Как понять, что прокси подойдут под мои задачи?

Заранее предугадать каждую задачу нельзя, слишком много переменных на стороне софта и площадки. Поэтому перед покупкой доступен бесплатный тест до 2 часов под конкретный запрос: тип прокси выбирается под свою программу, дальше идёт регистрация в кабинете, запрос теста из меню и активация. Этого времени хватает, чтобы прогнать реальную задачу и посмотреть на результат.

Что делать, если мой домашний адрес меняется каждый день?

Привязанный адрес меняется без ограничений прямо в настройках кабинета, число смен не лимитировано. Если адрес плавает каждый день, удобнее второй вариант доступа: список в формате IP:PORT:LOGIN:PASS работает с любой точки подключения и правок при переезде не требует.

Мне нужен доступ с двух машин, это возможно?

Да, в стоимость пакета входит одновременная привязка 2 адресов. Учтите распределение потоков: при двух привязанных адресах общий лимит пакета делится пополам, по 500 потоков на каждый при пакете на 1000. Пакеты по потокам между собой не складываются, поэтому под тяжёлые прогоны берут корпоративный вариант с лимитом до 3000 потоков.

Чем проверить, что адреса работают?

Для быстрой проверки подходит чекер от Zennolab, у него есть демонстрационная версия. Список загружается в чекер целиком, дальше видно отклик и доступность по каждой строке. Для проверки в браузере достаточно открыть любой сервис определения адреса и сверить показанное значение со строкой из списка.

Дальше по разделу «Основы» логично разобрать разницу между приватным доступом и общим пулом, затем посмотреть, как площадки смотрят на подсеть и диапазон, и закрыть тему протоколов через разбор HTTP, HTTPS и SOCKS. Когда теория уложилась, переходите к практике: страница про бесплатный тест до 2 часов показывает, что успеть проверить за отведённое время и на какие цифры смотреть в отчёте.