[00:01] WhatsApp с нуля. Это не обучающее видео о том, как нажимать на кнопку и Скачайте всё. Соскабливание — это просто автоматизированный сбор данных с веб-сайта или приложение. И это работает лучше всего, когда Вы точно знаете, какие именно данные? [00:13] Чистый браузер. Проводите тестирование медленно и оставайтесь на месте. Перед началом восхождения обратите внимание на возможные препятствия. Посмотрите это видео до конца, потому что Вы научитесь его строить. чистая структура для соскабливания [00:25] WhatsApp. Сохраните свой IP-адрес и отпечатки пальцев. чистые отпечатки браузера для снизить риск блокировки и необходимости проведения спасательных работ 2 ГБ бесплатных прокси для начала работы. с меньшим риском. Представьте, что вы проводит исследовательский проект [00:39] WhatsApp, авторизованный для монитор. Вы хотите получить этот текст? метки времени и название группы для дальнейшего анализа. Перед использованием Какой бы инструмент вы ни использовали, ограничьтесь данными. общедоступный или авторизованный [00:54] и соблюдать условия предоставления услуг платформа. Итак, начнём. HTTP-запросы хорошо работают для Простые веб-сайты, но не для WhatsApp. WhatsApp — это веб-приложение. с интенсивным использованием JavaScript. Поэтому [01:07] браузер, позволяющий взаимодействовать с Она извлекает только необходимые данные. Прежде чем начать, определите свою цель. четко. Не стоит просто говорить «делайте». [01:19] «Сбор данных из WhatsApp». Сосредоточьтесь на полях такие детали, как текст сообщения, Имя отправителя, дата/время и идентификатор чата. Поддерживайте небольшая и четко определенная экстракция снижает ненужные действия, которые могут [01:31] Активируйте системы защиты от ботов. Хранить данные, собранные в формате JSON во время извлечение. Затем экспортируйте в формате CSV. если вы хотите открыть его в Excel или Google Листы. Самое важное: собирайте только данные, к которым у вас есть разрешение [01:46] доступ. Пожалуйста, соблюдайте условия предоставления услуг. с платформы и никогда не собирает личная информация без оснований действительный правовой, особенно в регионы с законами о защите частной жизни, такие как GDPR. HTML — это фреймворк, лежащий в основе... [02:00] Это означает чтение этой структуры для извлечь необходимые данные. Что Это хорошо работает для многих веб-сайтов, но Не для WhatsApp Web. WhatsApp ведет себя как приложение одна страница. Это означает, что [02:15] контент загружается динамически в вместо того, чтобы появляться в исходном коде со страницы. Поэтому, Автоматизация браузера — это лучшее решение. подход. Для этого процесса мы создадим профиль браузера на GoLogin, [02:29] Мы проверим на ip.com и подключимся. Программа для сбора данных из WhatsApp, сканирующая QR-код Программа для сбора данных из WhatsApp, сканирующая QR-код код. Браузер, защищающий от обнаружения, помогает Создайте чистую идентификацию браузера. и раздельно. Это важно, потому что [02:41] Веб-сайты могут обнаруживать автоматизацию с помощью Цифровой отпечаток вашего браузера. Цифровой отпечаток вашего браузера. Это набор знаков, похожих на холст. WebGL, шрифты, аудио и подробности о Эти аппаратные средства в совокупности образуют RG (удостоверение личности). [02:53] уникально для вашего браузера. Веб-сайты Они сравнивают сигналы браузера с Решите, похожи ли вы на пользователя. реальный или автоматизированный инструмент. ТЕ изолированные браузеры, чтобы каждый [03:07] собственные файлы cookie, настройки и идентичность, а не смешивание всего подряд. идентичность, а не смешивание всего подряд. . Дайте ему название, например, «Профиль Найдите WhatsApp один. Затем, [03:20] Настройте прокси. Прокси-сервер направляет ваш трафик через интернет-соединение разные, чтобы веб-сайты это видели IP-адрес вместо вашего домашнего интернет-соединения. IP-адрес вместо вашего домашнего интернет-соединения. Тип IP-адреса имеет значение. IP-адреса жилых помещений [03:33] Они выглядят как обычный домашний интернет. IP-адреса Трафик в центре обработки данных поступает от серверов и IP-адресов. Мобильные устройства отображаются как сетевой трафик. мобильный телефон. Для сбора данных из WhatsApp, резидентные или мобильные прокси Обычно это лучший выбор, потому что если [03:48] Они интегрируются более естественно, чем IP-блоки. центр обработки данных. Прокси-серверы центров обработки данных Как правило, они быстрее и дешевле. но они могут показаться менее естественными в Конфиденциальные веб-сайты. Прокси-серверы для поиска жильцов А мебель стоит дороже и может быть дороже... [04:02] медленно, но обычно они смешиваются. лучше для привлечения реального пользовательского трафика. Прокрутите вниз до раздела «Прокси». И выберите свой вариант. Далее введите хост. порт, имя пользователя и пароль прокси. Нажмите на кнопку «Проверить прокси», чтобы [04:44] Если проверка не удалась, проверьте наличие пробелов. дополнительные данные, неверные учетные данные, прокси Устаревший или неактивный IP-адрес. Обычно, Вам не нужно менять свой часовой пояс. Выберите время или язык вручную. ТЕ GoLogin автоматически настраивает их. [04:58] ваше местоположение через прокси, помогая Обеспечьте единообразный внешний вид вашего браузера. Это важно, потому что системы Антиботы сравнивают такие сигналы, как браузер и другие подробности отпечаток пальца для обнаружения [05:11] подозрительная деятельность. Если ваш адрес IP-адрес, часовой пояс, язык и печать. Отпечаток браузера совпадает, ваш Браузер будет выглядеть больше похожим на Реальный пользователь. Мы создали профиль. При использовании чистой версии браузера мы подключаем прокси и [05:24] Мы поддерживали эти стабильные сигналы. Нажмите «Создать», а затем «Начать». Нажмите «Создать», а затем «Начать». Профилируйте пользователя, нажав на кнопку "Запустить". Окно [05:39] отделенный от браузера откроется для ваши сеансы парсинга. До Для начала зайдите на сайт ip.com и оставьте сообщение. Проверка завершена. Цель состоит в том, чтобы Зеленый цвет, без существенных предупреждений. [05:54] утечка неверного IP-адреса, если у вас такое впечатление. Цифровой TLS выглядит так же, как и в браузере. Это нормально, если ваш часовой пояс и язык... совпадает с местоположением прокси-сервера, и если ваш Отпечаток пальца совпадает. [06:06] Если они выглядят чистыми, значит, вы готовы. перейти к следующему шагу. Если несовместимость отпечатков пальцев или неправильный часовой пояс, нет Продолжать. Восстановить профиль Откройте браузер, переподключите прокси и проверьте. [06:20] снова. Этот шаг важен. потому что IP-адрес проверяет многие из тех же самых параметров. сигналы, используемые системами защиты от ботов. Воспринимайте это как проверку вашего настройка перед началом задача. Вот простой пример. Один [06:34] SEO-исследователь пропустил это. верификация. Его представитель указал для страны, но часовой пояс В браузере отобразилось еще одно. Сессия Это недолго проработало, прежде чем результаты становятся непоследовательными [06:46] и повторяющийся. Быстрая проверка IP-адреса Это позволило бы обнаружить несовместимость. Когда всё будет выглядеть чисто, откройте... Инструмент для сбора данных из WhatsApp и Запустите экстрактор. Когда QR-код Чтобы отобразилось, откройте WhatsApp на своем устройстве. [06:58] сотовый телефон. Перейдите в раздел «Подключенные устройства» и Отсканируйте код для подключения к сессия. QR-код позволяет вам перейти по ссылке. ваш аккаунт WhatsApp в программу для извлечения данных с помощью Безопасность без ввода пароля. Один После подключения инструмент может [07:11] получить доступ к сообщениям чата, которые ваши Теперь учетная запись авторизована для просмотра. Начните с небольшого эксперимента, на небольшой группе. или на короткий промежуток времени. Нет Постарайтесь извлечь всё сразу. Проверьте результат, чтобы подтвердить, если [07:25] отправитель, дата и имя пользователя в чате правильно. Небольшие тесты помогают обнаружение проблем со входом в систему, результаты пробелы или ошибки форматирования перед более масштабных задач. Если экстрактор Экспорт в JSON, обзор некоторых материалов. [07:40] записи для обеспечения того, чтобы поля содержат ожидаемые данные. После, Экспортировать результаты в формате CSV, если Если вы хотите проанализировать их в Excel или Google Листы. Если вы автоматизируете рабочий процесс позже, Передача данных может осуществляться через API. [07:56] собрано непосредственно между инструментами . Для начинающих экспорт Достаточно отправить результаты вручную. Вам не нужно беспокоиться о API-интерфейсы по-прежнему существуют. Следующий Пасо — это ритм. Если ваш экстрактор [08:08] Вы можете превысить лимит запросов. Иногда это отображается как ошибка 429. многочисленных запросов или других недостатки. Поддерживайте одновременность в то есть, всего лишь один сеанс [08:21] Добыча производится по одному разу. Добавить небольшой случайные задержки между действиями в Вместо того чтобы нажимать на кнопку «Скорость машины», . Обычные люди останавливаются, прокручивают ленту и читают. в то время как боты обычно действуют немедленно. Вот пример. [08:35] Было проведено несколько сессий с участием ведущих специалистов. Извлечение данных из WhatsApp. компьютером одновременно. Казалось, всё вокруг Вначале они были очень сильны, но вскоре появились. Задания и сессии CAPTCHA Они стали неуравновешенными. Притормозите и [08:49] Проведение меньшего количества сессий позволило бы... Этот вид деятельности кажется гораздо более естественным. Используя профиль браузера, учетную запись. а задержки, вызванные человеческим фактором, значительно снижают риск. обнаружение. Не каждая блокада является очевидный. Блокировка света может позволить [09:05] экстрактор продолжает работу, но повторяя процесс. Неполные данные вместо результатов. новый. Если ваш выход остаётся внезапно пустой или идентичный, остановка извлечение. Замедлять. Ещё раз проверьте IP-адрес вашего браузера. [09:19] и протестируйте это в чате, который у вас точно есть. последние сообщения. Когда вы У вас есть собственный аккаунт WhatsApp. Изолированный профиль браузера. Используйте Исправлен резидентский прокси для IP-адреса Сохраняйте последовательность, а не меняйтесь. [09:34] из страны между сессиями. Избегать Делитесь файлами cookie, прокси-серверами или профилями. Переключение между несколькими учетными записями в браузере. В конце концов, вы сможете бежать. Добавляйте их постепенно и следите за... [09:48] результаты до увеличения нагрузки работа. При подъеме повторяйте то же самое. Упорядоченный рабочий процесс для каждого аккаунта . Создайте новый профиль на GoLogin. . Создайте новый профиль на GoLogin. Добавить прокси. Проверьте, протестируйте. [10:00] С этим профилем связан WhatsApp. Быстрее. Речь идёт о более эффективном выполнении задач. Четкие, изолированные профили с ритмом. контролируемый. Бесплатные прокси встречаются редко. [10:15] потому что они, как правило, медленные. Перегружено или уже отмечено. Браузеры, блокирующие обнаружение, не создают Ты невидим. Впечатление Робототехника все еще может привести к вашим результатам. обнаружение. Общедоступные данные не [10:30] автоматически законно делать соскабливание. Условия предоставления услуг, законы конфиденциальность и согласие по-прежнему Они важны. Если вы делаете вместо того, чтобы парсить общедоступный веб-сайт WhatsApp, вы часто можете использовать [10:42] HTML вместо сессии Браузер авторизован. Если вы Вместо непрерывного мониторинга, Не усложняйте. Один Тщательный ручной экспорт имеет множество преимуществ. Всё, что вам нужно. Здесь [10:56] Это основные правила. Если IPA сообщить о проблемах с отпечатками пальцев Восстановите свой профиль GoLogin. Если Если вы получили ошибку 429, уменьшите скорость, добавить задержки рандомизировать и снизить конкуренцию. [11:09] Если появляются капчи, используйте прокси. жилые или мобильные дома и избегать Запустите несколько станций. Если Результаты пусты или Если шумы повторяются, следует заподозрить засор. свет (мягкий блок). Перепроверьте [11:22] IP-адрес. При необходимости измените свой IP-адрес. Повторите тест на небольшой выборке. Определите свои данные. Создайте чистый профиль. GoLogin недоступен. Добавить прокси для качество. Проверьте это в IPA. Подключитесь, используя QR-код. Тестирование в [11:39] небольшая выборка. Итак, экспорт Ваши данные. Аккуратная установка Это не устранит все засоры, но Это значительно снижает количество распространенных ошибок. . Помните, вы можете получить 2 ГБ Бесплатные прокси, а также скидка 40% [11:52] Скидка на GoLogin при использовании моего кода. рекламные материалы в описании и в Комментарий закреплен. Следовательно, нет Прекратите его спасать. Желаю вам всего наилучшего to redeem it. I wish you good luck.