М.Двач / Криптоанархия

9 Кб, 247x83
Интересный ресурс # OP 9 ноя 2019, 15:52 44147 В конец треда | Веб

Сап, Аноны! Хотел обратиться с вопросом к знающим людям. Если тема будет неприемлема, больше не буду. В общем вопрос такой: есть один форум лесной тематики. forums.wood.ru, так вот не могу его спарсить уже целый месяц. Дело в том, что этот ресурс непонятным для меня образом палит парсинг и блокирует доступ к сайту, напрочь. Что делал: пытался забирать Селениумом - палит, пытался обычным реквестом на Пайтон - тоже самое, пытался puppeteer на node.js - безуспешно (ни одной страницы), пытался через Тор, впн, покупку анонимных проксей - все без толку. Они что непобедимые? Даже курл на пэхопэ не берёт. Я в отчаянии, прошу помощи, может знает кто?

Ответы414850995128

27 Кб, 1232x516
2 9 ноя 2019, 16:03 2 44148

>>44147 (OP)
>forums.wood.ru
хороший сайт

Ответы414941514951

# OP 3 9 ноя 2019, 16:08 3 44149

>>44148
Да, достойные ребята.

4 10 ноя 2019, 02:13 4 44150

Если я тебе напишу способ как его парсить на питоне - заплатишь?

5 10 ноя 2019, 15:17 5 44151

>>44148
когда тестил бурпом не видел там запросов подозрительных?

Ответы4152

6 10 ноя 2019, 16:06 6 44152

>>44151
Он на любой запрос отдает пустую страницу.
Может мой диапазон айпи там забанен, я не знаю.

Ответы4951

7 12 ноя 2019, 16:36 7 44161

Что за сборище школьников итт? Пиздец, спарсить сайт с примитивной защитой они не могут

Ответы4162

8 12 ноя 2019, 17:00 8 44162

>>44161
удачи, лопушок

Ответы4690

118 Кб, 2499x548
9 13 ноя 2019, 16:17 9 44690

>>44162
>кококо
А теперь иди на хуй, школьник

Ответы4691

10 13 ноя 2019, 18:31 10 44691

>>44690
нахуй пойдешь ты. хули ты мне кидаешь сурс одной страницы то? думаешь без тебя - дятла не додумались, что так можно? если пруфанешь тем, что ресурс тебя не заблочил, когда ты +10500 страниц форума забирал, тогда возьму свои слова обратно

Ответы4692

11 13 ноя 2019, 18:49 11 44692

>>44691
Какую проблему я увидел изначально в треде:
>палит парсинг и блокирует доступ к сайту, напрочь
>Он на любой запрос отдает пустую страницу.
Эту проблему я решил.

То что тебя после 100500 запросов с одного айпишника 99% сайтов забанит и так очевидно. И решение этой проблемы очевиднейшее.
Так бы и писал в оп посте:
"Сап двач, я даун. Как спарсить сайт в 100500 страниц и не словить бан?".

А знаешь кто из нас сходил на хуй? Ты! Потому что хуй ты теперь выпросишь у меня код делающий запросы без получения бана. Парсь дальше свою пустую страницу и делай бочку.

Ответы469346954951

12 13 ноя 2019, 19:13 12 44693

>>44692
Где написано было, что парсил с одного айпишника, довен? Прочёл жопой оп пост и жидко обосрался. По существу есть что сказать, или так и будешь, как баран, отрицать очевидное?

13 13 ноя 2019, 19:14 13 44694

Модерат - хуй сосат

# OP 14 13 ноя 2019, 19:15 14 44695

>>44692
Лол, так что ты хуем своим трясешь то? Мы ведь тут не письками меряемся как ты школодаун. То что единоразовый доступ у тебя есть, так это давно всем известно. Рабочего решения у тебя нет, хули ты завелся то, если пруфануть не можешь?

15 18 ноя 2019, 19:09 15 44706

Так тебе тупо сайт перекачать надо? Есть же кошерный Teleport Pro, только он по http.

Ответы4717

16 21 ноя 2019, 23:59 16 44717

>>44706
Боюсь он тоже не справляется

Ответы4736

sage 17 24 ноя 2019, 22:12 17 44720

ОП-хуй, только что спарсил около 150 страниц, все работает нормально.

18 26 ноя 2019, 19:35 18 44736

>>44717
Тогда значит сайт грузит скрипт, который кидает ответ серверу. Видно, если ответ не придет, то хуй страницу вытянешь.

Ответы4845

19 27 ноя 2019, 15:23 19 44739

Чего в этом сайте такого? Зачем его целый месяц парсить? Обычная доска объявлений, спарси другую. Или у тебя заказ на этот? Отказывайся, спокойнее спать будешь. Если реально месяц потрачен, то дешевле было бы попробовать базу купить, а то и весь сайт.

Ответы4743

# OP 20 30 ноя 2019, 12:54 20 44743

>>44739
там база мыл и имен людей занимающихся лесом. Как ни странно бы это не звучало, но закономерность в этой мысли прослеживается: на этой площадке сидят люди из 90-х, которые сколотили большой капитал, контактов их нигде больше нет, собственно никак кроме этой площадки с ними не связаться. Поэтому администрация форума тщательно скрывает данные и меня интересует во первых как и во вторых как ее все же можно обойти?

Ответы47444898

# OP 21 30 ноя 2019, 13:07 21 44744

>>44743
забыл добавить: после прочтения может показаться, что я гонюсь за диким бабло и поэтому прошу Анона сделать работу за меня. Нет. в перспективе имея такую базу и клиентов можно было бы конечно продавать, но меня в первую очередь интересует механизм блокировки. До этого имея дело с множеством различных ресурсов я никогда не сталкивался с таким агрессивным баном, прокси, смена ЮА как правило решали, но тут абсолютно ничто не помогает. Как то анон запилил годный скрипт на js, но после тестирования он тоже провалился либо они пропалили и все исправили. Поэтому если аноны которые посчитают меня далбаебом и ебанутым фанатиком - прошу Вас не беспокоить, это мои личные проблемы, а те кому из спортивного интереса есть дело до такого энтузиазма и нужны детали и подробности - прошу в тред, господа!

22 22 дек 2019, 07:26 22 44845

>>44736
Скриптов там нет почти. При беглом осмотре я заметил скрипт только на странице темы и то он там, вроде, ничего не отправляет

Ответы4856

23 24 дек 2019, 16:12 23 44856

>>44845
Двачую. Может стоит глянуть в сторону движка форума? vBulletin вроде, может слышал кто?

24 30 дек 2019, 09:40 24 44875

Никакой особой защиты там нет, чисто от дурака примочки. Вангую, что ОП даже маркет не распарсит без бана и капчи.

Ответы4965

25 5 янв 2020, 08:20 25 44898

>>44743
Пиздец ты фантазер, ахахахаха. Тебе сколько лет?

26 10 янв 2020, 02:55 26 44951

Как успехи, криптоанончики?
Кто-то кроме >>44692 смог написать парсер?
У меня как у >>44148 и >>44152
Пробовал крутить requests, libcurl, selenium. Один хуй пустая страница

Ответы4952

27 10 янв 2020, 05:10 27 44952

>>44951
Ок, попробую скоро в свободное время.

28 12 янв 2020, 18:07 28 44965

>>44875
Бля вот пруфани, что сможешь сделать парсер. Ты же видишь, что все пишут, как сложно получить доступ, по твоему все дауны что ли?

Ответы4978

25 Кб, 604x501
29 14 янв 2020, 22:30 29 44978

>>44965
>по твоему все дауны что ли?

30 31 янв 2020, 09:05 30 45025

Ну и как успехи? Снова все в стиле быдла: сами не умеем, а тех кто разбирается шлем нахуй?

Ответы50275028

31 31 янв 2020, 20:28 31 45027

>>45025
У меня сайт не открывается. Он умер? Хотел попробовать. Что именно спарсить там надо?

32 1 фев 2020, 08:19 32 45028

>>45025
Так ты конструктивно можешь предложить как его спарсить или подкинуть идеи?

Ответы5666

33 21 фев 2020, 01:14 33 45099

>>44147 (OP)
селениумом точно можно спарить любой сайт, прост в дефолтном режиме он палиться. Какой браузер для него юзал?

Ответы5132

34 2 мар 2020, 09:49 34 45128

>>44147 (OP)
Не в те дебри ты полез, сынок, ой не в те.

Ответы5133

35 7 мар 2020, 15:16 35 45132

>>45099
chrome, firefox, opera

36 7 мар 2020, 15:16 36 45133

>>45128
почему?

37 6 мая 2020, 06:51 37 45308

парсить надо с российских айпи

38 11 июля 2020, 06:16 38 45666

>>45028
Я вам выше уже кидал скрин своего успеха, но меня на хуй послали.
Ну так как у вас успехи?
Увидел на фрилансе заказ по парсингу оного сайта и вспомнил про вас

Ответы5667

39 11 июля 2020, 06:20 39 45667

>>45666
Ан нет, это не мой скрин, походу я вам так и не скинул свой
Вот так я обосрался

Ответы5846

40 21 авг 2020, 16:35 40 45846

>>45667
ну так скинь

41 14 авг 2021, 16:24 41 47227

нихуя тред какой древний то, я ебал. забрёл сюда случайно, если чё я оп, вышеописанную проблему послал нахуй, отчаялся искать решение

Обновить тред
« /crypt/В начало тредаВеб-версияНастройки/a//b//mu//s//vg/Все доски

Скачать тред только с превьюс превью и прикрепленными файлами

Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах.Подробнее

Пользуетесь скринридером — пишите, что можно улучшить.
Host-Food.ru — надёжный хостинг от 12 руб/мес | Free DNS
Зеркала М.Двача: m2ch.hk, m2ch.lib, m2chfapiswfw2wcakptqp4o6ltgchvjuxfab7urxlduraomtlnhw5xad.onion