М.Двач / Web-мастера

31 Кб, 600x400
Selenium 5 авг 2021, 10:02 133452 В конец треда | Веб

Есть идея запилить один вебсервис для народа. Суть в том, что буду парсить один из сторонних сервисов, в том числе с авторизацией итд. На селениуме запилить будет намного проще и безопасней (сторонний сервис против парсинга себя). Но насколько селениум ресурсотребователен? Условно 100 потоков одновременного парсинга самописной парсилкой и с использованием селениума насколько сильно отличаться будут? Там ведь целый экземпляр браузера создаётся практически. Подозреваю, что я такое просто не вытяну на хостинге за 500р.

Ответы34533559

34 Кб, 600x407
2 5 авг 2021, 15:40 2 133453

>>133452 (OP)
>Условно 100 потоков одновременного парсинга
>На хостинге за 500р
Ахахахаха, аш до слёз сука.
Ты видимо тотальный нуб, потому что сейчас полную лажу сказал.

Во-первых, какой selenium, все нормальные люди используют puppeteer. Он быстрее селениума процентов на 15-20%.

Какой "хостинг за 500 рублей", ты там случайно не перегрелся? Под твой скрапер нужно покупать 4-х ядерный VPS с 8 гигайтами памяти МИНИМУМ. Это чтобы он хотя бы более-менее пахал. И то, даже 4-х ядерный впс максимум держит 4 потока в параллеле (да-да, юный падаван, требователен не селениум, а сам браузер, хром жрёт ресурсы как голодный слон, привыкай).

Под 100 потоков нужно ебанный дата-центр арендовать. Бредятина полнейшая. Короче, за сам хостинг придётся отдавать $40-80 ЕЖЕМЕСЯЧНО. Мы одно время хостились на амазоне и отдавали по $500 в месяц (реалии жизни ботоводов).

Тем более, если ты говоришь, что сторонний сервис против парсинга себя, значит тебе придётся закупить ещё резидентных прокси. Допустим берём smart proxy, добавляй ещё $75 ежемесячно.

Короче, если у тебя нет возможности платить по $100-200 ежемесячно за сервис - можешь даже не рыпаться. Серьёзно. Без вложений там просто нехуй делать. Ах да, ещё по мелочи добавь утечки памяти, и прочие радости.

Тред можно закрывать.

Ответы3455

# OP 3 5 авг 2021, 16:15 3 133455

>>133453
Нет, почему же закрывать. Просто теперь стало понятно, что с моим бюджетом мне придётся рисковать и пилить собственную парсилку, которая будет пожирать минимум ресурсов.

Ответы3458

sage 4 5 авг 2021, 21:00 4 133458

>>133455
>пилить собственную парилку
Нахуя? Вы что, ебанутые? У вас идея фикс - писать парсеры? В 90% случаев парсер не нужен. Проблема решается через API, это будет в миллион раз дешевле, в миллион раз быстрее и в миллион раз надежнее, чем сраный парсер.

Ну нет у тебя денег на кошерный скрапер - ну возьми ты BeautifulSoup, я не знаю... Если совсем уж без реальных браузеров не вариант, тогда https://www.browserless.io/

Ответы3554

5 25 авг 2021, 04:25 5 133554

>>133458
Я так и вижу, как ты авито через апи парсишь, лол

Ответы35558897

6 25 авг 2021, 08:22 6 133555

>>133554
В чем проблема? Неасилятор что ли? Или бомж, денег нет на апи?

https://developers.avito.ru
https://www.avito.ru/business/tools/api
https://github.com/topics/avito-parser

Ответы3729

7 26 авг 2021, 15:39 7 133559

>>133452 (OP)
> Суть в том, что буду парсить один из сторонних сервисов, в том числе с авторизацией итд.
И сразу нахуй таких червей пидарасов.
Весь интернет засрали черти.

Ответы3560

sage 8 26 авг 2021, 16:20 8 133560

>>133559
Двачую. Заебали уже.

sage 9 16 сен 2021, 05:08 9 133674

>>13345290

Ответы3705

# OP 10 19 сен 2021, 18:03 10 133705

>>133674
Че за хуйня?

11 23 сен 2021, 01:20 11 133729

>>133555
Фига, не знал. Все равно твой совет не в тему, так как ОП явно собирается пиздить что-то недоступное легально, поэтому и городит селениумы с проксями и фингерпринтами

12 4 окт 2021, 00:57 12 133899

Окей, вебач. Какой пхп парсер нужно юзать в 2к21?

Ответы3910

13 4 окт 2021, 23:36 13 133910

>>133899
С витаминами.

14 19 авг 2024, 07:09 14 138897

>>133554
Ага, а ещё я умею шутить и общаться на разные темы.

Обновить тред
« /web/В начало тредаВеб-версияНастройки/a//b//mu//s//vg/Все доски

Скачать тред только с превьюс превью и прикрепленными файлами

Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах.Подробнее

Пользуетесь скринридером — пишите, что можно улучшить.
Host-Food.ru — надёжный хостинг от 12 руб/мес | Free DNS
Зеркала М.Двача: m2ch.hk, m2ch.lib, m2chfapiswfw2wcakptqp4o6ltgchvjuxfab7urxlduraomtlnhw5xad.onion