М.Двач / Web-мастера

70 Кб, 353x405
Что за парсеры работают в группах вкашке? 11 окт 2020, 21:46 129834 В конец треда | Веб

Вот допустим какой-то паблик, там чел пишет или употребляет определенные ключевые слова в тексте и тут же активируются какие-то боты, которые дают там свои контакты итд, причем это не всегда боты, там может какая-та гадалка быть или представитель компании(живой) и тут же свои услуги навязывают. Недавно заметил такую фигню еще и на мейл ответах, там если вопрос содержит ключевое слово, то спустя пару секунд приходит бот и дает рекламу по теме вопроса.

Может ли это какой-то готовый продукт быть типо зенки, но специализирующийся на детекте сообщений? На зенку не думаю т.к это слишком громоздкая вещь и сложная, маги всякие и гадалки не освоят работу с ней, а платит баблища такие как сама программа 15к, шаблон для зенопостера 5-10к за штуку для одного ресурса + постоянные отладки из-за изменения стилей всяких внутри кода страницы и мощный комп для того, чтоб тянуть все шаблоны. Какие варианты кроме зенки еще могут быть?

Ответы298352983638675

2 11 окт 2020, 22:17 2 129835

>>129834 (OP)
Это не парсеры, а онлайн-сервисы! Платишь 300 рупь каждый месяц и будет тебе мониторинг. Я сам подобный сайт писал. И мне знакомые кодеры присылали ссылку на нечто подобное, точного названия не помню, но самый известный это https://starcomment.io/.

Собственно нихуя сложного или магического в них нет. Идея проста как три рубля - ставишь скрипт на таймер, запускаешь например раз в 5 минут. При запуске загружаешь последние 1000-2000 записей, парсишь на предмет ключевых слов. Есть совпадение? Оповещаешь смской автора. Всё. Там всего-то строчек 200 кода.

Про зеннопостер хуйню сказал нерелевантную. Причем здесь вообще он?

Ответы29837

3 11 окт 2020, 22:35 3 129836

>>129834 (OP)
>постоянные отладки из-за изменения стилей всяких внутри кода страницы
Опять же, хуйню несешь. Ничего не нужно парсить, никакие шаблоны, стили и т.д. Есть готовые апи и у mail.ru, и у вконтакте, и у всех остальных.

Легко продемонстрирую как это делается. Открой:
https://otvet.mail.ru/api/v2/questlist?ajax_id=2&n=100&state=A&cat=otvet
Вот так легко я получил последнюю сотню вопросов. И не нужно парсить никакой HTML. Чуть-чуть дорабатываешь цикл for и можно получать любое количество вопросов, хоть 10.000, хоть миллион.

Учи матчасть короче.

Ответы29838

4 11 окт 2020, 23:06 4 129837

>>129835
>Собственно нихуя сложного или магического в них нет. Идея проста как три рубля - ставишь скрипт на таймер, запускаешь например раз в 5 минут. При запуске загружаешь последние 1000-2000 записей, парсишь на предмет ключевых слов. Есть совпадение? Оповещаешь смской автора. Всё. Там всего-то строчек 200 кода.
Нет, не так. В вк за 10-30 сек маги и гадалки детектив сообщения и отвечают.

Ответы2983929840

5 11 окт 2020, 23:24 5 129838

>>129836
>Опять же, хуйню несешь. Ничего не нужно парсить, никакие шаблоны, стили и т.д. Есть готовые апи и у mail.ru, и у вконтакте, и у всех остальных.
там есть ограничения на количества запросов, постоянно работать парсер не сможет.

Ответы29840

6 12 окт 2020, 03:56 6 129839

>>129837
https://vk.com/dev/callback_api
https://vk.com/dev/groups_events

Ответы29850

7 12 окт 2020, 07:34 7 129840

>>129837
>Нет, не так. В вк за 10-30 сек маги и гадалки детектив сообщения и отвечают.
Ну какая хуй разница! Я объясняю общий принцип. А как часто они скрипт запускают - раз в секунду или раз в месяц это их личное дело. Тем более мониторить определенную группу или несколько групп труда не составляет. Количество данных - копеечное.

>>129838
>там есть ограничения на количества запросов, постоянно работать парсер не сможет.
Да что ты такое говоришь! В вк ограничение стоит ограничение 20 запросов В СЕКУНДУ! Если только тебе нужна прям миллисекундная реакция... тем более чел выше уже подсказал, у вк есть long poll API, задача ещё упрощается, вк сам будет оповещать, когда появится новый пост.

Ответы29851

8 12 окт 2020, 16:39 8 129850

>>129839
заскринь и обведи если хочешь доказать что это не так.

Ответы29854

9 12 окт 2020, 16:39 9 129851

>>129840
>А как часто они скрипт запускают - раз в секунду или раз в месяц это их личное дело. Тем более мониторить определенную группу или несколько групп труда не составляет. Количество данных - копеечное.
постоянный мониторинг, я проверял.

Ответы29854

10 12 окт 2020, 18:00 10 129854

>>129851
>постоянный мониторинг
Выше уже писал про long polling. Тред можно закрывать.

>>129850
>заскринь и обведи если хочешь доказать что это не так.
Не обводи ничего, пускай идет нахуй. Переубеждать твердолобых баранов, что они неправы - себе же дороже. Захотел бы - нашел всё сам. А тут ОП просто ушел в полное отрицалово, ну и хрен с ним.

Ответы29880

11 14 окт 2020, 22:39 11 129880

>>129854
>Не обводи ничего,
пусть обводит

Ответы29881

12 15 окт 2020, 02:14 12 129881

>>129880
>пусть обводит
Не буду. Вобще хуй пойму про что спор. Если группа твоя, можно организовать мгновенную реакцию на события, если чужая, то нельзя, придется с некой периодичностью проверять группу на предмет новых событий.

Ответы29886

13 15 окт 2020, 21:55 13 129886

>>129881
> Если группа твоя, можно организовать мгновенную реакцию на события, если чужая, то нельзя, придется с некой периодичностью проверять группу на предмет новых событий.
Вот в том то и дело, что маги и гадалки группами этими не владеют, но оповещение о ключевом слове получают мгновенно.

Ответы2989029893

14 16 окт 2020, 02:01 14 129890

>>129886
значит владелец шлет магам и гадалкам уведомления за бабки, а может эти гадалки и есть владелец. Так или иначе, мгновенность может быть инициирована только со стороны вконтакта.
А вобще, с правами доступа надо поточнее разобраться, но это ты уже сам. Может можно присосаться к любой группе.

Ответы2989329998

31 Кб, 480x512
sage 15 16 окт 2020, 12:30 15 129893

>>129886
>>129890
Бля, какие-то долбоебы здесь сидят. Владелец группы шлёт уведомления за бабки? Чего блять? Про что несёте? Элементарно через апи всё делается, не нужно быть никаким владельцем группы. Это простейшая сцуко техническая задача, выше ужё всё детально объяснил. Опять идут "вы всё врёти". Мне в лом писать скрипт, но вы реально какие-то наркоманы и не лечитесь.

Ответы2989429999

16 16 окт 2020, 16:04 16 129894

>>129893
>Владелец группы шлёт уведомления за бабки? Чего блять?
http-запрос блять! Ты реально не понимаешь такой схемы сотрудничества?
>Элементарно через апи всё делается
Опу нужно не просто через апи, а МГНОВЕННО, то есть Callback API или Bots Long Poll API.

>Чтобы начать использовать Callback API, подключите свой сервер в настройках сообщества («Управление сообществом» → «Настройки» → «Работа с API»).
>Чтобы использовать Bots Long Poll API, откройте раздел «Управление сообществом», на вкладке «Работа с API»→«Long Poll API» выберите «Включён».
Хуй его знает, как оно по факту, но в документации написано это.
>не нужно быть никаким владельцем группы
То есть, ты утверждаешь, что «Управление сообществом» → «Настройки» → «Работа с API» доступно любому обмудку? Я такое могу допустить, но че-то нихуя не верится. Проверить не могу, така как нет вконтактика.

Ответы2989529896

17 16 окт 2020, 17:25 17 129895

>>129894
Хотя с другой стороны, нахуя Опу уж прям мгновенно, когда можно раз в секунду заебывать вконтактик на предмет, "а нет ли там чего нового в обсуждении" (метод board.getTopics), и уж если что-то новое появилось, запускать сбор новых сообщений (метод board.getComments) и пихать их в свой анализатор ключевых слов.

Если смысл не в том, чтоб быть самым быстрым ответившим, такая схема вполне подойдет.

Ответы29896

18 16 окт 2020, 17:30 18 129896

>>129894
>не просто через апи, а МГНОВЕННО
Тугодум что-ли, тебе объяснили уже, что у вк апи ограничение 20 запросов в секунду или 1 запрос в 50 миллисекунд. Визуально не будет чувствоваться разницы, между long poll api и обычным быстро повторяющимся запросом.

>То есть, ты утверждаешь, что...
Ты жопой читаешь документацию, оба и long poll API и callback API предназначены для действий от имени сообщества. Когда группе нужно отвечать/модерировать сообщения. Через обычный же wall.get можно читать любые сообщения любой открытой группы. И чего ж тебе ещё, собака, надо?

>Ты реально не понимаешь такой схемы сотрудничества?
Наркоман блять, я вызываю санитаров, срочно.
Если ключи давать всяким левыми ботам, соответственно они смогут и всякую хуйню от имени группы писать, и тереть посты какие вздумается.

>>129895
Дааааа, долго же до тебя доходит...

Ответы2989730295

19 16 окт 2020, 18:04 19 129897

>>129896
>объяснили уже
Пришлось перечитать тред, чтоб понять, кто там что объяснял. Да, все было озвучено.
>Если ключи давать всяким левыми ботам, соответственно они смогут и всякую хуйню от имени группы писать, и тереть посты какие вздумается.
Так в этом же и смысл, выдавать не ключи а уведомление. А дальше не ебет левые боты от своего имени работают.

20 24 окт 2020, 18:43 20 129998

>>129890
>значит владелец шлет магам и гадалкам уведомления за бабки
Слушай, мне уже надоели твои попытки доказать свое тупое мнение! Какой блять маг будет кидать бабло в сотни групп, это же тебе не spacex блять.

21 24 окт 2020, 18:44 21 129999

>>129893
>Элементарно через апи всё делается,
Можно в чужой группе мониторить сообщения через API?

Ответы30000

92 Кб, 620x465
22 24 окт 2020, 19:46 22 130000

>>129999
>Можно в чужой группе мониторить сообщения через API?
Да похеру, в любой открытой группе можно. АПИ для того и существуют. При определенном скилле можно мониторить весь вконтакт, хоть в комментах к фотографиям рандомных чуваков. Я так реддит мониторил. Часто ID постов формируются по порядку, грубо говоря ID поста 100, за ним идёт 101. Зная начальный ID, можно циклом for откручивать посты на любое число назад. Просто IRL чуть сложнее, может 16-тиричная система использоваться. Но это уже дело техники.

Ответы30001

23 24 окт 2020, 20:01 23 130001

>>130000
>ID поста 100, за ним идёт 101. Зная начальный ID, можно циклом for откручивать посты на любое число назад
там всяко есть ограничения на подобную хрень, иначе если каждый начнет прогружать 1кк постов в секунду, то никаких ресурсов у сервера не хватит.

Ответы30002

24 24 окт 2020, 20:44 24 130002

>>130001
>есть ограничения на подобную хрень
Читай начальные посты треда, уже всё разжевывал. Не люблю по 10 раз объяснять. Даже если в день публикуют миллион записей, в одних сутках 1440 минут. Делим на 1440, в минуту выходит не так много, всего лишь 694 записей. Допустим, на API стоит ограничение - 100 записей/запрос. Тебе нужно за минуту сделать всего лишь 7 запросов в цикле for. Обычный curl_multi_init делаешь и он в параллеле несколько запросов шлет.
https://www.php.net/manual/en/function.curl-multi-init.php

Я делал такое кучу раз. Самый дохлый vps с 512 мб оперативки до 10-100 миллионов сообщений может пропарсить. Ограничения на апи не релевантны, т.к. они обычно налагаются на количество запросов в минуту, а не на общее количество вызовов.

Ответы30003

25 24 окт 2020, 21:37 25 130003

>>130002
>Я делал такое кучу раз. Самый дохлый vps с 512 мб оперативки до 10-100 миллионов сообщений может пропарсить. Ограничения на апи не релевантны, т.к. они обычно налагаются на количество запросов в минуту, а не на общее количество вызовов.
Если админ группы против давать кому-то парсить свой контент через API, то все равно можно?

Ответы30004

26 24 окт 2020, 23:04 26 130004

>>130003
>Если админ группы против
Бля, а что ты сделаешь? Парсинг всегда делается незаметно, ты никогда не узнаешь, если кто-то мониторит твою группу. Да и контент - не лично твой, технически всё что попадает в соцсеть, является собственностью самой соцсети. Об этом наверняка где-то упомянуто мелким шрифтом, который никто не читает.

Ответы30016

36 Кб, 609x634
27 26 окт 2020, 16:04 27 130016

>>130004
Вот вчера создал тему в местном паблике со словом "гадалка" и через час в нем начали отписывать маги, а админ их тут же банил.

Если через API можно мониторить чужую группу, то как с токенами быть? Там же токен нужно получить на такое дело.

Ответы30025

28 26 окт 2020, 16:07 28 130017

Вот этот пидорсы https://vk.com/id566509142 и https://vk.com/id603485374

мониторят хуй знает сколько групп по ключевым словам и отписывают там

Ответы30018

29 26 окт 2020, 16:08 29 130018

>>130017
т.е один из них делает вид, что воспользовался услугами мага и остался доволен.

30 26 окт 2020, 22:11 30 130025

>>130016
>то как с токенами быть?
Ты сейчас серьезно? На дваче что, одни тугодумы сидят? Это вообще секундное дело, делается в три клика. Открываешь https://vkhost.github.io/, тыкаешь vk api, тыкаешь разрешить. Заебал ты уже, остается только сам скрипт написать. И то блять ты не поверишь, скажешь это через zennoposter сделано.

Ответы30027

31 27 окт 2020, 13:18 31 130027

>>130025
>тыкаешь vk api, тыкаешь разрешить
объясни нормально, это действие нужно чтобы разрешить кому-то что-то делать с API своей группы?

Ответы30028

32 27 окт 2020, 22:39 32 130028

318 Кб, 480x480303 Кб, 734x699

>>130027
>это действие нужно чтобы разрешить кому-то что-то делать с API своей группы?
Пиздец нахуй. Не тугодум, а тугодумище. API привязан к пользователю! Вот ты Иванов Иван Иваныч, через API тебе позволено делать всё то же, что позволено Иванову Ивану через обычный интерфейс - смотреть группы, слать сообщения от своего имени, если твой профиль Иванова Ивана банят в группе, соответственно бот не сможет читать сообщения. Или если группа огороженная. А если ты в группе модером, соответственно у твоего бота тоже будут права модера. У кого что просить, не пойму? Токен всего один блять! Один сука токен на один аккаунт ВК. Или один токен на одно сообщество ВК. Единственное препятствия - сами правила ВК, пункт 2 "Работа с данными", мониторя вкашные группы, ты обкрадываешь вконтакт. Так как вк хочешь, чтобы ты заносил денюжку за рекламу. А так как денежку ты не заносишь, то и по головке тебе скорее всего не погладят...

Ответы30092

131 Кб, 1603x905
33 3 ноя 2020, 02:32 33 130092

>>130028
ебать у тебя жопу рвет, схуя ли ты от гадалки ожидаешь понимание предметной области программиста?

Кстати, вот я на зеннопостере парсер сделал, ну и где твой бог теперь?

Ответы300943022232802

856 Кб, 735x1100
34 3 ноя 2020, 05:20 34 130094

>>130092
Рил программист не будет шквариться обо всякие зеннопостеры. Я просто своим методами делаю и всё. Что-ж, сделал... значит держи конфетку с полки. Хм, интересно. Не знал, что так можно. Тем не менее, это вся красота работает только когда комп с зеннопостером включен, в то время когда скрипт можно залить на сервер и он будет работать 24/7.

Ответы30110

35 3 ноя 2020, 11:17 35 130110

>>130094
Для прототипирования самое то, но парсер непосредственно wall.get я доделал уже на пыхе.
>в то время когда скрипт можно залить на сервер и он будет работать 24/7
Зену тоже можно, только сервера на винде дорогое удовольствие.

Ответы30223

36 9 ноя 2020, 22:00 36 130222

>>130092
ты с применением программирования сделал, а теперь сделай это чисто на блоках этих встроенных.

Ответы30229

37 9 ноя 2020, 22:32 37 130223

>>130110
>Зену тоже можно, только сервера на винде дорогое удовольствие.
И под зену там сервак за 5к минимум наверное нужен.

38 10 ноя 2020, 08:04 38 130229

>>130222
>ты с применением программирования сделал, а теперь сделай это чисто на блоках этих встроенных.
На самом деле, все эти блоки лишь обертка над C#, так что, чтоб я ни делал, все равно получится трансляция в код.
Но в конкретно этом случае я не написал ни одной строчки кода, если не считать SQL, но это скорее к вопросу об организации хранения данных.

>И под зену там сервак за 5к минимум наверное нужен.
пару гектар памяти и ядро процессора на ОС и простенький парсер хватит =) Хотя, одному чуваку я как-то делал многопоточную систему обработки данных на серваке с 128ГБ памяти и каким-то процем с ебическим количеством ядер. Загрузили лишь на треть, остальное осталось про запас.

39 12 ноя 2020, 11:27 39 130295

>>129896
как сделать перебор сообществ?
без рофлов, вот я выяснил, что их 520к.
Условно я хочу перебирать их все на наличие на их стенах определенных постов, мне айдишники по порядку гонять или как их перебрать?

Ответы3030830310

40 13 ноя 2020, 14:21 40 130308

>>130295
>как сделать перебор сообществ?
Если нет навыков программирования - никак.

>Условно я хочу перебирать их все на наличие на их стенах определенных постов, мне айдишники по порядку гонять или как их перебрать?
В порядке очереди с выбыванием из очереди давно мертвых айдишников (последний пост более N лет назад).

Ответы30309

41 13 ноя 2020, 15:38 41 130309

>>130308
Навыки есть, на пожилом питоне, но тем не менее.

Например,
делаю wall.get паблика с айди = 1 пока стена не закончится
в этом говне среди айди юзеров ищу нужный мне.
Затем паблик с айди = 2 и так далее.
Плюс перед этим поставить проверку, чтобы ласт пост был недавно.

Верно? Как-то слишком в лоб получается.
Спасибо за ответ.

Ответы30310

42 13 ноя 2020, 17:05 42 130310

>>130295
>>130309
Не спец по ВК апи, но то, что ты говоришь - жутко неоптимально. Зачем тебе знать количество групп? В ту секунду когда ты пишешь, их может быть стало уже 521 тысяча. Используй вкшный метод groups.search. Не вижу смысла перебирать, если есть уже готовый метод search.

Даже когда мне требуется сделать перебор по чему-либо, я почти всегда раскладываю по партиям, максимум сколько API позволяют. Например, в одном запросе 100 сообществ. Типа через запятую 1000,1001,1002,1003,1004,... если результаты пагинируются, можешь в рекурсии забирать следующую страницу, пока всё не исчерпаешь.

Так ты трафик экономишь, если ты все по одному будешь перебирать, тебя давно админы хостинга переебошат банхаммером. Либо сам вконтакт. Короче не изобретай велосипеды - если есть готовый метод search - бери его. Перебор только в крайнем случае следует использовать.

43 15 мая 2021, 08:11 43 132729

Как раз недавно сделал такую залупу, суть такая, задаёшь строку поиска, например маги и колдуны, и дальше получаешь все группы пользователь обсуждения в группах, и после этого начинаешь искать что тебе нужно, в моем же случае я просто спамлю в группы и обсуждения с нужными мне ключами. Могу поделится так как в полную мощность свои есурсы не использую, пиши если интересно.

44 20 мая 2021, 23:26 44 132802

>>130092
Никогда не понимал - зачем изучать этот всратый зеннопостер и его скриптинг, если можно сразу взять нормальный современный ЯП? Гораздо полезнее будет же - можно ведь не только парсеры писать, а и те же сайты, ботов и прочую веб, и не очень, хрень. Можно даже свой двач заебенить.

45 26 мар 2024, 16:44 45 138675

>>129834 (OP)
>тыкаешь vk api, тыкаешь разрешить.
заебал ты не составляет.
количество данных - раз в соцсеть, является собственностью самой соцсети.
об этом же до 10-100 миллионов сообщений может пропарсить.
ограничения на

Обновить тред
« /web/В начало тредаВеб-версияНастройки/a//b//mu//s//vg/Все доски

Скачать тред только с превьюс превью и прикрепленными файлами

Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах.Подробнее

Пользуетесь скринридером — пишите, что можно улучшить.
Host-Food.ru — надёжный хостинг от 12 руб/мес | Free DNS
Зеркала М.Двача: m2ch.hk, m2ch.lib, m2chfapiswfw2wcakptqp4o6ltgchvjuxfab7urxlduraomtlnhw5xad.onion