Перейти к содержимому






Фотография
Нужна помощь

Как спарсить пользователей ВК по статусам?



  • Авторизуйтесь для ответа в теме
Сообщений в теме: 6

#1 On   redirect

redirect
  • Сливапер LVL 5
  • Сообщений: 307
    • Онлайн: 7д 14ч 13м 26с
  • Регистрация: 04.10.2014
  • Заработано: 0 руб.
Репутация: 257

Отправлено 20 Апрель 2017 - 19:17

Всем привет

 

Возникла задача

Есть список пользователей ВК

Нужно из них вытащить тех, в статусе которых (не семейное положение, а текст под именем-фамилией) есть одно из нескольких ключевых слов. Например, "продам, сдам, научу и т.д."

 

Как это можно сделать?


  • 0




#2 Off   pohlebkin

pohlebkin
  • Premium+
  • Сообщений: 355
    • Онлайн: 5д 15ч 58м 14с
  • Регистрация: 21.06.2014
  • Заработано: 1 руб.
Репутация: 111

Отправлено 20 Апрель 2017 - 19:49

php-скрипт (или шаблон зенки) заходит на страницы всех этих пользователей

парсит html-код страницы, строку со статусом из этого html-кода выделить элементарно

далее так же элементарно ищется вхождение ваших ключевых слов в этой строке

 

без захода скрипта на каждую страницу не обойтись, апи вконтакте не дает возможности фильтровать пользователей по тексту в строке статуса


  • 1

#3 Off   RusZarj

RusZarj
  • Сливапер LVL 6
  • Сообщений: 1 132
    • Онлайн: 36д 7м 6с
  • Регистрация: 27.01.2014
  • Заработано: 4 руб.
Репутация: 643

Награды:

15   

Отправлено 20 Апрель 2017 - 22:18

php-скрипт (или шаблон зенки) заходит на страницы всех этих пользователей

парсит html-код страницы, строку со статусом из этого html-кода выделить элементарно

далее так же элементарно ищется вхождение ваших ключевых слов в этой строке

 

без захода скрипта на каждую страницу не обойтись, апи вконтакте не дает возможности фильтровать пользователей по тексту в строке статуса

Я бы сделал методом users.search и в параметр fields добавил status, получая сразу от 1к до 20к статусов за 1 запрос (зависит простой запрос или экзекут)
Далее продвигаться оффсетом.

Если использовать НЕ апи вк - будешь годами парсить, тут только апи, без вариантов.

Но если ты мазохист и хочешь на каждую страницу делать отдельный запрос статуса - юзай метод status.get


  • 0

#4 On   Тони

Тони

    Главный модератор

  • Модератор
  • Сообщений: 1 975
    • Онлайн: 26д 18ч 9м 7с
  • Регистрация: 18.03.2014
  • Заработано: 79 руб.
Репутация: 826

Награды:

24   

Отправлено 20 Апрель 2017 - 23:01

закажи у RusZarj шаблон и не парься

он в этих делах не первый год крутится


  • 0

#5 Off   pohlebkin

pohlebkin
  • Premium+
  • Сообщений: 355
    • Онлайн: 5д 15ч 58м 14с
  • Регистрация: 21.06.2014
  • Заработано: 1 руб.
Репутация: 111

Отправлено 21 Апрель 2017 - 02:12

Я бы сделал методом users.search и в параметр fields добавил status, получая сразу от 1к до 20к статусов за 1 запрос (зависит простой запрос или экзекут)
Далее продвигаться оффсетом.

Если использовать НЕ апи вк - будешь годами парсить, тут только апи, без вариантов.

Но если ты мазохист и хочешь на каждую страницу делать отдельный запрос статуса - юзай метод status.get

 

вы правы, так намного эффективнее

 

redirect писал что список пользователей уже есть готовый, как в этом случае использовать users.search?


  • 0

#6 Off   RusZarj

RusZarj
  • Сливапер LVL 6
  • Сообщений: 1 132
    • Онлайн: 36д 7м 6с
  • Регистрация: 27.01.2014
  • Заработано: 4 руб.
Репутация: 643

Награды:

15   

Отправлено 21 Апрель 2017 - 06:46

вы правы, так намного эффективнее

 

redirect писал что список пользователей уже есть готовый, как в этом случае использовать users.search?

Сообщение ТСа прочёл не очень внимательно, отвечал в основном тебе.

В случае с готовым списком пользователей получится максимум 25 пользователей за запрос, максимум 3 запроса в секунду, следовательно максимум 75 пользователей в секунду. 
При таком раскладе (в 3 потока) спарсить 50к статусов должно примерно за 12-15 минут, если нужно быстрей - то вариант только парсить с дополнительных аккаунтов, на каждый акк свой прокси, тогда можно масштабировать настолько, насколько хватит ресурсов компа или дедика.7


  • 0

#7 Off   marshmellow

marshmellow
  • Premium
  • Сообщений: 193
    • Онлайн: 16д 18ч 5м 33с
  • Регистрация: 02.08.2014
  • Заработано: 0 руб.
Репутация: 49

Награды:

10   

Отправлено 21 Апрель 2017 - 11:45

Всем привет

 

Возникла задача

Есть список пользователей ВК

Нужно из них вытащить тех, в статусе которых (не семейное положение, а текст под именем-фамилией) есть одно из нескольких ключевых слов. Например, "продам, сдам, научу и т.д."

 

Как это можно сделать?

 

А зачем так усложнять? В том же таргетхантере есть функция "поиск по статусу" заливайте туда свою базу и проработайте её по своим запросам. Берёте любой ключик из гугла на 2 бесплатных дня - вам с головой хватит. 


  • 2



Похожие темы Collapse

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных


×

Зарегистрируйся моментально!