Перейти к содержимому




Фотография
Нужна помощь

Как спарсить пользователей ВК по статусам?



  • Авторизуйтесь для ответа в теме
Сообщений в теме: 6

#1 Off   redirect

redirect
  • Сливапер LVL 5
  • 274 сообщений
    • Онлайн: 3д 10ч 52м 14с
  • Регистрация: 04.10.2014
251 - Репутация
  • Специализация:
    Копирайтер, Тестировщик, Манимейкер

Отправлено 20 Апрель 2017 - 19:17

Всем привет

 

Возникла задача

Есть список пользователей ВК

Нужно из них вытащить тех, в статусе которых (не семейное положение, а текст под именем-фамилией) есть одно из нескольких ключевых слов. Например, "продам, сдам, научу и т.д."

 

Как это можно сделать?


  • 0






#2 Off   pohlebkin

pohlebkin
  • Premium+
  • 354 сообщений
    • Онлайн: 5д 10ч 33м 22с
  • Регистрация: 21.06.2014
108 - Репутация
  • Специализация:
    Программист, Манимейкер, Арбитражник

Отправлено 20 Апрель 2017 - 19:49

php-скрипт (или шаблон зенки) заходит на страницы всех этих пользователей

парсит html-код страницы, строку со статусом из этого html-кода выделить элементарно

далее так же элементарно ищется вхождение ваших ключевых слов в этой строке

 

без захода скрипта на каждую страницу не обойтись, апи вконтакте не дает возможности фильтровать пользователей по тексту в строке статуса


  • 1

#3 Off   RusZarj

RusZarj
  • Сливапер LVL 6
  • 985 сообщений
    • Онлайн: 22д 21ч 28м 6с
  • Регистрация: 27.01.2014
551 - Репутация
  • Специализация:
    Манимейкер

Отправлено 20 Апрель 2017 - 22:18

php-скрипт (или шаблон зенки) заходит на страницы всех этих пользователей

парсит html-код страницы, строку со статусом из этого html-кода выделить элементарно

далее так же элементарно ищется вхождение ваших ключевых слов в этой строке

 

без захода скрипта на каждую страницу не обойтись, апи вконтакте не дает возможности фильтровать пользователей по тексту в строке статуса

Я бы сделал методом users.search и в параметр fields добавил status, получая сразу от 1к до 20к статусов за 1 запрос (зависит простой запрос или экзекут)
Далее продвигаться оффсетом.

Если использовать НЕ апи вк - будешь годами парсить, тут только апи, без вариантов.

Но если ты мазохист и хочешь на каждую страницу делать отдельный запрос статуса - юзай метод status.get


  • 0

#4 Off   Тони

Тони
  • Модератор
  • 1 628 сообщений
    • Онлайн: 10д 11ч 48м 5с
  • Регистрация: 18.03.2014
528 - Репутация

Отправлено 20 Апрель 2017 - 23:01

закажи у RusZarj шаблон и не парься

он в этих делах не первый год крутится


  • 0

#5 Off   pohlebkin

pohlebkin
  • Premium+
  • 354 сообщений
    • Онлайн: 5д 10ч 33м 22с
  • Регистрация: 21.06.2014
108 - Репутация
  • Специализация:
    Программист, Манимейкер, Арбитражник

Отправлено 21 Апрель 2017 - 02:12

Я бы сделал методом users.search и в параметр fields добавил status, получая сразу от 1к до 20к статусов за 1 запрос (зависит простой запрос или экзекут)
Далее продвигаться оффсетом.

Если использовать НЕ апи вк - будешь годами парсить, тут только апи, без вариантов.

Но если ты мазохист и хочешь на каждую страницу делать отдельный запрос статуса - юзай метод status.get

 

вы правы, так намного эффективнее

 

redirect писал что список пользователей уже есть готовый, как в этом случае использовать users.search?


  • 0

#6 Off   RusZarj

RusZarj
  • Сливапер LVL 6
  • 985 сообщений
    • Онлайн: 22д 21ч 28м 6с
  • Регистрация: 27.01.2014
551 - Репутация
  • Специализация:
    Манимейкер

Отправлено 21 Апрель 2017 - 06:46

вы правы, так намного эффективнее

 

redirect писал что список пользователей уже есть готовый, как в этом случае использовать users.search?

Сообщение ТСа прочёл не очень внимательно, отвечал в основном тебе.

В случае с готовым списком пользователей получится максимум 25 пользователей за запрос, максимум 3 запроса в секунду, следовательно максимум 75 пользователей в секунду. 
При таком раскладе (в 3 потока) спарсить 50к статусов должно примерно за 12-15 минут, если нужно быстрей - то вариант только парсить с дополнительных аккаунтов, на каждый акк свой прокси, тогда можно масштабировать настолько, насколько хватит ресурсов компа или дедика.7


  • 0

#7 On   marshmellow

marshmellow
  • Premium
  • 177 сообщений
    • Онлайн: 9д 16ч 58м 37с
  • Регистрация: 02.08.2014
48 - Репутация

Отправлено 21 Апрель 2017 - 11:45

Всем привет

 

Возникла задача

Есть список пользователей ВК

Нужно из них вытащить тех, в статусе которых (не семейное положение, а текст под именем-фамилией) есть одно из нескольких ключевых слов. Например, "продам, сдам, научу и т.д."

 

Как это можно сделать?

 

А зачем так усложнять? В том же таргетхантере есть функция "поиск по статусу" заливайте туда свою базу и проработайте её по своим запросам. Берёте любой ключик из гугла на 2 бесплатных дня - вам с головой хватит. 


  • 2



Похожие темы Collapse

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных