Перейти к содержимому














Фотография
Нужна помощь

Подскажите, что изучить, чтобы писать php парсеры



  • Авторизуйтесь для ответа в теме
Сообщений в теме: 15

#1 Жошь Накзл Айгель

Жошь Накзл Айгель
  • Premium
  • Сообщений: 89
  • Регистрация: 11.03.2015
  • Заработано: 1 руб.
Репутация: 3

Награды: 15

  
  
  
  
  
  
  
  

Отправлено 06 Март 2017 - 17:01

Хочу научиться писать php парсеры сайтов, чтобы мог парсить инфу любую, сохранять в нужный результат, чекать как-то, при не обходимости запускать обратно циклы и т.д.


  • 0

#2 vekvoli

vekvoli
  • Premium
  • Сообщений: 84
  • Регистрация: 05.08.2014
  • Заработано: 44 руб.
Репутация: 212

Награды: 18

  
  
  
  
  
  
  
  

Отправлено 06 Март 2017 - 17:20

Дмитрий Лаврик - PHP парсеры

https://slivup.top/t...p-parsery-2016/

 

Роман Кротов - Как парсить сайты

http://nnmclub.to/fo...ic.php?t=983637


  • 2

#3 chernyserg

chernyserg
  • Сливапер LVL 5
  • Сообщений: 353
  • Регистрация: 19.10.2014
  • Заработано: 1 руб.
Репутация: 142

Награды: 12

  
  
  
  
  
  
  
  

Отправлено 06 Март 2017 - 22:37

посмотри в сторону зенки, разберется даже человек далекий от программирования. регеры, парсеры пишутся на раз.


  • 0

#4 RusZarj

RusZarj
  • Сливапер LVL 6
  • Сообщений: 1 398
  • Регистрация: 27.01.2014
  • Заработано: 102 руб.
Репутация: 754

Награды: 24

  
  
  
  
  
  
  
  

Отправлено 06 Март 2017 - 23:09

Хочу научиться писать php парсеры сайтов, чтобы мог парсить инфу любую, сохранять в нужный результат, чекать как-то, при не обходимости запускать обратно циклы и т.д.

php поверхностно, curl, regexp - это минимум знаний для php парсера.


  • 0

#5 ДаДа это Я

ДаДа это Я
  • Platinum
  • Сообщений: 393
  • Регистрация: 14.05.2014
  • Заработано: 140 руб.
Репутация: 490

Награды: 25

  
  
  
  
  
  
  
  

Отправлено 06 Март 2017 - 23:38

Скрытый контент:

  Для просмотра необходимо войти или зарегистрироваться

  • 0

#6 kopyrin

kopyrin
  • Сливапер LVL 5
  • Сообщений: 145
  • Регистрация: 02.03.2014
  • Заработано: 26 руб.
Репутация: 142

Награды: 16

  
  
  
  
  
  
  
  

Отправлено 07 Март 2017 - 08:29

Накидал лапши и как бы помог? Смотри Лаврика. Он тебе основные методики даст.


  • 0

#7 Жошь Накзл Айгель

Жошь Накзл Айгель
  • Premium
  • Сообщений: 89
  • Регистрация: 11.03.2015
  • Заработано: 1 руб.
Репутация: 3

Награды: 15

  
  
  
  
  
  
  
  

Отправлено 07 Март 2017 - 15:28

Спасибо, зено есть, нужно именно на пшп и т.д. да и хочу языки изучать, по степенно да овладеть всеми.. а то так.. только названия заю, но не знаю ничего


  • 0

#8 Master4eg

Master4eg
  • Сливапер LVL 5
  • Сообщений: 603
  • Регистрация: 16.12.2015
  • Заработано: 108 руб.
Репутация: 284

Награды: 20

  
  
  
  
  
  
  
  

Отправлено 07 Март 2017 - 15:47

Тоже интересно.


  • 0

#9 bender_cs

bender_cs
  • Сливапер LVL 1
  • Сообщений: 1
  • Регистрация: 03.03.2017
  • Заработано: 0 руб.
Репутация: 0

Награды: 8

  
  
  
  
  
  
  
  

Отправлено 09 Март 2017 - 17:27

говорят программирование надо изучать с языка Perl


  • 0

#10 Aleks001

Aleks001
  • Сливапер LVL 5
  • Сообщений: 173
  • Регистрация: 14.10.2014
  • Заработано: 4 руб.
Репутация: 117

Награды: 12

  
  
  
  
  
  
  
  

Отправлено 11 Март 2017 - 18:28

Хочу научиться писать php парсеры сайтов, чтобы мог парсить инфу любую, сохранять в нужный результат, чекать как-то, при не обходимости запускать обратно циклы и т.д.

Начать пожалуй стоит с того, что любую инфу ты не спарсишь при помощи php парсера. Если там ajax, то нужен js + немало сайтов сейчас под cloudflare, с выключенным js на них не пускает.


  • 1

#11 Master4eg

Master4eg
  • Сливапер LVL 5
  • Сообщений: 603
  • Регистрация: 16.12.2015
  • Заработано: 108 руб.
Репутация: 284

Награды: 20

  
  
  
  
  
  
  
  

Отправлено 11 Март 2017 - 19:25

Начать пожалуй стоит с того, что любую инфу ты не спарсишь при помощи php парсера. Если там ajax, то нужен js + немало сайтов сейчас под cloudflare, с выключенным js на них не пускает.

А если я хочу парсить видео и загружать их на другой сайт?


  • 0

#12 Aleks001

Aleks001
  • Сливапер LVL 5
  • Сообщений: 173
  • Регистрация: 14.10.2014
  • Заработано: 4 руб.
Репутация: 117

Награды: 12

  
  
  
  
  
  
  
  

Отправлено 11 Март 2017 - 19:32

А если я хочу парсить видео и загружать их на другой сайт?

Видео это просто файл для скачивания, имеет значения реализация сайта с которого оно парсится и реализация формы загрузки, на сайте, на который грузится.


  • 0

#13 Master4eg

Master4eg
  • Сливапер LVL 5
  • Сообщений: 603
  • Регистрация: 16.12.2015
  • Заработано: 108 руб.
Репутация: 284

Награды: 20

  
  
  
  
  
  
  
  

Отправлено 11 Март 2017 - 19:50

Видео это просто файл для скачивания, имеет значения реализация сайта с которого оно парсится и реализация формы загрузки, на сайте, на который грузится.

Например на сайте есть кнопка "скачать", а загружать в вк. И можно ли как-то качать файлы непосредственно на хостинг, чтоб вообще всё автоматизировать, нужно ли БД подключать? 


  • 0

#14 Aleks001

Aleks001
  • Сливапер LVL 5
  • Сообщений: 173
  • Регистрация: 14.10.2014
  • Заработано: 4 руб.
Репутация: 117

Награды: 12

  
  
  
  
  
  
  
  

Отправлено 11 Март 2017 - 20:12

Например на сайте есть кнопка "скачать", а загружать в вк. И можно ли как-то качать файлы непосредственно на хостинг, чтоб вообще всё автоматизировать, нужно ли БД подключать? 

Нельзя дать конкретный ответ на такую абстрактную постановку задачи. В общих чертах: 1) если эта кнопка скачать выводится на странице javascript'ом то php парсер, заходя на страницу, попросту не будет её видеть (и соответственно не сможет достать ссылку для скачивания), но в некоторых случаях это можно обойти, если к примеру на сайте используется некая фиксированная стурктура url'ов и т.п. 2) То, что вы в ВК через пользовательский интерфейс php парсерером не сможете загрузить видео - 100%, нужно использовать ВК API, смотрите документацию у них на сайте. 3) Использовать, или нет БД зависит от решаемой задачи и удобства в её решении (извиняюсь за товтологию). Для небольшого количества данных, их можно писать и читать просто из обычного txt файла на хостинге, для более крупных задач лучше сделать БД, иначе задолбетесь с этими текстовыми файлами. 4)"можно ли как-то качать файлы непосредственно на хостинг" - нужно качать файлы непосредственно на хостинг, не скачав предварительно файл вы не сможете его никак залить в ВК.


  • 2

#15 Master4eg

Master4eg
  • Сливапер LVL 5
  • Сообщений: 603
  • Регистрация: 16.12.2015
  • Заработано: 108 руб.
Репутация: 284

Награды: 20

  
  
  
  
  
  
  
  

Отправлено 11 Март 2017 - 20:20

Нельзя дать конкретный ответ на такую абстрактную постановку задачи. В общих чертах: 1) если эта кнопка скачать выводится на странице javascript'ом то php парсер, заходя на страницу, попросту не будет её видеть (и соответственно не сможет достать ссылку для скачивания), но в некоторых случаях это можно обойти, если к примеру на сайте используется некая фиксированная стурктура url'ов и т.п. 2) То, что вы в ВК через пользовательский интерфейс php парсерером не сможете загрузить видео - 100%, нужно использовать ВК API, смотрите документацию у них на сайте. 3) Использовать, или нет БД зависит от решаемой задачи и удобства в её решении (извиняюсь за товтологию). Для небольшого количества данных, их можно писать и читать просто из обычного txt файла на хостинге, для более крупных задач лучше сделать БД, иначе задолбетесь с этими текстовыми файлами. 4)"можно ли как-то качать файлы непосредственно на хостинг" - нужно качать файлы непосредственно на хостинг, не скачав предварительно файл вы не сможете его никак залить в ВК.

Благодарю, что посоветуете изучить мне для достижения этой цели, после просмотра базовых уроков по php для начинающих?


  • 0



Похожие темы Collapse

  Название темы Форум Автор Статистика Последнее сообщение

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

×

Зарегистрируйся моментально!