Сообщений в теме: 5

[doca]

Думаю многие здесь парсили сайты и не раз. 

Но вопрос с другой стороны. Сайт(база) ложится из-за хорошего парсинга под 350 уников. Ограничить никак нельзя, так как формат парсинга - зашли одновременно 350 человек, запустили по странице на скачку и замолкли на 5 минут. И парсят-то по сути не самую важную информацию. Вопрос- как от этого можно избавиться и защититься, ибо запустив одновременно по большой базе скачку, база мягко говоря умирает.

 

Что кто посоветует?

[akir]

- Выдай данные базы в экселе на главной странице, парсить будет не нужно)

- Бан по ip(не поможет)

- Посмотри с какого ip парсят, мб там сайты висят. Найди программиста и попроси парсить потише)

- Постоянно меняй верстку страницы и рендерь ее на фронтенде. Мб им надоест.

- Динамическая генерация токенов на js, для обращения к бд.

- Попробуй найти общее в запросах парсинга и или отключай их(быстро найдут обход) или через раз выдавай левые данные.

[GamiD]

- Постоянно меняй верстку страницы и рендерь ее на фронтенде. Мб им надоест.

Ставь рандомные названия элементов только эти варианты и то врятли поможет антиботы можно ставить но все это бесполезно=)

если бы можно было избавиться от парсеров это получилось бы у соц сетей мессенджеров таких как twitter facebook vk telegram whatsapp и т.д.

[NOS]

Бороться с парсингом?? Переходите на нормальный хостинг, пользуйтесь мемкешем и будет вам счастье. А площадки, на которых 350 соединений кладут шаред, обходите стороной.

[doca]

Бороться с парсингом?? Переходите на нормальный хостинг, пользуйтесь мемкешем и будет вам счастье. А площадки, на которых 350 соединений кладут шаред, обходите стороной.

 

Не шаред. База 20гигов. Не успевает запрос сделаться корректно. Все это настроено.

[akir]

doca, можно на время выводить данные картинкой, если сео не важно.

Если продолжат парсить, с использованием ocr к примеру, то им действительно очень нужно и проще отдать данные/договориться или обвешаться разными капчами после 2го запроса к базе.

 

Также поможет индексация и денормализация базы.