X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Парсинг инофрмации. Обход бана
asbury
asbury
Topic Starter сообщение 2.5.2016, 14:53; Ответить: asbury
Сообщение #1


Здравствуйте. Пытаюсь у поставщика собрать с сайта товары в свой интернет-магазин. Но, похоже, что он банит за быстрое обращение.

У меня реализованы запросы к php скрипту $.ajax
Передается ссылка, с которой должен работать скрипт. Если передать одну ссылку - все ок. Если же в цикле передавать, то даже через браузер на сайт зайти невозможно.

Банит примерно на пол часа.

Пытался поставить TimeOut на выполнение ajax запороса. Запросы улетают сразу несколько - бан.
Синхронное выполнение - повисает браузер.

Думаю, что наверное надо передавать сам факт желания парсить и уже php скриптом из массива брать первую ссылк уи работать с ней.

Какие есть соображения?
Вроде слышал что можно через cURL передавать публичные прокси
И думаю, присваивать куку php скрипту, чтобы чаще чем раз в 5 секунд не работал.

Может есть что-то лаконичное?)
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Degradator
Degradator
сообщение 2.5.2016, 17:58; Ответить: Degradator
Сообщение #2


Надо получить товар один раз, потом сохранить его в свою базу?
Или каждый раз надо делать запрос?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Webmaster_hb
Webmaster_hb
сообщение 3.5.2016, 14:14; Ответить: Webmaster_hb
Сообщение #3


ну для начала надо убедиться что банят, а не проблема в коде с циклом
надо запросы слать с логированием и фиксировать коды ответов и данные которые вам приходят
при различной частоте обращений

ну и уже потом думать как решать проблему

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыТрафик в Телеграм (рассылка, инвайт, парсинг)
9 gelt 2845 8.4.2024, 15:28
автор: gelt
Открытая тема (нет новых ответов) ВКонтакте: полный комплекс услуг (массовая рассылка по стенам групп и в ЛС), парсинг, лайки, инвайты
Гарантия самой низкой цены
4 MaxChemist 1917 1.1.2023, 13:23
автор: MaxChemist
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыСбор баз, парсинг информации, постинг, автоматизация
Качественно и в срок
21 SEOMR 20837 22.7.2022, 15:10
автор: iodjin
Открытая тема (нет новых ответов) Парсинг
0 alnsam 854 20.7.2022, 16:25
автор: alnsam
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыТребуется парсинг поисковой выдачи
0 WoWeb 870 5.7.2022, 16:31
автор: WoWeb


 



RSS Текстовая версия Сейчас: 18.4.2024, 5:01
Дизайн