X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Как парсить подгружаемый контент при помощи curl?
happyhand
happyhand
Topic Starter сообщение 23.7.2012, 13:52; Ответить: happyhand
Сообщение #1


Привет!
Со страницы нужно взять часть контента, подгружаемого аяксом.
В этом случае обычный метод не работает:

[PHP]curl_setopt($curl,CURLOPT_URL,'http://www....');[/PHP]

Как можно взять содержимое с некоторой задержкой, чтобы успел подгрузиться контент?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
r3ntg3n
r3ntg3n
сообщение 23.7.2012, 20:25; Ответить: r3ntg3n
Сообщение #2


Эм, ну, как вариант посмотреть профайлинг сетевых запросов в браузере и парсить не страницу, а именно адрес, по которому js-скрипт достает контент.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ZhukV
ZhukV
сообщение 26.7.2012, 16:28; Ответить: ZhukV
Сообщение #3


(r3ntg3n @ 23.7.2012, 23:25) *
Эм, ну, как вариант посмотреть профайлинг сетевых запросов в браузере и парсить не страницу, а именно адрес, по которому js-скрипт достает контент.


Так нужно делать в любом случае, так как КУРл потянет только контент страницы, а все аяксы генеряться при помощи клиентских скриптов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Arks
Arks
сообщение 26.7.2012, 23:39; Ответить: Arks
Сообщение #4


(sergey-g @ 23.7.2012, 16:52) *
Как можно взять содержимое с некоторой задержкой, чтобы успел подгрузиться контент?

например(кэп снова с нами!) так: взять с задержкой чтобы успел подгрузиться контент...

curl не обладает такими возможностями, т.к. требуется интерпретатор javascript. selenium в помощь. либо портируйте v8 на php, либо как Вам уже подсказали(ИМХО, геморойный путь, а если там не просто данные а динамическая разметка - на php потом ее строить будете? :sarcastic:). CURL поддерживает лишь стек http и прочих протоколов, но сам информацию как браузер не обрабатывает. Короче просто спрашивает сервер и получает ответ. Вам поможет знание С или java и умение применять различные готовые решения(тот же Chromium адаптировать и использовать вместо curl для построения разметки с учетом ajax)

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Ищу помощника на контент-рутину (ru, ua, бурж)
10 SergeyLinkin 2643 Сегодня, 5:17
автор: c4p1t4l15t
Открытая тема (нет новых ответов) Большие ставки для кликов в Я.Директ. Как удешевить?
2 rownong27 1116 26.3.2024, 14:13
автор: knezevolk
Открытая тема (нет новых ответов) Как вы бросили работу и перешли на заработок с сайтов?
12 uahomka 2281 25.3.2024, 6:52
автор: Skyworker
Открытая тема (нет новых ответов) Как отозвать банковский платеж фрилансеру?
28 metvekot 3910 25.3.2024, 6:34
автор: Skyworker
Открытая тема (нет новых ответов) Как вывести деньги в Украине с заблокированного Юмани ?
23 freeax 3635 24.3.2024, 20:55
автор: Liudmila


 



RSS Текстовая версия Сейчас: 28.3.2024, 15:09
Дизайн