X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Как парсить подгружаемый контент при помощи curl?
happyhand
happyhand
Topic Starter сообщение 23.7.2012, 13:52; Ответить: happyhand
Сообщение #1


Привет!
Со страницы нужно взять часть контента, подгружаемого аяксом.
В этом случае обычный метод не работает:

[PHP]curl_setopt($curl,CURLOPT_URL,'http://www....');[/PHP]

Как можно взять содержимое с некоторой задержкой, чтобы успел подгрузиться контент?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
r3ntg3n
r3ntg3n
сообщение 23.7.2012, 20:25; Ответить: r3ntg3n
Сообщение #2


Эм, ну, как вариант посмотреть профайлинг сетевых запросов в браузере и парсить не страницу, а именно адрес, по которому js-скрипт достает контент.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ZhukV
ZhukV
сообщение 26.7.2012, 16:28; Ответить: ZhukV
Сообщение #3


(r3ntg3n @ 23.7.2012, 23:25) *
Эм, ну, как вариант посмотреть профайлинг сетевых запросов в браузере и парсить не страницу, а именно адрес, по которому js-скрипт достает контент.


Так нужно делать в любом случае, так как КУРл потянет только контент страницы, а все аяксы генеряться при помощи клиентских скриптов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Arks
Arks
сообщение 26.7.2012, 23:39; Ответить: Arks
Сообщение #4


(sergey-g @ 23.7.2012, 16:52) *
Как можно взять содержимое с некоторой задержкой, чтобы успел подгрузиться контент?

например(кэп снова с нами!) так: взять с задержкой чтобы успел подгрузиться контент...

curl не обладает такими возможностями, т.к. требуется интерпретатор javascript. selenium в помощь. либо портируйте v8 на php, либо как Вам уже подсказали(ИМХО, геморойный путь, а если там не просто данные а динамическая разметка - на php потом ее строить будете? :sarcastic:). CURL поддерживает лишь стек http и прочих протоколов, но сам информацию как браузер не обрабатывает. Короче просто спрашивает сервер и получает ответ. Вам поможет знание С или java и умение применять различные готовые решения(тот же Chromium адаптировать и использовать вместо curl для построения разметки с учетом ajax)

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Арбитражники, как ведете учет расходов и доходов?
11 Boymaster 1803 17.4.2024, 23:35
автор: Boymaster
Горячая тема (нет новых ответов) Как вывести деньги в Украине с заблокированного Юмани ?
29 freeax 4811 17.4.2024, 1:19
автор: sergio11
Горячая тема (нет новых ответов) Как вы отдыхаете от работы за компом
148 adw-kupon.ru 19709 8.4.2024, 10:37
автор: Skyworker
Открытая тема (нет новых ответов) Как вы бросили работу и перешли на заработок с сайтов?
18 uahomka 3101 5.4.2024, 5:53
автор: Skyworker
Открытая тема (нет новых ответов) Ищу помощника на контент-рутину (ru, ua, бурж)
11 SergeyLinkin 2932 3.4.2024, 13:14
автор: 2Index


 



RSS Текстовая версия Сейчас: 19.4.2024, 16:50
Дизайн