X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Парсер + работа с БД + серьезная аналитика + графические отчеты + веб интерфейс
aderevnya
aderevnya
Topic Starter сообщение 10.8.2015, 16:44; Ответить: aderevnya
Сообщение #1


Здравствуйте!

Задача:
1. Заходить на сайты с нужными мне БД (количество от 1-2 до 1-2 десятков), на страницы с многостраничным списком. Из данного списка (динамическая выдача) уметь открывать по гиперссылкам конечные страницы. В них находить и нажимать нужную кнопку скачать файл, в диалоговом окне веб-интерфейса выбирать нужные параметры файла (нужный формат файла и т.п.) нажимать кнопку скачать данные.
Периодичность - 1 раз в сутки. Количество конечных страниц и скачиваний файлов от нескольких тысяч до нескольких десятков тысяч.
2. Полученные данные записывать в БД.
3. Проводить обработку и аналитику
4. Следующим этапом Ходить по сайтам с текстовой, в основном новостной информацией, ходить по архивам публикаций, новостей, анонсов, анализировать текстовую и графическую информацию, сохранять в БД только нужную информацию, 9не качать в локальные БД всю выборку, а только результаты свобственной аналитики), увязывать результаты 2й работы с результатами первой работы.
Периодичность - 1 раз в сутки. Количество конечных страниц, аналитических действий и скачиваний от нескольких десятков до нескольких тысяч.
5. Выдавать аналитику, строить графики из собранной БД.
6. В таком режиме (наблюдения и аналитики) комплекс проработает 0,5-1 год, и результаты меня могут устраивать локальные в любых локальных формах.
7. В перспективе, когда аналитика будет достаточная, выводить комплекс в веб интерфейс, чтобы аналитикой можно было пользоваться публично и непублично через веб.

Подскажите пож-та, для реализации данной задачи, какие под MS Windosw языки программирования, инструменты, библиотеки, фреймворки, которые для реализации подойдут больше всего. Изучать всё придется с нуля.
Да. Еще желательна поддержка модульности, чтобы в будущем отдельные модули, например, работа с графикой, работа с вебом, модуль парсинга можно было реализовывать силами привлеченных сторонних программистов.


Заранее Вас благодарю за советы!
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Arks
Arks
сообщение 27.8.2015, 23:38; Ответить: Arks
Сообщение #2


C# + SSRS
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
picsen
picsen
сообщение 19.5.2017, 22:05; Ответить: picsen
Сообщение #3


Спасибо за совет

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыA-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров.
352 Forbidden 278195 21.3.2024, 14:38
автор: AParser_Support
Открытая тема (нет новых ответов) Бесплатный парсер бот в Телеграм - [Parser Pro]
5 Parser_Pro 3310 27.1.2024, 16:12
автор: Parser_Pro
Открытая тема (нет новых ответов) Нужна работа
0 filatd 706 12.1.2024, 17:08
автор: filatd
Открытая тема (нет новых ответов) Куплю сайт или домен веб студии с историей от 1 года
0 cresh 1237 25.12.2023, 21:10
автор: cresh
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыВеб дизайн сайтов с душой | Графический дизайн
На связи ежедневно без выходных с 10 до 20 по Мск
15 GigArt 7574 11.12.2023, 13:36
автор: GigArt


 



RSS Текстовая версия Сейчас: 28.3.2024, 16:52
Дизайн