+ Ответить в теме
Показано с 1 по 3 из 3

Тема: Парсер + работа с БД + серьезная аналитика + графические отчеты + веб интерфейс

  1. #1
    Новичок aderevnya на пути к лучшему Аватар для aderevnya
    Регистрация
    10.08.2015
    Сообщений
    1
    Thanks
    0
    Thanked 0 Times in 0 Posts

    Парсер + работа с БД + серьезная аналитика + графические отчеты + веб интерфейс

    Здравствуйте!

    Задача:
    1. Заходить на сайты с нужными мне БД (количество от 1-2 до 1-2 десятков), на страницы с многостраничным списком. Из данного списка (динамическая выдача) уметь открывать по гиперссылкам конечные страницы. В них находить и нажимать нужную кнопку скачать файл, в диалоговом окне веб-интерфейса выбирать нужные параметры файла (нужный формат файла и т.п.) нажимать кнопку скачать данные.
    Периодичность - 1 раз в сутки. Количество конечных страниц и скачиваний файлов от нескольких тысяч до нескольких десятков тысяч.
    2. Полученные данные записывать в БД.
    3. Проводить обработку и аналитику
    4. Следующим этапом Ходить по сайтам с текстовой, в основном новостной информацией, ходить по архивам публикаций, новостей, анонсов, анализировать текстовую и графическую информацию, сохранять в БД только нужную информацию, 9не качать в локальные БД всю выборку, а только результаты свобственной аналитики), увязывать результаты 2й работы с результатами первой работы.
    Периодичность - 1 раз в сутки. Количество конечных страниц, аналитических действий и скачиваний от нескольких десятков до нескольких тысяч.
    5. Выдавать аналитику, строить графики из собранной БД.
    6. В таком режиме (наблюдения и аналитики) комплекс проработает 0,5-1 год, и результаты меня могут устраивать локальные в любых локальных формах.
    7. В перспективе, когда аналитика будет достаточная, выводить комплекс в веб интерфейс, чтобы аналитикой можно было пользоваться публично и непублично через веб.

    Подскажите пож-та, для реализации данной задачи, какие под MS Windosw языки программирования, инструменты, библиотеки, фреймворки, которые для реализации подойдут больше всего. Изучать всё придется с нуля.
    Да. Еще желательна поддержка модульности, чтобы в будущем отдельные модули, например, работа с графикой, работа с вебом, модуль парсинга можно было реализовывать силами привлеченных сторонних программистов.


    Заранее Вас благодарю за советы!

  2. #2
    Местный Arks - луч света в тёмном царстве Arks - луч света в тёмном царстве Arks - луч света в тёмном царстве Arks - луч света в тёмном царстве Arks - луч света в тёмном царстве Аватар для Arks
    Регистрация
    20.03.2010
    Адрес
    Москва
    Сообщений
    2,778
    Thanks
    66
    Thanked 284 Times in 266 Posts
    C# + SSRS
    Последний раз редактировалось Arks; 27.08.2015 в 21:40.
    Earling Mitsomaar!! div-pro

  3. #3
    Новичок picsen на пути к лучшему Аватар для picsen
    Регистрация
    19.05.2017
    Сообщений
    6
    Thanks
    0
    Thanked 0 Times in 0 Posts
    Спасибо за совет

+ Ответить в теме

Похожие темы

  1. Ответов: 0
    Последнее сообщение: 20.01.2014, 06:49
  2. Ответов: 9
    Последнее сообщение: 09.05.2011, 23:05
  3. Графические часы на сайте
    от vital в разделе JavaScript
    Ответов: 1
    Последнее сообщение: 30.09.2008, 20:58
  4. Графические кнопки
    от jmagath в разделе HTML
    Ответов: 24
    Последнее сообщение: 17.05.2008, 15:03

Социальные закладки

Социальные закладки

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения

 

Html-форум Рейтинг@Mail.ru