+ Ответить в теме
Показано с 1 по 4 из 4

Тема: Парсер + работа с БД + серьезная аналитика + графические отчеты + веб интерфейс

  1. #1
    Новичок aderevnya на пути к лучшему Аватар для aderevnya
    Регистрация
    10.08.2015
    Сообщений
    1
    Thanks
    0
    Thanked 0 Times in 0 Posts

    Парсер + работа с БД + серьезная аналитика + графические отчеты + веб интерфейс

    Здравствуйте!

    Задача:
    1. Заходить на сайты с нужными мне БД (количество от 1-2 до 1-2 десятков), на страницы с многостраничным списком. Из данного списка (динамическая выдача) уметь открывать по гиперссылкам конечные страницы. В них находить и нажимать нужную кнопку скачать файл, в диалоговом окне веб-интерфейса выбирать нужные параметры файла (нужный формат файла и т.п.) нажимать кнопку скачать данные.
    Периодичность - 1 раз в сутки. Количество конечных страниц и скачиваний файлов от нескольких тысяч до нескольких десятков тысяч.
    2. Полученные данные записывать в БД.
    3. Проводить обработку и аналитику
    4. Следующим этапом Ходить по сайтам с текстовой, в основном новостной информацией, ходить по архивам публикаций, новостей, анонсов, анализировать текстовую и графическую информацию, сохранять в БД только нужную информацию, 9не качать в локальные БД всю выборку, а только результаты свобственной аналитики), увязывать результаты 2й работы с результатами первой работы.
    Периодичность - 1 раз в сутки. Количество конечных страниц, аналитических действий и скачиваний от нескольких десятков до нескольких тысяч.
    5. Выдавать аналитику, строить графики из собранной БД.
    6. В таком режиме (наблюдения и аналитики) комплекс проработает 0,5-1 год, и результаты меня могут устраивать локальные в любых локальных формах.
    7. В перспективе, когда аналитика будет достаточная, выводить комплекс в веб интерфейс, чтобы аналитикой можно было пользоваться публично и непублично через веб.

    Подскажите пож-та, для реализации данной задачи, какие под MS Windosw языки программирования, инструменты, библиотеки, фреймворки, которые для реализации подойдут больше всего. Изучать всё придется с нуля.
    Да. Еще желательна поддержка модульности, чтобы в будущем отдельные модули, например, работа с графикой, работа с вебом, модуль парсинга можно было реализовывать силами привлеченных сторонних программистов.


    Заранее Вас благодарю за советы!

  2. #2
    Местный Arks - луч света в тёмном царстве Arks - луч света в тёмном царстве Arks - луч света в тёмном царстве Arks - луч света в тёмном царстве Arks - луч света в тёмном царстве Аватар для Arks
    Регистрация
    20.03.2010
    Адрес
    Москва
    Сообщений
    2,777
    Thanks
    66
    Thanked 284 Times in 266 Posts
    C# + SSRS
    Последний раз редактировалось Arks; 27.08.2015 в 21:40.
    Earling Mitsomaar!! div-pro

  3. #3
    Новичок picsen на пути к лучшему Аватар для picsen
    Регистрация
    19.05.2017
    Сообщений
    6
    Thanks
    0
    Thanked 0 Times in 0 Posts
    Спасибо за совет

  4. #4
    Новичок mashadzen на пути к лучшему Аватар для mashadzen
    Регистрация
    11.10.2019
    Сообщений
    1
    Thanks
    0
    Thanked 0 Times in 0 Posts
    Empire Market is great and most trendy Dark Web Market there is right now. Being this great it faces the problem of continuous Ddos attacks leading prime Empire Market URL to be down, and alternative link too. That means to empire market have to make a lot of URLs and onion links and mirror. And the problem is that there are not many ways costumers can get a right Empire Marketplace mirrors.
    That's why Empire Market decided to create an official webpage where their users can always find fresh URLs and onion mirrors, for instant enter to Empire Market. Here it is http://empiremarket-link.com be sure you using every time you want to access to darknet market empire market.

+ Ответить в теме

Похожие темы

  1. Ответов: 0
    Последнее сообщение: 20.01.2014, 08:49
  2. Ответов: 9
    Последнее сообщение: 10.05.2011, 00:05
  3. Графические часы на сайте
    от vital в разделе JavaScript
    Ответов: 1
    Последнее сообщение: 30.09.2008, 21:58
  4. Графические кнопки
    от jmagath в разделе HTML
    Ответов: 24
    Последнее сообщение: 17.05.2008, 16:03

Социальные закладки

Социальные закладки

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения