Tempora

Новицкий Глеб Павлович

Терехов Павел Сергеевич

Система мониторинга утечек данных предназначена для выявления инцидентов, связанных с публикацией конфиденциальной информации в открытых источниках (форумы, даркнет, Telegram-каналы). Система осуществляет непрерывный сбор, анализ и визуализацию упоминаний, связанных с потенциальными утечками.

Проект разработан в рамках учебной практики студентом направления «Информационная безопасность автоматизированных систем».

├── Driver/                         Основной компонент для работы с веб-ресурсами
│   ├── chrome_proxy.py            Работа с Chrome через undetected-chromedriver + прокси
│   └── driver_creator.py          Создание и настройка экземпляра драйвера
├── Tasks/                         Модуль задач парсинга
│   ├── forum_crawler.py          Парсинг данных с форумов
│   └── tg_crawler.py             Парсинг Telegram-каналов
├── Utils/                         Вспомогательные утилиты
│   └── logg.py                   Логирование работы системы
├── Web/                           Веб-интерфейс
│   ├── Static/                   CSS/JS/Изображения
│   ├── Templates/                HTML-шаблоны
│   └── app.py                    Flask приложение
└── Основные файлы:
    ├── .env                      Конфигурации, секреты приложения
    ├── .gitignore              Игнорируемые файлы для Git
    ├── celery_app.py            Конфигурация Celery 
    ├── celery_beat.py          Планировщик задач Celery
    ├── initiator.py            Точка входа
    ├── requirements.txt        Зависимости Python
    └── README.md              Описание проекта

Основные функции

• Мониторинг 3 телеграм каналов, одного форума

• Визуализация данных на веб-интерфейсе

• Централизованное логирование и уведомления об ошибках

Запуск проекта

pip install -r requirements.txt

В отдельных окнах

python celery_beat.py python initiator.py

Зависимости

Библиотека	Назначение	Область применения
requests	HTTP-клиент для отправки запросов и получения ответов	Парсинг, работа с API
setuptools	Инструмент для упаковки Python-проектов и управления зависимостями	Сборка, установка пакетов
python-dotenv	Загрузка переменных окружения из файла .env	Конфигурация, безопасное хранение секретов
tls-client	Кастомный HTTP-клиент с поддержкой TLS и антибот-защиты	Парсинг сайтов с защитой
undetected-chromedriver	Модифицированный ChromeDriver, обходящий антибот-защиту	Веб-скрапинг с защитой (Cloudflare и др.)
selenium	Управление браузером для автоматизации действий	Парсинг, тестирование веб-интерфейсов
grpc_interceptor_headers	Расширение gRPC-перехватчиков с поддержкой заголовков	gRPC API, метаданные
telethon	Асинхронная библиотека для работы с Telegram API через MTProto	Мониторинг Telegram-каналов
schedule	Простое планирование задач в Python	Локальный запуск задач по расписанию
psycopg2-binary	PostgreSQL-драйвер для Python	Работа с СУБД PostgreSQL
docker	Python-интерфейс к Docker Engine API	Управление контейнерами программно
asyncio	Базовая библиотека Python для асинхронного программирования	Асинхронные задачи, неблокирующий ввод/вывод
pytz	Работа с часовыми поясами	Корректная работа с временем
flask	Легковесный веб-фреймворк	Веб-интерфейсы, REST API
apscheduler	Планировщик задач с расширенными возможностями (cron, interval, date)	Автоматизация периодических задач