DataWhisper - Plateforme OSINT Centralisée

Description

DataWhisper est une plateforme centralisée d'outils OSINT (Open Source Intelligence) permettant de collecter, analyser et visualiser des données provenant de multiples sources.

Architecture

Backend (Python/FastAPI)

• API REST pour exposer les fonctionnalités

• Scrapers modulaires pour différentes sources

• Base de données pour stocker les données collectées

• Système de cache pour optimiser les performances

Frontend (React/TypeScript)

• Interface utilisateur moderne et responsive

• Visualisation des données avec graphiques et cartes

• Gestion des requêtes et résultats

Infrastructure

• Docker pour la containerisation

• Redis pour le cache

• PostgreSQL pour la persistance des données

Structure du Projet

DataWhisper/
├── backend/                 # API Python/FastAPI
│   ├── app/
│   │   ├── api/            # Endpoints API
│   │   ├── core/           # Configuration et sécurité
│   │   ├── models/         # Modèles de données
│   │   ├── scrapers/       # Modules de scraping
│   │   ├── services/       # Logique métier
│   │   └── utils/          # Utilitaires
│   ├── tests/              # Tests unitaires
│   └── requirements.txt    # Dépendances Python
├── frontend/               # Interface React
│   ├── src/
│   │   ├── components/     # Composants React
│   │   ├── pages/          # Pages de l'application
│   │   ├── services/       # Services API
│   │   └── utils/          # Utilitaires frontend
│   └── package.json        # Dépendances Node.js
├── docker/                 # Configuration Docker
├── docs/                   # Documentation
└── scripts/                # Scripts utilitaires

Technologies Utilisées

Backend

• Python 3.11+ - Langage principal

• FastAPI - Framework web moderne et rapide

• SQLAlchemy - ORM pour la base de données

• Celery - Gestion des tâches asynchrones

• BeautifulSoup/Scrapy - Web scraping

• Requests - Requêtes HTTP

Frontend

• React 18 - Framework UI

• TypeScript - Typage statique

• Tailwind CSS - Framework CSS

• Chart.js - Visualisation de données

• Axios - Client HTTP

Base de Données

• PostgreSQL - Base de données principale

• Redis - Cache et sessions

Installation

Prérequis

• Python 3.11+

• Node.js 18+

• Docker & Docker Compose

• PostgreSQL

• Redis

Démarrage Rapide

Cloner le projet
git clone <repository-url>
cd DataWhisper
Démarrer avec Docker
docker-compose up -d
Ou installation manuelle
Backend
cd backend
pip install -r requirements.txt
uvicorn app.main:app --reload
Frontend
cd frontend
npm install
npm start

Fonctionnalités

Sources OSINT Supportées

• [ ] Réseaux sociaux (Twitter, LinkedIn, etc.)

• [ ] Sites de vérification d'emails

• [ ] Bases de données publiques

• [ ] Forums et communautés

• [ ] Sites de news et blogs

• [ ] APIs publiques

Outils d'Analyse

• [ ] Analyse de sentiment

• [ ] Géolocalisation

• [ ] Analyse de réseaux

• [ ] Détection de patterns

• [ ] Export de rapports

Contribution

Licence

Ce projet est sous licence MIT. Voir le fichier LICENSE pour plus de détails.

Avertissement

Ce projet est destiné à des fins éducatives et de recherche légitimes uniquement. Respectez les conditions d'utilisation des sites web et les lois locales concernant la collecte de données.