müfettiş
Moderatör
- Katılım
- 20 Ocak 2024
- Mesajlar
- 325
- Tepkime puanı
- 1
- Puanları
- 18
SpiderFoot ile Otomatize OSINT: 100’den Fazla Kaynaktan Veri Toplama
OSINT (Açık Kaynak İstihbaratı) çalışmalarında en büyük düşman zamandır. Bir hedef (örneğin bir IP adresi veya alan adı) hakkında bilgi toplamak için Shodan'a bakarsınız, Whois sorgusu yaparsınız, karalisteleri kontrol edersiniz, sosyal medyayı tararsınız... Bu süreç manuel yapıldığında saatler, hatta günler alır.SpiderFoot, bu süreci otomatize eden, açık kaynaklı ve modüler bir keşif (reconnaissance) aracıdır. Siz ona sadece bir hedef verirsiniz (bir domain, bir e-posta veya bir IP), o ise internetin altını üstüne getirerek bulduğu her veriyi size yapılandırılmış bir rapor halinde sunar.
SpiderFoot, siber güvenlikçilerin "İsviçre Çakısı" gibidir; hem savunma (Blue Team) hem de saldırı (Red Team) tarafında vazgeçilmezdir.
Bölüm 1: SpiderFoot Nedir ve Nasıl Çalışır?
SpiderFoot, Python ile yazılmış, web tabanlı bir arayüze sahip olan bir otomasyon aracıdır. Çalışma mantığı "Modüler Tarama" prensibine dayanır.Araç, tek bir hedefi alır ve onu yüzlerce farklı modülden (kaynaktan) geçirir.
- Hedef: hedef-sirket.com
- Süreç: SpiderFoot bu domaini alır; önce DNS modülüne sokar, oradan çıkan IP adresini GeoIP modülüne sokar, oradan çıkan konumu başka bir modüle sokar...
- Sonuç: Birbirini tetikleyen bu zincirleme reaksiyon sonunda, hedef hakkında devasa bir veri havuzu oluşur.
Bölüm 2: Veri Kaynakları (Modüller)
SpiderFoot'u güçlü kılan şey, entegre olduğu kaynak sayısıdır. 200'den fazla modüle sahiptir. Bu modüller üç kategoriye ayrılır:1. Herkese Açık Kaynaklar (Public Data Sources)
Herhangi bir API anahtarı (üyelik) gerektirmeyen, doğrudan sorgulanabilen kaynaklardır.- Örnekler: Whois veritabanları, DNS kayıtları, web sayfası içerikleri (crawling), SSL sertifikaları, arşiv siteleri (Wayback Machine).
2. API Gerektiren Kaynaklar (API Key Required)
Daha derinlemesine bilgi için üyelik gerektiren servislerdir. SpiderFoot'un ayarlar kısmına bu servislerin API anahtarlarını girerseniz, araç sizin adınıza bu servisleri de sorgular.- Entegrasyonlar: Shodan, Censys, VirusTotal, HaveIBeenPwned, AlienVault OTX, SecurityTrails.
- Not: Bu entegrasyonlar SpiderFoot'u basit bir tarayıcıdan, profesyonel bir istihbarat platformuna dönüştürür.
3. Aktif ve Pasif Tarama
- Pasif: Hedefle asla iletişime geçmez, iz bırakmaz (Örn: Whois sorgusu).
- Aktif: Hedefe doğrudan paket gönderir (Örn: Port taraması). SpiderFoot varsayılan olarak pasiftir, ancak isterseniz aktif modülleri de açabilirsiniz.
Bölüm 3: Kurulum ve Kullanım
SpiderFoot'un en güzel yanı, kullanımının inanılmaz derecede basit olmasıdır.- Kurulum: Python yüklü herhangi bir bilgisayarda (Windows, Linux, macOS) çalışabilir.
- git clone https://github.com/smicallef/spiderfoot
- pip install -r requirements.txt
- python3 sf.py -l 127.0.0.1:5001
- Arayüz: Tarayıcınızı açıp http://127.0.0.1:5001 adresine gittiğinizde, modern ve sade bir kontrol paneli sizi karşılar.
- Tarama Başlatma (New Scan):
- Scan Name: Taramaya bir isim verin (Örn: Rakip Analizi).
- Scan Target: Hedefi girin (Örn: 192.168.1.1 veya sirket.com).
- Modül Seçimi: "All" (Hepsini seç) diyebilir veya "Use Cases" sekmesinden amacınıza uygun (Örn: Sadece Blacklist kontrolü) paketi seçebilirsiniz.
- Arkanıza Yaslanın: "Run Scan" dediğiniz anda SpiderFoot çalışmaya başlar.
Bölüm 4: SpiderFoot ile Neler Bulabilirsiniz?
Bir tarama bittiğinde karşınıza çıkan rapor şunları içerebilir:- Sızan Veriler: GitHub veya Pastebin gibi sitelerde hedef şirkete ait kod parçacıkları veya şifreler.
- E-posta Adresleri: Şirket çalışanlarının internete düşmüş e-posta adresleri (Oltalama testleri için harika bir veridir).
- Zafiyetli Yazılımlar: Hedef sitede kullanılan eski WordPress eklentileri veya güncellenmemiş sunucu sürümleri.
- Kara Liste Kontrolü: Hedef IP adresinin spam listelerinde veya botnet ağlarında olup olmadığı.
- Affiliate (Bağlı) Ağlar: Hedef sitenin bağlantılı olduğu diğer siteler, alt alan adları (subdomains) ve partnerler.
Bölüm 5: Kullanım Senaryoları (Use Cases)
SpiderFoot kimler içindir?1. Red Team (Saldırı Ekipleri) - Keşif
Bir sızma testine (Pentest) başlamadan önce hedef hakkında maksimum bilgi toplamak için kullanılır. Hedefin saldırı yüzeyini (Attack Surface) haritalandırır.2. Blue Team (Savunma Ekipleri) - Varlık Yönetimi
"Bizim dışarıdan görünen neyimiz var?" sorusunun cevabıdır. Şirketler bazen kendi unuttukları sunucuları (Shadow IT) SpiderFoot taramasıyla fark ederler.3. Tehdit İstihbaratı (CTI) Analistleri
Kötü amaçlı bir IP adresi veya domain tespit edildiğinde, bu adresin geçmişini ve bağlantılarını hızlıca analiz etmek için kullanılır.Bölüm 6: SpiderFoot HX vs. Açık Kaynak
SpiderFoot'un iki versiyonu vardır:- Açık Kaynak (Open Source): Tamamen ücretsizdir, kendi bilgisayarınıza kurarsınız. Yukarıda anlattığımız özelliklerin çoğuna sahiptir.
- SpiderFoot HX (Cloud): Ücretli, bulut tabanlı versiyondur.
- Farkı: Daha gelişmiş raporlama, ekip çalışması özelliği, zamanlanmış taramalar (Her sabah 09:00'da tara) ve anlık değişim izleme (Monitoring) sunar.
Sonuç: Veriyi Bilgiye Dönüştürmek
SpiderFoot, OSINT dünyasının "iş makinesi"dir. Maltego gibi şık grafikler çizmekten ziyade, ham veriyi toplama ve sınıflandırma işine odaklanır.Bir analistin 10 saatte toplayacağı veriyi 10 dakikada toplayarak, analiste en değerli kaynağı, yani zamanı hediye eder. Analistin görevi artık veri aramak değil, SpiderFoot'un önüne serdiği veriyi yorumlamaktır.