TheHarvester

• TheHarvester Grundlagen
• TheHarvester Optionen
• TheHarvester momentan unterstützte Quellen
• TheHarvester Beispiele

TheHarvester Grundlagen

Paketbeschreibung

• Das Ziel dieses Programms ist verschiedene Dinge zusammeln
• Hierzu zählen
  • E-Mails
  • Subdomains
  • Hosts
  • Mitarbeiternamen
  • offene Ports
  • Banner
• Die Quellen sind hier
  • Suchmaschinen
  • PGP-Schlüsselservern
  • SHODAN-Computerdatenbanken zu sammeln.

Das Tool ist ein typischer Informationsbeschaffer

• Dieses Tool soll Penetrationstestern in den frühen Stadien des Penetrationstests helfen
• Es ist auch für jeden nützlich, der wissen möchte, was ein Angreifer über seine Organisation sehen kann.

Quelle

• https://github.com/laramies/theHarvester/

theHarvester-Startseite | Kali theHarvester Repo
Autor: Christian Martorella
Lizenz: GPLv2

TheHarvester Optionen

API Keys

Manche Abfragen verlagen eine Authorisierung, hier kommen die API Keys rein

• /etc/theHarvester/api-keys.yaml

apikeys:
  bing:
    key:

  censys:
    id:
    secret:

  github:
    key:

  hunter:
    key:

  intelx:
    key:

  pentestTools:
    key:

  projectDiscovery:
    key:

  securityTrails:
    key:

  shodan:
    key:

  spyse:
    key:

theHarvester is used to gather open source intelligence (OSINT) on a company or domain.

optional arguments

• -h, --help

show this help message and exit

• -d DOMAIN, --domain DOMAIN

Company name or domain to search.

• -l LIMIT, --limit LIMIT

Limit the number of search results, default=500.

• -S START, --start START

Start with result number X, default=0.

• -g, --google-dork

Use Google Dorks for Google search.

• -p, --proxies

Use proxies for requests, enter proxies in proxies.yaml.

• -s, --shodan

Use Shodan to query discovered hosts.

• --screenshot SCREENSHOT

Take screenshots of resolved domains specify output directory: --screenshot output_directory

• -v, --virtual-host

Verify host name via DNS resolution and search for virtual hosts.

• -e DNS_SERVER, --dns-server DNS_SERVER

DNS server to use for lookup.

• -t DNS_TLD, --dns-tld DNS_TLD

Perform a DNS TLD expansion discovery, default False.

• -r, --take-over

Check for takeovers.

• -n, --dns-lookup

Enable DNS server lookup, default False.

• -c, --dns-brute

Perform a DNS brute force on the domain.

-f FILENAME, --filename FILENAME

Save the results to an HTML and/or XML file.

-b SOURCE, --source SOURCE

baidu, bing, bingapi, bufferoverun, censys, certspotter, crtsh, dnsdumpster, duckduckgo, exalead, github-code, google,
hackertarget, hunter, intelx, linkedin, linkedin_links, netcraft, omnisint, otx, pentesttools, projectdiscovery, qwant,
rapiddns, securityTrails, spyse, sublist3r, threatcrowd, threatminer, trello, twitter, urlscan, virustotal, yahoo

TheHarvester momentan unterstützte Quellen

Formate

anubis, baidu, bevigil, binaryedge, bing, bingapi, 
bufferoverun, brave, censys, certspotter, criminalip,
crtsh, dnsdumpster, duckduckgo,fullhunt, github-code,
hackertarget, hunter, hunterhow, intelx, netlas, onyphe,
otx, pentesttools,projectdiscovery, rapiddns, rocketreach,
securityTrails, sitedossier, subdomaincenter, subdomainfinderc99,
threatminer, tomba, urlscan, virustotal, yahoo, zoomeye

Kostenlose API-Keys

Bing Search API (bingapi)

• Kostenlos: Microsoft bietet einen kostenlosen Plan für die Bing Search API an, allerdings mit begrenzten Anfragen pro Monat.
• Registrierung: Sie können sich über das Azure-Portal anmelden, um den API-Key zu erhalten.

Censys

• Kostenlos: Censys bietet einen kostenlosen API-Zugang mit einer limitierten Anzahl von Abfragen pro Tag.
• Registrierung: Erstellen Sie ein Konto auf der Censys-Webseite und erhalten Sie Ihren API-Key.

CertSpotter

• Kostenlos: CertSpotter bietet eine kostenlose Nutzung an, allerdings mit eingeschränkten Funktionen.
• Registrierung: API-Keys sind auf der CertSpotter-Webseite verfügbar.

CriminalIP

• Kostenlos: CriminalIP bietet einen kostenlosen Plan mit beschränkten Anfragen pro Monat.
• Registrierung: Registrieren Sie sich auf der CriminalIP-Webseite und erhalten Sie einen API-Key.

Crt.sh

• Kostenlos: crt.sh ist ein kostenloser Dienst, der keine API-Schlüssel benötigt. Abfragen können direkt ohne Registrierung durchgeführt werden.

FullHunt

• Kostenlos: FullHunt bietet einen kostenlosen API-Zugang mit eingeschränkten Funktionen.
• Registrierung: API-Keys können über die FullHunt-Webseite bezogen werden.

GitHub Code Search (github-code)

• Kostenlos: GitHub bietet API-Schlüssel für die Nutzung der GitHub-Suche an.
• Registrierung: Sie können den API-Key über Ihr GitHub-Konto erhalten.

Hunter.io

• Kostenlos: Hunter.io bietet eine begrenzte Anzahl von Anfragen pro Monat kostenlos an.
• Registrierung: Sie können sich auf der Hunter.io-Webseite registrieren, um einen API-Key zu erhalten.

IntelX

• Kostenlos: IntelX bietet einen kostenlosen API-Zugang mit begrenzten Anfragen pro Tag.
• Registrierung: API-Keys sind auf der IntelX-Webseite verfügbar.

Onyphe

• Kostenlos: Onyphe bietet einen kostenlosen API-Zugang mit limitierten Abfragen.
• Registrierung: Sie können sich auf der Onyphe-Webseite registrieren, um den API-Key zu erhalten.

OTX (Open Threat Exchange)

• Kostenlos: OTX von AlienVault bietet einen kostenlosen API-Zugang mit verschiedenen Sicherheitsinformationen.
• Registrierung: Registrieren Sie sich auf der OTX-Webseite und erhalten Sie einen API-Key.

URLScan.io

• Kostenlos: URLScan.io bietet eine begrenzte Anzahl von API-Aufrufen pro Monat kostenlos an.
• Registrierung: API-Keys können über die URLScan-Webseite bezogen werden.

VirusTotal

• Kostenlos: VirusTotal bietet einen kostenlosen API-Zugang mit limitierten Abfragen.
• Registrierung: Registrieren Sie sich auf der VirusTotal-Webseite und erhalten Sie einen API-Key.

Zoomeye

• Kostenlos: Zoomeye bietet eine begrenzte Anzahl von API-Anfragen pro Tag kostenlos an.
• Registrierung: API-Keys sind auf der Zoomeye-Webseite verfügbar.

TheHarvester Beispiele

Subdomain-Ermittlung über Certificate-Transparency-Logs (crt.sh)

Subdomains der Ziel-Domain, die in öffentlichen Certificate-Transparency-Logs aus TLS-Zertifikaten extrahiert wurden. Alle öffentlich ausgestellten TLS-Zertifikate müssen in CT-Logs veröffentlicht werden, wodurch sich Hostnamen passiv ermitteln lassen, ohne das Zielsystem direkt zu kontaktieren.

• theHarvester -d tuxmen.de -b crtsh

DNSDumpster

Man bekommt einen kostenlosen API Key, wenn man sich hier registriert https://dnsdumpster.com/. Der API-Key muss dann hier rein: /etc/theHarvester/api-keys.yaml

 dnsdumpster:
    key: API-KEY

• theHarvester -b dnsdumpster -d tuxmen.de

Passive DNS- und Host-Abfrage über HackerTarget

Einfache passive Abfrage von Hostnamen und IP-Adressen über öffentliche DNS- und Netzwerkdaten. Die Quelle ist stark limitiert, eignet sich aber zur schnellen Einordnung und als Ergänzung zu CT-Log-Ergebnissen.

• theHarvester -d tuxmen.de -b hackertarget

Kombinierte Subdomain-, DNS- und Shodan-Abfrage

Durch die Kombination aus Certificate-Transparency-Logs und DNS-Quellen werden zunächst Hostnamen und zugehörige IP-Adressen ermittelt. Die Option -s aktiviert die Shodan-Abfrage zur passiven Anreicherung dieser IP-Adressen mit Informationen zu offenen Ports und Diensten. Für die Nutzung von Shodan ist ein API-Key erforderlich, der nach Registrierung unter https://account.shodan.io/ bereitgestellt wird und in der Datei /etc/theHarvester/api-keys.yaml im Abschnitt shodan eingetragen werden muss.

• theHarvester -d tuxmen.de -s -b crtsh,dnsdumpster

Kombinierter Scan aus mehreren freien Quellen

• theHarvester -d tuxmen.de -b duckduckgo,yahoo,crtsh

Aufgaben

• Untersuche folgende Webseiten
  • heise.de
  • suse.de
  • redhat.com
  • microsoft.com
  • stylite.de
  • hetzner.de
  • kicker.de
  • sympatel.de