Rspamd Einrichten: Unterschied zwischen den Versionen

Aus Xinux Wiki
Zur Navigation springen Zur Suche springen
 
(19 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
−
== Fehlerdiagnose und Administration: ClamAV und Rspamd ==
+
=Rspamd und ClamAV installieren= 
 +
==Debian/Ubuntu==
 +
  apt install rspamd clamav-daemon clamav-freshclam redis-server swaks
  
−
Diese Zusammenfassung dient als Spickzettel fuer die taegliche Administration und Fehlerbehebung.
+
==RHEL/CentOS== 
 +
  dnf install rspamd clamav clamav-update redis swaks
  
−
=== Protokolldateien ueberwachen ===
+
=Enablen und Starten der Dienste=
−
Die wichtigsten Dateien zur Fehlersuche:
+
  systemctl enable rspamd --now
 +
  systemctl enable clamav-daemon --now
 +
  systemctl enable redis-server --now
  
−
* Rspamd Hauptlog: /var/log/rspamd/rspamd.log
+
=== Redis-Anbindung (Das Gedächtnis von Rspamd) ===
−
* ClamAV Scanlog: /var/log/clamav/clamav.log
+
Damit Rspamd Scanergebnisse zwischenspeichern und statistische Analysen (Bayes) durchführen kann, ist eine Datenbank-Anbindung zwingend erforderlich. Ohne Redis arbeiten viele Module (wie Antivirus oder Greylisting) nur eingeschränkt oder gar nicht.
−
* ClamAV Update-Log: /var/log/clamav/freshclam.log
+
 
−
* System-Journal (fuer Service-Fehler): journalctl -u clamav-daemon -u rspamd
+
==== Konfiguration in Rspamd ====
 +
Rspamd benötigt einen zentralen Ort, an dem die Server-Adresse von Redis definiert ist. Dies geschieht üblicherweise in einer lokalen Konfigurationsdatei.
 +
 
 +
Datei: /etc/rspamd/local.d/redis.conf
 +
 
 +
<pre>
 +
# Definition des lokalen Redis-Servers
 +
servers = "127.0.0.1:6379";
 +
</pre>
 +
 
 +
==== Warum das für ClamAV wichtig ist ====
 +
Virenscanner-Ergebnisse sind CPU-intensiv. Rspamd speichert das Ergebnis eines Scans (z.B. "Diese Datei mit Hash XY ist ein Virus") für eine gewisse Zeit in Redis. Wenn dieselbe Mail erneut reinkommt, muss ClamAV nicht noch einmal rechnen – Rspamd holt die Antwort direkt aus dem Redis-Cache.
 +
 
 +
  systemctl start redis-server
 +
  systemctl enable redis-server.service
 +
 
 +
=Läuft alles=
 +
  systemctl status rspamd
 +
  systemctl status clamav-daemon
 +
  systemctl status redis-server
 +
 
 +
=Dienste und Ports von Rspamd= 
 +
==Rspamd Proxy== 
 +
*Der Rspamd Proxy dient als Eingangsfilter für E-Mails und leitet sie an die entsprechenden Worker weiter, um die Last zu verteilen. 
 +
<pre> 
 +
Port: 11332/tcp (Standardport für Proxy-Dienste) 
 +
</pre> 
 +
 
 +
==Rspamd Worker== 
 +
*Der Rspamd Worker führt die eigentliche Spam-Analyse durch und verarbeitet eingehende Nachrichten anhand von Regeln, Statistiken und externen Diensten. 
 +
<pre> 
 +
Port: 11333/tcp (Standardport für Worker-Dienste) 
 +
</pre> 
 +
 
 +
==Rspamd Controller== 
 +
*Der Rspamd Controller stellt eine API für Konfiguration, Statistiken und manuelles Training des Filters zur Verfügung. 
 +
<pre> 
 +
Port: 11334/tcp (Standardport für den Controller) 
 +
</pre>
 +
 
 +
=Passwort für den Rspamd Controller und Port nach außen öffnen=
 +
;Passwort erzeugen
 +
  rspamadm pw
 +
 
 +
Enter passphrase:
 +
$2$mqbbp8yb4fz8febgpxk7rb4db9p5njwg$xior3gxjbuc76bhsq4rapq7x98cssrm9qkr49kwapgdsahmpzjny
 +
 
 +
;In der Worker Datei eintragen
 +
;Port an allen Interfaces lauschen lassen
 +
  cat /etc/rspamd/override.d/worker-controller.inc
 +
 
 +
<pre>
 +
password = "$2$mqbbp8yb4fz8febgpxk7rb4db9p5njwg$xior3gxjbuc76bhsq4rapq7x98cssrm9qkr49kwapgdsahmpzjny";
 +
bind_socket ="*:11334";
 +
</pre>
 +
 
 +
=Restart=
 +
  systemctl restart rspamd
 +
 
 +
=Zugriff auf das Webinterface=
 +
*http://IP-Mailserver:11334
 +
[[Datei:Rspamd-1.png]]
 +
 
 +
=Milters= 
 +
*Milters sind Mail-Filter, die über das Milter-Protokoll mit MTA-Software wie Postfix oder Sendmail kommunizieren. 
 +
*Sie ermöglichen die Verarbeitung und Filterung von E-Mails in Echtzeit, bevor sie zugestellt werden. 
 +
*Milter werden häufig für Spam-Filterung, Virenscans und Inhaltsüberprüfungen eingesetzt.
 +
 
 +
=Einbinden in Postfix=
 +
  postconf -e "smtpd_milters=inet:127.0.0.1:11332"
 +
  postconf -e "non_smtpd_milters=inet:127.0.0.1:11332"
 +
  postfix reload
 +
 
 +
=Gtube Testmail=
 +
  swaks --to root@localhost --server 127.0.0.1 --body "XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X"
 +
 
 +
=Resultat=
 +
[[Datei:Rspamd-2.png]]
 +
 
 +
=Die Logs=
 +
  journalctl -u postfix | grep cleanup
 +
 
 +
Mar 18 19:21:22 mail.it113.int postfix/cleanup[7407]: 88BDDE0792: milter-reject: END-OF-MESSAGE from localhost[127.0.0.1]: 5.7.1 Gtube pattern; from=<root@mail.it113.int> to=<martha@mail.it113.int>
 +
Mar 18 19:21:22 mail.it113.int postfix/cleanup[7407]: 88BDDE0792: to=<martha@mail.it113.int>, orig_to=<martha>, relay=none, delay=0.19, delays=0.19/0/0/0, dsn=5.7.1, status=bounced (Gtube pattern)
 +
Mar 18 19:21:22 mail.it113.int postfix/cleanup[7410]: B3D24E07C2: message-id=<20250318182122.B3D24E07C2@mail.it113.int>
 +
 
 +
=Restart=
 +
*systemctl restart rspamd
 +
 
 +
=RBL-Integration in Rspamd und Postfix (Proof of Concept)= 
 +
==Rspamd mit lokaler RBL== 
 +
 
 +
===Configuration===
 +
  vi /etc/rspamd/local.d/multimap.conf
 +
 
 +
<pre>
 +
blacklist_ip {
 +
    type = "ip";
 +
    map = "/etc/rspamd/local.d/local_rbl.txt";
 +
    symbol = "LOCAL_RBL_HIT";
 +
    action = "reject";
 +
    description = "Lokale RBL-Hit";
 +
}
 +
</pre>
 +
 
 +
===Blackliste===
 +
  echo 10.88.201.3 > /etc/rspamd/local.d/local_rbl.txt
 +
 
 +
===Rspamd neustarten=== 
 +
  systemctl restart rspamd
 +
 
 +
===Tests===
 +
;postiv
 +
  echo hallo welt | rspamc -i 10.88.113.22
 +
 
 +
<pre>
 +
Results for file: stdin (0 seconds)
 +
[Metric: default]
 +
Action: add header
 +
</pre>
 +
 
 +
;negativ
 +
  echo hallo welt | rspamc -i 10.88.201.3
 +
 
 +
<pre>
 +
Results for file: stdin (0 seconds)
 +
[Metric: default]
 +
Action: reject
 +
Symbol: LOCAL_RBL_HIT
 +
</pre>
 +
 
 +
=ClamAV-Integration in Rspamd (UNIX Socket)=
 +
Diese Dokumentation beschreibt die Anbindung von ClamAV über einen lokalen UNIX Socket an Rspamd. Dadurch entfällt die Nutzung eines TCP-Ports und die Kommunikation bleibt lokal und stabil.
 +
 
 +
== ClamAV Konfiguration ==
 +
 
 +
Datei: /etc/clamav/clamd.conf 
 +
 
 +
<pre>
 +
# TCP deaktiviert
 +
#TCPSocket 3310
 +
#TCPAddr 127.0.0.1
 +
 
 +
# UNIX Socket
 +
LocalSocket /var/run/clamav/clamd.ctl
 +
LocalSocketMode 666
 +
</pre>
 +
 
 +
== Rspamd Konfiguration ==
 +
 
 +
Datei: /etc/rspamd/override.d/antivirus.conf 
 +
 
 +
<pre>
 +
enabled = true;
 +
clamav {
 +
    type = "clamav";
 +
    symbol = "CLAM_VIRUS";
 +
    servers = "/var/run/clamav/clamd.ctl";
 +
    scan_text_mime = true;
 +
    scan_mime_parts = true;
 +
    min_size = 0;
 +
    scan_unauthenticated = true;
 +
    stream = true;
 +
    score = 20.0;
 +
}
 +
</pre>
 +
 
 +
== Validierung ==
 +
 
 +
=== Erstellung der Test-E-Mail ===
 +
Datei: /tmp/virus.eml
  
−
Live-Ueberwachung der Scans:
+
<pre>
 +
From: Test <test@it213.int>
 +
To: Root <root@it213.int>
 +
Subject: EICAR Test
 +
MIME-Version: 1.0
 +
Content-Type: multipart/mixed; boundary="Grenzlinie"
 +
 
 +
--Grenzlinie
 +
Content-Type: text/plain; charset="utf-8"
 +
 
 +
Antivirus Testmail.
 +
 
 +
--Grenzlinie
 +
Content-Type: application/com-file; name="eicar.com"
 +
Content-Disposition: attachment; filename="eicar.com"
 +
Content-Transfer-Encoding: 7bit
 +
 
 +
X5O!P%@AP[4\PZX54(P^)7CC)7}$EICAR-STANDARD-ANTIVIRUS-TEST-FILE!$H+H*
 +
 
 +
--Grenzlinie--
 +
</pre>
 +
 
 +
=== Testlauf ===
 +
  rspamc --ip 1.2.3.4 /tmp/virus.eml
 +
 
 +
Ein erfolgreicher Scan wird durch das Symbol CLAM_VIRUS bestätigt.
 +
 
 +
== Fehlerdiagnose und Administration ==
 +
 
 +
=== Protokolldateien überwachen ===
 +
* /var/log/rspamd/rspamd.log
 +
* /var/log/clamav/clamav.log
 +
* /var/log/clamav/freshclam.log
 +
* journalctl -u clamav-daemon -u rspamd
 +
 
 +
Live:
 
<pre>
 
<pre>
 
tail -f /var/log/rspamd/rspamd.log | grep -E "antivirus|clamav"
 
tail -f /var/log/rspamd/rspamd.log | grep -E "antivirus|clamav"
Zeile 17: Zeile 227:
  
 
=== Netzwerk-Ports und Sockets ===
 
=== Netzwerk-Ports und Sockets ===
−
Folgende Ports muessen auf der lokalen Schnittstelle (127.0.0.1) aktiv sein:
+
* Port 11333: Rspamd Worker
 +
* Port 11334: Rspamd Controller
 +
* Port 6379: Redis
  
−
* Port 3310: ClamAV TCP-Socket (nINSTREAM)
 
−
* Port 11333: Rspamd Proxy (Normaler Mailflow)
 
−
* Port 11334: Rspamd Controller (WebUI und API)
 
−
* Port 6379: Redis Key-Value Store
 
−
 
−
Pruefung mit dem Befehl ss:
 
 
<pre>
 
<pre>
−
ss -ltpn | grep -E "3310|11333|11334|6379"
+
ss -ltpn | grep -E "11333|11334|6379"
 
</pre>
 
</pre>
  
 
=== Redis Datenbank bereinigen ===
 
=== Redis Datenbank bereinigen ===
−
Wenn Rspamd unerwartete Bewertungen abgibt oder alte gelernte Daten (Bayes) stoeren, kann der Zwischenspeicher geleert werden:
 
−
 
 
<pre>
 
<pre>
−
# Loescht alle Daten in allen Redis-Datenbanken
 
 
redis-cli flushall
 
redis-cli flushall
 
</pre>
 
</pre>
  
 
=== Manueller Virenscan ===
 
=== Manueller Virenscan ===
−
Um zu pruefen, ob ClamAV arbeitet, ohne den Umweg ueber Rspamd zu gehen, nutzt man clamdscan oder sendet den Datenstrom direkt:
 
−
 
 
<pre>
 
<pre>
−
# Per clamdscan (nutzt die Konfiguration in /etc/clamav/clamd.conf)
 
 
clamdscan /tmp/virus.eml
 
clamdscan /tmp/virus.eml
−
 
−
# Direktes Senden an den TCP-Port (Test auf unterster Ebene)
 
−
(echo "nINSTREAM"; cat /tmp/virus.eml; echo "") | nc 127.0.0.1 3310
 
 
</pre>
 
</pre>
  
 
=== Aktualisierung der Virendefinitionen ===
 
=== Aktualisierung der Virendefinitionen ===
−
Das Werkzeug freshclam laeuft normalerweise als Hintergrunddienst. Manuelle Steuerung:
 
−
 
 
<pre>
 
<pre>
−
# Status des Update-Dienstes pruefen
 
 
systemctl status clamav-freshclam
 
systemctl status clamav-freshclam
−
 
−
# Update manuell erzwingen (Dienst muss vorher gestoppt werden)
 
 
systemctl stop clamav-freshclam
 
systemctl stop clamav-freshclam
 
freshclam
 
freshclam
Zeile 62: Zeile 254:
  
 
=== Prüfung der Dienstkonfiguration ===
 
=== Prüfung der Dienstkonfiguration ===
−
Bevor man Dienste neu startet, sollte immer die Syntax der Dateien geprueft werden:
 
−
 
 
<pre>
 
<pre>
 
rspamadm configtest
 
rspamadm configtest
 
</pre>
 
</pre>
 +
 +
=== Rspamd kommuniziert mit ClamAV? ===
 +
 +
;Cache leeren
 +
  redis-cli flushall
 +
 +
;UNIX Socket Debug
 +
  apt install strace
 +
  strace -p $(pidof clamd) -e trace=network
 +
 +
;TCP Debug (optional)
 +
  apt install tcpdump
 +
  tcpdump -ni lo port 3310

Aktuelle Version vom 23. März 2026, 12:00 Uhr

Rspamd und ClamAV installieren

Debian/Ubuntu

 apt install rspamd clamav-daemon clamav-freshclam redis-server swaks

RHEL/CentOS

 dnf install rspamd clamav clamav-update redis swaks

Enablen und Starten der Dienste

 systemctl enable rspamd --now
 systemctl enable clamav-daemon --now
 systemctl enable redis-server --now

Redis-Anbindung (Das Gedächtnis von Rspamd)

Damit Rspamd Scanergebnisse zwischenspeichern und statistische Analysen (Bayes) durchführen kann, ist eine Datenbank-Anbindung zwingend erforderlich. Ohne Redis arbeiten viele Module (wie Antivirus oder Greylisting) nur eingeschränkt oder gar nicht.

Konfiguration in Rspamd

Rspamd benötigt einen zentralen Ort, an dem die Server-Adresse von Redis definiert ist. Dies geschieht üblicherweise in einer lokalen Konfigurationsdatei.

Datei: /etc/rspamd/local.d/redis.conf 

# Definition des lokalen Redis-Servers
servers = "127.0.0.1:6379";

Warum das für ClamAV wichtig ist

Virenscanner-Ergebnisse sind CPU-intensiv. Rspamd speichert das Ergebnis eines Scans (z.B. "Diese Datei mit Hash XY ist ein Virus") für eine gewisse Zeit in Redis. Wenn dieselbe Mail erneut reinkommt, muss ClamAV nicht noch einmal rechnen – Rspamd holt die Antwort direkt aus dem Redis-Cache. 

 systemctl start redis-server
 systemctl enable redis-server.service

Läuft alles

 systemctl status rspamd
 systemctl status clamav-daemon
 systemctl status redis-server

Dienste und Ports von Rspamd

Rspamd Proxy

  • Der Rspamd Proxy dient als Eingangsfilter für E-Mails und leitet sie an die entsprechenden Worker weiter, um die Last zu verteilen.
  
Port: 11332/tcp (Standardport für Proxy-Dienste)

Rspamd Worker

  • Der Rspamd Worker führt die eigentliche Spam-Analyse durch und verarbeitet eingehende Nachrichten anhand von Regeln, Statistiken und externen Diensten.
  
Port: 11333/tcp (Standardport für Worker-Dienste)

Rspamd Controller

  • Der Rspamd Controller stellt eine API für Konfiguration, Statistiken und manuelles Training des Filters zur Verfügung.
  
Port: 11334/tcp (Standardport für den Controller)

Passwort für den Rspamd Controller und Port nach außen öffnen

Passwort erzeugen
 rspamadm pw

Enter passphrase: 
$2$mqbbp8yb4fz8febgpxk7rb4db9p5njwg$xior3gxjbuc76bhsq4rapq7x98cssrm9qkr49kwapgdsahmpzjny
In der Worker Datei eintragen
Port an allen Interfaces lauschen lassen
 cat /etc/rspamd/override.d/worker-controller.inc
 

password = "$2$mqbbp8yb4fz8febgpxk7rb4db9p5njwg$xior3gxjbuc76bhsq4rapq7x98cssrm9qkr49kwapgdsahmpzjny";
bind_socket ="*:11334";

Restart

 systemctl restart rspamd

Zugriff auf das Webinterface

Rspamd-1.png

Milters

  • Milters sind Mail-Filter, die über das Milter-Protokoll mit MTA-Software wie Postfix oder Sendmail kommunizieren.
  • Sie ermöglichen die Verarbeitung und Filterung von E-Mails in Echtzeit, bevor sie zugestellt werden.
  • Milter werden häufig für Spam-Filterung, Virenscans und Inhaltsüberprüfungen eingesetzt.

Einbinden in Postfix

 postconf -e "smtpd_milters=inet:127.0.0.1:11332"
 postconf -e "non_smtpd_milters=inet:127.0.0.1:11332"
 postfix reload

Gtube Testmail

 swaks --to root@localhost --server 127.0.0.1 --body "XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X"

Resultat

Rspamd-2.png

Die Logs

 journalctl -u postfix | grep cleanup

Mar 18 19:21:22 mail.it113.int postfix/cleanup[7407]: 88BDDE0792: milter-reject: END-OF-MESSAGE from localhost[127.0.0.1]: 5.7.1 Gtube pattern; from=<root@mail.it113.int> to=<martha@mail.it113.int>
Mar 18 19:21:22 mail.it113.int postfix/cleanup[7407]: 88BDDE0792: to=<martha@mail.it113.int>, orig_to=<martha>, relay=none, delay=0.19, delays=0.19/0/0/0, dsn=5.7.1, status=bounced (Gtube pattern)
Mar 18 19:21:22 mail.it113.int postfix/cleanup[7410]: B3D24E07C2: message-id=<20250318182122.B3D24E07C2@mail.it113.int>

Restart

  • systemctl restart rspamd

RBL-Integration in Rspamd und Postfix (Proof of Concept)

Rspamd mit lokaler RBL

Configuration

 vi /etc/rspamd/local.d/multimap.conf

blacklist_ip {
    type = "ip";
    map = "/etc/rspamd/local.d/local_rbl.txt";
    symbol = "LOCAL_RBL_HIT";
    action = "reject";
    description = "Lokale RBL-Hit";
}

Blackliste

 echo 10.88.201.3 > /etc/rspamd/local.d/local_rbl.txt

Rspamd neustarten

 systemctl restart rspamd

Tests

postiv
 echo hallo welt | rspamc -i 10.88.113.22

Results for file: stdin (0 seconds)
[Metric: default]
Action: add header
negativ
 echo hallo welt | rspamc -i 10.88.201.3

Results for file: stdin (0 seconds)
[Metric: default]
Action: reject
Symbol: LOCAL_RBL_HIT

ClamAV-Integration in Rspamd (UNIX Socket)

Diese Dokumentation beschreibt die Anbindung von ClamAV über einen lokalen UNIX Socket an Rspamd. Dadurch entfällt die Nutzung eines TCP-Ports und die Kommunikation bleibt lokal und stabil.

ClamAV Konfiguration

Datei: /etc/clamav/clamd.conf 

# TCP deaktiviert
#TCPSocket 3310
#TCPAddr 127.0.0.1

# UNIX Socket
LocalSocket /var/run/clamav/clamd.ctl
LocalSocketMode 666

Rspamd Konfiguration

Datei: /etc/rspamd/override.d/antivirus.conf 

enabled = true;
clamav {
    type = "clamav";
    symbol = "CLAM_VIRUS";
    servers = "/var/run/clamav/clamd.ctl";
    scan_text_mime = true;
    scan_mime_parts = true;
    min_size = 0;
    scan_unauthenticated = true;
    stream = true;
    score = 20.0;
}

Validierung

Erstellung der Test-E-Mail

Datei: /tmp/virus.eml 

From: Test <test@it213.int>
To: Root <root@it213.int>
Subject: EICAR Test
MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="Grenzlinie"

--Grenzlinie
Content-Type: text/plain; charset="utf-8"

Antivirus Testmail.

--Grenzlinie
Content-Type: application/com-file; name="eicar.com"
Content-Disposition: attachment; filename="eicar.com"
Content-Transfer-Encoding: 7bit

X5O!P%@AP[4\PZX54(P^)7CC)7}$EICAR-STANDARD-ANTIVIRUS-TEST-FILE!$H+H*

--Grenzlinie--

Testlauf

 rspamc --ip 1.2.3.4 /tmp/virus.eml

Ein erfolgreicher Scan wird durch das Symbol CLAM_VIRUS bestätigt.

Fehlerdiagnose und Administration

Protokolldateien überwachen

  • /var/log/rspamd/rspamd.log
  • /var/log/clamav/clamav.log
  • /var/log/clamav/freshclam.log
  • journalctl -u clamav-daemon -u rspamd

Live: 

tail -f /var/log/rspamd/rspamd.log | grep -E "antivirus|clamav"

Netzwerk-Ports und Sockets

  • Port 11333: Rspamd Worker
  • Port 11334: Rspamd Controller
  • Port 6379: Redis
ss -ltpn | grep -E "11333|11334|6379"

Redis Datenbank bereinigen

redis-cli flushall

Manueller Virenscan

clamdscan /tmp/virus.eml

Aktualisierung der Virendefinitionen

systemctl status clamav-freshclam
systemctl stop clamav-freshclam
freshclam
systemctl start clamav-freshclam

Prüfung der Dienstkonfiguration

rspamadm configtest

Rspamd kommuniziert mit ClamAV?

Cache leeren
 redis-cli flushall
UNIX Socket Debug
 apt install strace
 strace -p $(pidof clamd) -e trace=network
TCP Debug (optional)
 apt install tcpdump
 tcpdump -ni lo port 3310
Abgerufen von „http://xinux.net/index.php?title=Rspamd_Einrichten&oldid=67659“