Kampf gegen Bots

Absicherung und Schutz für Webserver

Mit Aufstieg der KI-Modelle als neuer Hype (teils durchaus berechtigt, die Möglichkeiten sind enorm, aber wie das immer so ist mit den IT-Fuzzies...) hat der Datenverkehr abermals enorm zugenommen. Auf einem der von uns betriebenen Webserver führte dies innerhalb kurzer Zeit zu einer Zunahme der Auslastung der kompletten Maschine von 2-3 % im Schnitt vorher auf 30 % seit die AI-Bots drauf zugreifen (!). Die Frage, die sich stellt, wer zahlt die steigenden Stromkosten bei uns und weltweit? Dass dies die Schuldigen tun, gibt es selten.

Also muss man etwas dagegen tun.

A. Linksammlung
Richtige Lösung habe ich noch nicht gefunden, aber einige Adressen sind nicht verkehrt:

• Blackhole for bad bots ist eine gute Quelle, die für mich leider wegen dem reverse proxy noch Probleme bereitet;

• Speziell für den NPM - also den Nginx Proxy Manager - wird der Wunsch geäußert, eine andere Lösung des Bot-Schutzes einzuführen; diese ist durchaus vorhanden, aber nicht in den NPM integriert; sowohl die Infos hier wie auch Links sind nützlich;

B. Lösungsansätze

---