Phishsense-1B: Fine-tuned Small LLM for Phishing Detection
Metadane
- Autorzy: SE Blake
- Rok: 2025
- Źródło: arXiv:2503.10944
- Link: https://arxiv.org/abs/2503.10944
- Status: reference
- Kategoria: Security / NLP / Fine-tuning
- Tagi: reference llm fine-tuning lora phishing-detection small-model #2025
Streszczenie
Fine-tuning modelu Llama-Guard-3-1B z użyciem LoRA do detekcji phishingu. Porównuje fine-tuning vs. prompt engineering na małym modelu (1B parametrów). Wynik: 97.5% accuracy na własnym datasecie, 70% na real-world — pokazuje przepaść między lab a rzeczywistością.
Kluczowe Wnioski
- Fine-tuning LoRA: 97.5% accuracy (własny dataset) → spada do 70% real-world
- Prompt engineering bez fine-tuningu: ~75-80% na własnym datasecie
- Fine-tuning > prompt engineering dla małych modeli w tym zadaniu
- Kluczowa obserwacja: lab accuracy drastycznie zawyża real-world performance (97.5% → 70%)
- Małe modele (1B) mogą być deployowane lokalnie w browser extension
Metodologia
- Base model: Llama-Guard-3-1B (Meta)
- Fine-tuning: LoRA (Low-Rank Adaptation) — efektywne przy małych zasobach
- Dataset: własny (phishing URLs + benign) — szczegóły nie ujawnione
- Real-world test: niezależny zbiór phishing URLs zebranych po treningu
Notatki
Rola w projekcie: Baseline dla H5 — małe modele fine-tuned jako alternatywa do CLIP dla latency-sensitive deploymentu. 70% real-world recall = słabszy niż CLIP zero-shot (szacowany >80%) → argument za CLIP podejściem. Też: ostrzeżenie przed overfittingiem na lab datasets.