tobias/konzert.fun
Watch
1
0
Fork
You've already forked konzert.fun
 0
Code Issues 3 Pull requests Projects Releases Packages Wiki Activity Actions

Filtergründe der Scraper zählen und im Pflege-Digest zeigen #51

New issue
Open
opened 2026-09-27 13:39:05 +02:00 by tobias · 0 comments
tobias commented 2026-09-27 13:39:05 +02:00
Owner

Aus dem Review zum Wartungslauf 27.09.2026 (Fidibus, silent-failure-hunter).

Problem: skippe_element gibt nur True zurück – ohne Grund, Zähler oder Log. Filtern Titel-/Uhrzeit-Heuristiken (Slot-Markt, Bahnhof-Pauli-Einlass ab 23 Uhr, Georg-Elser-Hörspiel, Blocklists in Markthalle/Knust/Logo/U&G …) einzelne echte Konzerte weg, fällt das niemandem auf. Alarm gibt es erst bei 0-konzerte-in-db.

Vorschlag:

  • Heuristik-Filter liefern einen Grund, der Scraper sammelt self.gefiltert_gruende[grund].append(titel).
  • main.py schreibt die Treffer in eine Wochensammeldatei (analog gedaempfte-probleme.txt), pflege_digest.py nimmt sie in die TODO.org-Aufgabe auf.
  • Optional: ntfy, wenn eine Regel ungewöhnlich viel trifft (z.B. > 3 Treffer oder > 30 % der gesehenen Elemente pro Lauf).

Umbau über alle Scraper – bewusst nicht im Wartungslauf erledigt.

Aus dem Review zum Wartungslauf 27.09.2026 (Fidibus, silent-failure-hunter). **Problem:** `skippe_element` gibt nur `True` zurück – ohne Grund, Zähler oder Log. Filtern Titel-/Uhrzeit-Heuristiken (Slot-Markt, Bahnhof-Pauli-Einlass ab 23 Uhr, Georg-Elser-Hörspiel, Blocklists in Markthalle/Knust/Logo/U&G …) einzelne echte Konzerte weg, fällt das niemandem auf. Alarm gibt es erst bei `0-konzerte-in-db`. **Vorschlag:** - Heuristik-Filter liefern einen Grund, der Scraper sammelt `self.gefiltert_gruende[grund].append(titel)`. - `main.py` schreibt die Treffer in eine Wochensammeldatei (analog `gedaempfte-probleme.txt`), `pflege_digest.py` nimmt sie in die TODO.org-Aufgabe auf. - Optional: ntfy, wenn eine Regel ungewöhnlich viel trifft (z.B. > 3 Treffer oder > 30 % der gesehenen Elemente pro Lauf). Umbau über alle Scraper – bewusst nicht im Wartungslauf erledigt.
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
No results found.
Labels
Clear labels   
backlog
Zurückgestellt

No labels
backlog
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
tobias/konzert.fun#51
No description provided.