feat: harden dashcam transfer tegen flakke SD-lezer + stale-mount cleanup
- dashcam-transfer.py: log echte OSError (shutil.copy2 i.p.v. cp), pre-flight leesbaarheidscheck voor ruimte-wissen, retry (3x) + early-abort (5x), guards op bestandssysteem-calls, WhatsApp GESTOPT bij defecte kaart - dashcam-transfer-mount.sh: skip als service al draait, read-only fsck.exfat health check, %k device-naam doorgeven - dashcam-transfer-cleanup.sh: nieuw - ruimt stale mount op bij udev REMOVE - udev/99-dashcam-trigger.rules: ADD + REMOVE regels met %k - tests: 20 python + 7 mount + 12 cleanup checks - README: architectuur, robuustheid, deploy-instructies
This commit is contained in:
parent
8ef7078ba4
commit
8cc04ea409
9 changed files with 779 additions and 76 deletions
65
README.md
65
README.md
|
|
@ -9,17 +9,51 @@ organisatie per datum en camera-positie (front/back). Draait op de **nextcloud**
|
|||
SD-kaart insteken
|
||||
→ udev detecteert vendor:product (14cd:1212 of 05e3:0751)
|
||||
→ systemd-run start /usr/local/bin/dashcam-transfer-mount %k
|
||||
→ skip als de transfer-service al draait (flaky lezer = geen 2e mount)
|
||||
→ wacht tot /dev/sdX1 verschijnt (max 60s)
|
||||
→ mount apparaat dynamisch op /mnt/sdcard (uid=1000, exfat)
|
||||
→ read-only fsck.exfat health check (logt, blokkeert niet)
|
||||
→ systemctl start dashcam-transfer.service
|
||||
→ /usr/local/bin/dashcam-transfer.py
|
||||
→ /usr/local/bin/dashcam-transfer
|
||||
1. Check mounts (/mnt/sdcard, /mnt/ultratouch)
|
||||
2. Scan /mnt/sdcard/Novatek/Movie/ op *.MP4
|
||||
3. Check vrije ruimte — verwijder oudste datum-mappen indien nodig
|
||||
4. Copy + verify + delete per bestand
|
||||
5. Stuur WhatsApp notificatie via wwebjs-api
|
||||
3. Leesbaarheidscheck bron (voorkomt ruimte wissen bij defecte kaart)
|
||||
4. Check vrije ruimte — verwijder oudste datum-mappen indien nodig
|
||||
5. Copy + verify + delete per bestand, met retry
|
||||
6. Early-abort bij aanhoudende I/O-fouten (SD-kaart defect)
|
||||
7. Stuur WhatsApp notificatie via wwebjs-api
|
||||
|
||||
SD-kaart uittrekken
|
||||
→ udev REMOVE trigger (zelfde vendor:product)
|
||||
→ systemd-run start /usr/local/bin/dashcam-transfer-cleanup (%k)
|
||||
→ stale mount? (device-node weg of source = verwijderd device)
|
||||
→ stop dashcam-transfer.service
|
||||
→ umount /mnt/sdcard (fallback: umount -l)
|
||||
```
|
||||
|
||||
## Robuustheid
|
||||
|
||||
Het script is ontworpen tegen de hierboven geziene productie-fout (defecte/flakke
|
||||
SD-kaartlezer die midden in de transfer offline klapt, `I/O error`, `device offline`):
|
||||
|
||||
- **Echte fout zichtbaar** — kopieerfouten worden als `OSError` met reden gelogd
|
||||
(i.p.v. alleen "exit status 1"); de eerdere `cp`-stderr ging verloren.
|
||||
- **Pre-flight leesbaarheidscheck** — voordat oude datum-mappen op de SSD worden
|
||||
verwijderd, wordt eerst een bestand van de kaart gelezen. Een onleesbare kaart
|
||||
resulteert in een duidelijke WhatsApp-"GESTOPT" en **niets** wordt gewist.
|
||||
- **Retry per bestand** — 3 pogingen met 2s pauze; vangt transiënte USB-glitches.
|
||||
- **Early-abort** — bij 5 opeenvolgende fouten stopt het script en stuurt het een
|
||||
WhatsApp met de laatste fout. Bronbestanden worden nooit verwijderd zonder
|
||||
geverifieerde kopie.
|
||||
- **Geen crash mid-loop** — alle bestandssysteem-calls zijn afgeschermd.
|
||||
- **fsck.exfat** — na mount draait het mount-script een read-only health check;
|
||||
een dirty/defecte kaart wordt daarmee zichtbaar in syslog.
|
||||
- **Geen dubbele runs** — het mount-script skip als de transfer al actief is.
|
||||
- **Stale-mount opruiming** — als de kaartlezer wordt uitgetrokken (of de kaart
|
||||
offline klapt) ruimt een udev REMOVE-trigger de mount op: de service wordt
|
||||
gestopt en `/mnt/sdcard` netjes ontkoppeld (lazy als dat mislukt). Zo blijft er
|
||||
nooit een dood device in de `mount`-output hangen.
|
||||
|
||||
## Hardware
|
||||
|
||||
| Component | Mount | Device | Doel |
|
||||
|
|
@ -82,15 +116,25 @@ De container: `docker-compose.yml` in `/home/aiaiaiaiagent/wwebjs-api/`.
|
|||
```udev
|
||||
ACTION=="add", SUBSYSTEM=="block", KERNEL=="sd*[0-9]", ENV{ID_VENDOR_ID}=="14cd", ENV{ID_MODEL_ID}=="1212", RUN+="/usr/bin/systemd-run --no-block --collect /usr/local/bin/dashcam-transfer-mount %k"
|
||||
ACTION=="add", SUBSYSTEM=="block", KERNEL=="sd*[0-9]", ENV{ID_VENDOR_ID}=="05e3", ENV{ID_MODEL_ID}=="0751", RUN+="/usr/bin/systemd-run --no-block --collect /usr/local/bin/dashcam-transfer-mount %k"
|
||||
ACTION=="remove", SUBSYSTEM=="block", KERNEL=="sd*[0-9]", ENV{ID_VENDOR_ID}=="14cd", ENV{ID_MODEL_ID}=="1212", RUN+="/usr/bin/systemd-run --no-block --collect /usr/local/bin/dashcam-transfer-cleanup %k"
|
||||
ACTION=="remove", SUBSYSTEM=="block", KERNEL=="sd*[0-9]", ENV{ID_VENDOR_ID}=="05e3", ENV{ID_MODEL_ID}=="0751", RUN+="/usr/bin/systemd-run --no-block --collect /usr/local/bin/dashcam-transfer-cleanup %k"
|
||||
```
|
||||
|
||||
`%k` geeft het kernel device (b.v. `sde1`) door aan het mount script.
|
||||
`%k` geeft het kernel device (b.v. `sde1`) door aan het mount- en cleanup-script,
|
||||
zodat de kaart dynamisch gemount wordt ongeacht het filesystem UUID. Na wijziging:
|
||||
`sudo udevadm control --reload-rules`.
|
||||
|
||||
### Mount script (`/usr/local/bin/dashcam-transfer-mount.sh`)
|
||||
|
||||
Wacht tot het doorgegeven device beschikbaar is, unmount eventuele stale mounts,
|
||||
mount de SD-kaart en start de service.
|
||||
|
||||
### Cleanup script (`/usr/local/bin/dashcam-transfer-cleanup.sh`)
|
||||
|
||||
Draait op udev REMOVE-trigger. Checkt of `/mnt/sdcard` een stale mount is (device-node
|
||||
weg of gemount op een verwijderd device) en ruimt hem dan op: service stoppen,
|
||||
`umount` (fallback `umount -l`). Bij een gezonde mount (ander device) doet het niets.
|
||||
|
||||
### Systemd service (`/etc/systemd/system/dashcam-transfer.service`)
|
||||
|
||||
```ini
|
||||
|
|
@ -121,9 +165,20 @@ Alle activiteit wordt gelogd naar `/tmp/dashcam-transfer.log` op nextcloud.
|
|||
## Ontwikkeling
|
||||
|
||||
Lokale repo: `~/src/dashcam-transfer/` op Mac Mini.
|
||||
Tests: `python3 -m unittest discover -s tests`, `./tests/test_mount_script.sh`
|
||||
en `./tests/test_cleanup_script.sh`.
|
||||
Deployen naar nextcloud:
|
||||
|
||||
```bash
|
||||
scp dashcam-transfer.py aiaiaiaiagent@nextcloud:/tmp/
|
||||
ssh aiaiaiaiagent@nextcloud 'sudo -A cp /tmp/dashcam-transfer.py /usr/local/bin/dashcam-transfer'
|
||||
scp dashcam-transfer-mount.sh aiaiaiaiagent@nextcloud:/tmp/
|
||||
ssh aiaiaiaiagent@nextcloud 'sudo -A cp /tmp/dashcam-transfer-mount.sh /usr/local/bin/dashcam-transfer-mount'
|
||||
scp dashcam-transfer-cleanup.sh aiaiaiaiagent@nextcloud:/tmp/
|
||||
ssh aiaiaiaiagent@nextcloud 'sudo -A cp /tmp/dashcam-transfer-cleanup.sh /usr/local/bin/dashcam-transfer-cleanup'
|
||||
scp udev/99-dashcam-trigger.rules aiaiaiaiagent@nextcloud:/tmp/
|
||||
ssh aiaiaiaiagent@nextcloud 'sudo -A cp /tmp/99-dashcam-trigger.rules /etc/udev/rules.d/ && sudo -A udevadm control --reload-rules'
|
||||
```
|
||||
|
||||
Controleer na deploy altijd met `sudo sha256sum` dat de hash op de server gelijk
|
||||
is aan de lokale `shasum -a 256`.
|
||||
|
|
|
|||
Loading…
Reference in a new issue