FileLogConvert
| FileLogConvert | |
|---|---|
| Zweck / Funktion | |
| einlesen von Filelogs in eine logdb | |
| Allgemein | |
| Typ | Hilfsmodul |
| Details | |
| Dokumentation | EN / DE |
| Support (Forum) | FHEM |
| Modulname | 98_FileLogConvert.pm |
| Ersteller | DeeSPe |
| Wichtig: sofern vorhanden, gilt im Zweifel immer die (englische) Beschreibung in der commandref! | |
Kann dazu verwendet werden, um FileLogs in eine DbLog-Datenbank einzulesen.
Vorbereitung
Zuerst brauchen wir ein DbLog-Device:
dazu könnte ein DbRep-Device helfen:
Wenn das soweit erledigt ist, muss das FileLogConvert-Modul aus contrib nach FHEM kopiert werden:
cp /opt/fhem/contrib/98_FileLogConvert.pm /opt/fhem/FHEM
Wenn die Datei nicht vorhanden ist, muss ein update von contrib vorgenommen werden:
svn checkout https://svn.fhem.de/fhem/trunk/fhem/contrib contrib
dann kann ein FileLogConvert-Device angelegt werden
define flc FileLogConvert <DbLogDevice>
Arbeiten mit dem FileLogConvert-Device
nun können mit
set flc import2DbLog <Filelog-Dateiname.log>
die logdateien importiert werden
Tipps und Tricks
Events unterdrücken
wenn man bei erstellung des DbLog-Devices ein
attr .* DbLogExclude .*
absetzt, werden keine Events geloggt. Dadurch kann man hinterher die Zeilen der Datei
wc -l Dateiname
mit den importierten Zeilen
Reading lines-imported
mit den in der Datenbank vorhandenen Zeilen
sqlite3 db.db select count(*) from history;
vergleichen. Der Count-Befehl gibt die totale anzahl an Zeilen an, so dass hier ggf. eine Verrechnung mit den vorher in der Datenbank vorhandenen Zeilen notwendig ist. Das ganze funktioniert natürlich nur, wenn man in der Zwischenzeit keine neuen Logeinträge schreiben lässt (durch DbLog). Abgesehen davon erhöht das ganze noch die Stabilität und Konsistenz der Datenbank
Log-Dateien splitten
Wenn man größere Logdateien hat, dauert der import unter umständen sehr lange. Daher besteht die Möglichkeit, die Logdateien in kleinere Stücke zu unterteilen, damit man z.B. zwischendurch unterbrechen kann:
split -C 5m --numeric-suffixes input-file output-prefix
Blöderweise kann man nur Dateien importieren, die mit .log enden. Deshalb muss man noch eine kleine verrenkung machen: