Signalbot

Signalbot
Zweck / Funktion
	Senden und Empfangen von Nachrichten (Text und Fotos) mit dem freien Messenger Signal
Allgemein
Typ	Gerätemodul
Details
Dokumentation	EN / DE; Thema
Support (Forum)	Unterstützende Dienste
Modulname	50_Signalbot.pm
Ersteller	Adimarantis (Forum /Wiki)
	Wichtig: sofern vorhanden, gilt im Zweifel immer die (englische) Beschreibung in der commandref!

Das Modul Signalbot ermöglicht den Versand von Nachrichten über den Instant-Messaging-Dienst Signal aus FHEM heraus.

Beschreibung

Beschreibung in Kurzform:

Signalbot stellt eine Schnittstelle von FHEM zum Signal Messenger unter Linux zur Verfügung. Dazu wird das Tool signal-cli im DBus-Daemon Modus verwendet, welches dann letztendlich mit Signal kommuniziert.

Aktuell unterstützte Funktionen aus FHEM:

Senden und Empfangen von Nachrichten an Gruppen oder Einzelempfänger
Versenden von einem oder mehreren Attachments (Bilder) sowie Plots von SVG und DOIF
Einlesen, Speichern und Übersetzen von Gruppennamen (statt base64 Strings)
Setzen, Empfangen und Übersetzen von Kontaktnamen (statt Telefonnummern)
Einschränken von Gruppen oder Kontakten, auf die FHEM reagieren soll
Direkte Verknüpfung mit dem Babble Modul zur Interpretation von Befehlen
Authentifizierte Befehle an FHEM senden (commandref/GoogleAuth) mit Favoriten
Blockieren von Kontakten und Gruppen
Verwalten und Betreten/Verlassen von Gruppen

Registrierung von neuen Nummern inklusive Hilfestellung für Captchas
Linken von bestehenden Accounts zu FHEM

Die Installation von signal-cli ist aktuell je nach Linux Kenntnissen durchaus anspruchsvoll. Daher gibt es ein Installationsscript welches für aktuelle Ubuntu und Raspian Distributionen getestet ist (höchstwahrscheinlich aber auch für andere Debian basierte Distributionen funktioniert).

Signalbot ist weitgehend kompatibel mit SiSi, verfolgt aber technisch ein paar andere Ansätze und stellt zusätzliche Funktionalitäten zur Verfügung:

Signalbot erzeugt keinen eigenen Prozess sondern integriert sich voll in die laufende FHEM Instanz (ist dadurch hoffentlich stabiler und verbraucht auch weniger Speicher)
Gruppen werden grundsätzlich mit ihren Klarnamen verwendet und können auch nur mit einem vorangestellten "#" (statt "@#") gekennzeichnet werden.
Kontakte werden soweit möglich auch mit Klarnamen (statt +49....) unterstützt. Diese kommen aus dem internen Adressbuch und können über "setContact" definiert werden, bzw. kommen bei verlinkten Accounts aus dem Adressbuch des Hauptgeräts.
Die Möglichkeit von SVG oder DOIF Plots zu versenden (mit & wie bei anderen Anhängen, Details in den Beispielen)
Wurde mit und für die aktuelle Version von signal-cli entwickelt, die auch die neuen "V2" Gruppen unterstützt, ebenso wird die neuste Version vom Perl Modul Protocol::DBus (aktuell 0.19) benötigt
Unterstützt wird noch signal-cli 0.9.2 (mit eingeschränkter Funktionalität) als letzte Version die noch mit Java 11 funktioniert. Empfohlen ist auf die jeweils aktuelle Version von signal-cli zu gehen (0.10+), welche allerdings eine Java 17 Installation vorraussetzt.
Wird aktiv (Januar 2022) gewartet (letztes Update für SiSi auf github ist von August 2018)

"set" Funktionen im Detail

send [@<Recipient1> ... @<RecipientN>] [#<Group1> ... #<GroupN>] [&<Attachment1>; ... &<AttachmentN>] [<Text>]

Recipient: Nummer mit Ländervorwahl (+49....) oder Kontaktname aus dem internen Adressbuch
Group: Gruppenname, wie in Signal definiert im Klartext
Attachment: Dateiname (Pfad für muss für fhem lesbar und absolut oder relativ zum fhem home sein) oder Stream einer Bilddatei (z.B.)SVG
Text: Die eigentlich Textnachricht, kann Leerzeichen und Umbrüche (mit "\n" oder \0x0a) enthalten
Sofern ein Recipient, Group oder Attachment Leerzeichen enthält, den ganzen Teilstring in Anführungszeichen setzen: z.B. "@Max Mustermann"
Wenn ein FHEM Befehl ausgeführt werden soll, dann diesen in runde Klammern setzen z.B. &({plotAsPng('SVG_Aussentemperatur')})

Ein paar Beispiele

 send @+498514711 Hallo Signal
 send #FHEM &/tmp/foto.jpg                             Ein Bild schicken
 send "@Mein Freund"                                   Leerzeichen durch Anführungszeichen um den ganzen Teilbefehl
 send @Joerg #FHEM #Familie                            Jeder Empfänger, jede Gruppe und Attachments können mehrfach vorkommen
 send "@({my $var=\"Joerg\";; return $var;;})"         Perl Code mit Leerzeichen ausführen
 send @(define dummy1 dummy)                           FHEM Befehl ausführen, wird aber nicht gesendet, da kein gültiger Empfänger zurück geliefert wird
 send @Joerg &({plotAsPng(\'SVG_Aussentemperatur\')})  Einen FHEM SVG Plot verschicken oder
 send @Joerg "&({plotAsPng('SVG_Aussentemperatur')})"  so - oder
 send @Joerg &SVG_Aussentemperatur                     so - oder
 send @Joerg "&SVG_Aussentemperatur,day,-1"            SVG Plot vom voherigen Tag
 send @Joerg &DI_uitable                               Sende erstes Widget aus einem DOIF mit definiertem uiTable
 send @Joerg "&DI_uitable,dev=outtemp,state"           Sende erstes Widget dass Werte aus der Device "outtemp" verwendet aus definiertem uiState 
 send @Joerg Mehrzeilige Ausgabe:\nNeue Zeile
 send @Joerg Umlaute öäü und Emojis 🙃😆🤗🤑🤪 sowie 𝐅𝐨𝐫𝐦𝐚𝐭𝐢𝐞𝐫𝐮𝐧𝐠𝐞𝐧 direkt senden oder
 send @Joerg <b>Fetter</b> Text und Emojis :) :smile: - siehe get helpUnicode für Details
 send @Joerg Die Aussentemperatur ist [out_temp:temperature] Grad

Tipp zu den Formatierungen: Auf z.B. https://yaytext.com/ kann man sich seine UTF8 Kodierungen erstellen und nach FHEM per copy&paste einfügen. Vorrausetzung dürfte sein, dass die "locale" des Systems auf UTF8 eingestellt ist

Details zum Versenden von Plots:

Seit Signalbot V3.5 wird eine vereinfachte Form der Versendung von SVG Plots und sogar von DOIF uiTable Widgets unterstützt (siehe DOIF/uiTable Schnelleinstieg). Entspricht der mit "&" übergebene Anhang einem FHEM Device, und ist dies vom Typ SVG oder DOIF, wird dies besonders behandelt.

Für SVG wird die Funktion "plotAsPng" dann intern aufgerufen. Es können dabei mit Komma getrennt noch der "Zoom" und das "Offset" angegeben werden, als "&SVG_Device,Zoom,Offset". Es wird empfohlen den Term in Anführungszeichen zu setzen, das z.B. DOIF die Kommas sonst als FHEM Befehlstrenner interpretiert. Zoom ändert nicht die Größe! Diese bitte ggf. im SVG Device anpassen.

Erlaubte Werte für Zoom: hour, qday, day, week, month, year, 10years, 20years

Offset dürfte üblicherweise eine negative Zahl sein, und gibt an wie oft man zurückblättert (Zoom gibt dabei die Einheit an).

Die Unterstützung der DOIF Widgets verwendet einige Internas von DOIF und daher kann die Kompatibilität mit zukünftigen DOIF Versionen leider nicht garantiert werden. Falls es nach einem DOIF update nicht mehr funktioniert, bitte in Forum posten. Widgets werden primär aus dem Attribut uiTable genommen, ist dies nicht vorhanden, oder wird der Parameter "state" angeben, schaut Signalbot auch in uiState nach. Eine spezielle Fehlerbehandlung gibt es derzeit nicht, sondern es kommt nur die Meldung, dass die Datei nicht gefunden wurde.

Syntax: "&DI_device,param1=wert1,param2=wert2" - die Verwendung von Anführungszeichen ist bei der Verwendung innerhalb eines DOIF nötig, das die Kommas sonst als Befehlstrenner interpretiert werden.

Mögliche Parameter:

id : Sequentielle Nummer des Widgets welches angezeigt werden soll. Dabei zählen auch seperate Beschriftungen. "id=" kann auch weggelassen werden und nur die Zahl angegeben werden. "id" hat Vorrang vor "dev" oder "val"
dev : Identifiziert das Widget über das FHEM Device aus welchem das Widget seine Daten holt. Ist dies nicht eindeutig, wird das Erste in der Liste verwendet - kann mit "val" kombiniert werden
val : dentifiziert das Widget über das FHEM Reading aus welchem das Widget seine Daten holt. Ist dies nicht eindeutig, wird das Erste in der Liste verwendet - kann mit "dev" kombiniert werden
zoom: Zoomfaktor bei der SVG->PNG Umwandlung. Dies ändert nicht die Größe des Bildes so dass ggf. Teile abgeschnitten werden.
sizex / sizey: Ändert die Größe des Bildes, aber nicht des Widgets. Es sollten also üblicherweise zoom, sizex und sizey kombiniert werden bis das Ergebnis passt oder die Größe gleich im DOIF Widget angepasst werden.
state : (ohne =) Hole die Widget Definition nicht aus uiTable sondern aus uiState

Achtung: Es gibt einen bekannten Fehler, dass die SVG library die Halbring-Darstellung in der uiTable card nicht verdaut und diese daher nicht verwendet werden kann

setContact <Number> <Contactname>

Definiert einen Kontakteintrag im internen Adressbuch. Es kann beim send Befehl dann der ContactName statt der Nummer verwendet werden.

reinit

Verbindung zum DBus wiederherstellen. Dies sollte nicht nötig sein, außer der signal-cli Service funktionierte nicht richtig und wurde korrigiert. Ich rate hier aber eher zu einem FHEM Neustart.

createGroup <Groupname> [&<path to picture>]

Erzeugt eine neue Signalgruppe und versieht diese (optional) mit einem Gruppenbild.

updateGroup <Groupname> [<new Groupname>] [&<path to picture>]

Aktualisiert den Namen und/oder das Gruppenbild einer Gruppe.

invite <Groupname> <Contact1> [<Contact2>...]

Lädt einen oder mehrere Kontakte (per Namen oder Nummer) in eine bestehende Gruppe ein.

joinGroup <group link>

Einer bestehenden Gruppe beitreten. Dazu ist eine Einladung über einen "group link" nötig, der das Format https://signal.group/ https://signal.group/.... hat. Der einfachste Weg hierzu ist es, wenn aus der Signal App die Funktion "group link" verwendet wird und der Link dann per Signal an den FHEM User gesendet wird. Sofern das autoJoin Attribut gesetzt ist, wird dieser erkannt und FHEM tritt der Gruppe automatisch bei.

quitGroup <Groupname>

Aus einer Gruppe austreten. Die Gruppe wird dabei lediglich auf "inaktiv" gesetzt und ist mit get groups weiterhin als solche sichtbar. Eine Möglichkeit die Gruppe komplett aus dem Profil zu löschen besteht aktuell nicht.

block #<Groupname>|<Contact>

Blockiert eine Gruppe oder einen Kontakt (per Namen oder Nummer) serverseitig. Signalbot bekommt dann keine Nachrichten dieser Absender mehr (im Gegensatz zu allowedPeer bei der FHEM die Nachrichten noch bekommt, diese aber ignoriert.)

unblock #<Groupname>|<Contact>

Hebt die Blockierung wieder auf.

"set" Sonderfunktionen zur Registrierung

signalAccount <Telefonnummer>

Setzt eine bereits registrierte oder gelinkte Telefonnummer aktiv. Die bekannten Nummern werden als Pulldown zur Verfügung gestellt. Falls eine Nummer fehlen sollte, kann diese mit "set reinit" aktualisiert werden.

Ist nur eine Telefonnummer registriert, wird diese automatisch verwendet.

Wenn mehrere Nummern gleichzeitig verwendet werden sollen, braucht jede Nummer eine eigenen Instanz des Moduls.

register <Telefonnummer>

Eine neue Nummer für Signal registrieren. Die Telefonnummer muss in Internationaler Schreibweise (+49.....) angegeben werden.

Signalbot führt den Anwender in einer Art Wizard (Detailtexte auf der Modulseite) durch den Registrierungsprozess. Der erste Schritt ist, eine Nummer festzulegen. Üblicherweise ist das eine Festnetznummer, was die normale Verwendung der Nummer nicht beinträchtigt.

Achtung: Hier nicht die Handynummer eines Smartphones verwenden auf dem Signal schon installiert ist. Das Handy würde dadurch von Signal abgemeldet. Dazu kann "link" verwendet werden.

Wichtig: Im Laufe der Registrierung wird eine Verifikationsnummer übermittelt, normalerweise per SMS. Für Festnetznummern sollte man das aber üblicherweise auf Sprachanruf umstellen. Dazu das Attribut "registerMethod" auf "Voice" umstellen.

Die Registrierung wird meistens durch ein Captcha geschützt. Details dazu weiter unten.

captcha <signalcaptcha://.......>

Setzen des Captcha String im Rahmen der Registrierung. Details dazu, wie man den bekommt und wie der Prozess teilweise automatisiert werden kann weiter unten

verify <Verifizierungscode>

Setzen des Codes, den man im Rahmen der Registrierung per SMS oder Sprachanruf übermittelt bekommen hat.

Dies ist der letzte Schritt der Registrierung. Danach ist Signalbot einsatzbereit.

link <Name>

Zeigt einen QR Code an, den man mit der Signal App auf dem Smartphone scannen kann um FHEM als "Mitbenutzer" zu registrieren. FHEM erhält dann alle Nachrichten und gesendete Nachrichten haben den Absender des Telefons. Dies ist ein einfacher und schneller Weg um Signalbot auszuprobieren, sollte aber nicht für die produktive Benutzung verwendet werden, um unerwünschte Nebeneffekte zu vermeiden. Da FHEM nicht benachrichtigt wird, wenn der "link" zustande gekomme ist, muss danach manuell ein "set reinit" durchgeführt werden.

Der optionale Name (wenn leer wird "FHEM" verwendet) dient zur Identifizierung.

Die angezeigte URI kann mittels "addDevice" auch dafür verwendet werden zwei FHEM Instanzen miteinander zu verküpfen, welches auf der Hauptinstanz ausgeführt wird.

addDevice <device URI>

Fügt eine andere Instanz als "Mitbenutzer" hinzu. Die URI wird mit "set link" auf der anderen (nicht registrierten) FHEM Instanz erzeugt.

Dabei ist zu beachten, dass alle Nachrichten/Befehle an beide Instanzen gehen, was bei entsprechenden Triggern zu beachten ist. Ansätze dazu sind mit "allowedPeer" auf unterschiedliche Sender zu reagieren, unterschiedliche cmdKeyWord's zu setzen etc.

removeDevice <deviceID>

Entfernt einen Mitbenutzer anhand seiner deviceID. Diese kann mit "get devices" abgefragt werden. Wenn nur Mitbenutzer verlinkt ist, ist da üblicherweise "2" da "1" dem Hauptbenutzer zugeordnet wird.

"get" Funktionen im Detail

contacts all|nonblocked

Öffnet ein Fenster mit allen bekannten Kontakten mit Telefonnummer und Kontaktname sowie deren "blocked" Status. Mit dem Parameter "nonblocked" werden geblockte Kontakte ausgeblendet. Als Name wird primär der selbstdefinierte Kontaktname angezeigt. Sofern keiner definiert ist, wird der durch den Kontakt selbst definierte Profilname angezeigt.

groups all|active|nonblocked

Öffnet ein Fenster mit allen bekannten Gruppen. Es wird der Gruppenname, der "Active" Status (ist FHEM Mitglied der Gruppe), der "Blocked" Status sowie die Liste der anderen Gruppenmitglieder angezeigt. Mit dem Parameter "active" wird die Liste auf Gruppen beschränkt, in denen FHEM Mitglied ist, mit "nonblocked" werden zusätzlich noch geblockte Gruppen ausgeblendet.

accounts

Zeigt alle aktuell in signal-cli registierten Telefonnummern an, die mit "set signalAccount" verwendet werden können.

devices

Zeigt alle verlinkten Mitbenutzer an. Üblicherweise hat dies nur einen Eintrag (den Hauptbenutzer = aktuelle Instanz). Die ID Nummer können mit "removeDevice" verwendet werden um Mitbenutzer zu entfernen.

favorites

Listet die definierten Favoriten im Attribut "favorites" (siehe unten) in tabellarischer Form auf. Nützlich um zu prüfen ob das Attribut korrekt befüllt ist.

helpUnicode

Zeigt alle unterstützten Tags zur Formattierung von Nachrichten mittels HTML oder Markdown Tags.

Achtung: Die Funktion muss über dass Attribut formatting aktiviert werden.

Attribute im Detail

authTimeout

Gibt bei Verwendung des GoogleAuth device die Dauer in Sekunden an, die ein Nutzer authentifiziert bleibt. Siehe commandKeyword für mehr Infos.

authDev

Name des genutzten GoogleAuth device. Dies wird üblicherweise automatisch gesetzt, sofern bereits ein GoogleAuth device im System definiert ist, sobald das authTimeout gesetzt wird.

autoJoin 0|1

Falls auf 1 gesetzt, reagiert FHEM automatisch auf Einladungslinks (siehe joinGroup) und tritt der Gruppe bei

cmdKeyword

Eine Zeichenkette aus einem oder mehreren Zeichen, die am Anfang einer Nachricht stehen kann, damit FHEM die restliche Nachricht ungefiltert als Kommando ausführt. Die Funktion ist über GoogleAuth geschützt, d.h. ein Benutzer muss sich erst mit einem gültigen GoogleAuth Token legitimieren und bleibt entsprechend des authTimeout Attributs für gewisse Zeit authorisiert.

Beispiel:

Man setzt cmdKeyword auf "=" , dann kann man "=123456 set lamp off" senden. Im weiteren Verlauf reicht "=set lamp on" solange bis der Timeout abgelaufen ist.

Zur Authorisierung muss nicht zwingend gleich ein Befehl mitgesendet werden. Sofern allowedPeer gesetzt ist, muss der Absender zusätzlich in dieser Liste stehen.

defaultPeer

Gruppe, Kontaktname oder Nummer an die send eine Nachricht schicken soll, wenn kein Empfänger mit @ oder # definiert wurde.

allowedPeer

Komma getrennte Liste von Gruppen, Kontaktnamen oder Nummern auf die Signalbot reagieren soll (also bei empfangenen Nachrichten Readings aktualisiert). Ist dieses Attribut nicht gesetzt, reagiert Signalbot auf alle Nachrichten.

babblePeer

Komma getrennte Liste von Gruppen, Kontaktnamen oder Nummern auf die Signalbot reagieren soll indem es die Nachricht an das über babbleDev (nicht zu verwechseln mit babbleDevice) definierte Babble Modul schickt. Die Nachrichten werden zuerst (beschränkt auf allowedPeer) normal verarbeitet (also Readings aktualisiert) und nur nach Babble gesendet wenn diese Attribut gesetzt ist.

Der Absender der Nachricht (Gruppe hat Prio über individuellem Absender) wird Babble als $PARM0 übergeben. Dazu in Babble noch das Attribut helpFunc wie folgt setzen

{fhem("set SignalBot send \@$PARM0 $HELP")}

Sollen die rivescript Spracherweiterungen genutzt werden muss außerdem "noChatbot" auf 0 stehen.

Nach dem selben Prinzip können in der Babble Definition auch Antworten spezfisch für Devices angelegt werden, z.B. als Aktion für out-temp -> Temperatur -> draußen -> sagen -> Status:

set SignalBot send @$PARM0 Die Temperatur draußen ist [out_temp:temperature] Grad

Womit die Frage (ohne Fragezeichen!) "Wie ist die Temperatur draußen" entsprechend quittiert wird.

babbleDev

Name des definierten Babble Device.Wird beim Setzen vom babblePeer automatisch mit der ersten "Babble" Device gefüllt sofern vorhanden.

babbleExclude

Regulärer Ausdruck auf den Nachrichtentext um bestimmte Nachrichten von der Weiterleitung zu Babble auszuschließen (ein Event wird trotzdem generiert und kann mit Notify, DOIF etc. verarbeitet werden).

registerMethod <SMS|Voice>

Stellt die Registrierungsmethode (Rückmeldung des Verifizierungscodes) auf SMS oder Sprachanruf um.

cmdFavorites

Definiert eine Zeichensequenz die bei remote Befehlen (siehe cmdKeyword) als Favorit interpretiert wird. Details siehe unter favorites. Da Favoriten vor FHEM Befehlen ausgewertet werden, sollte z.B. "set" nicht verwendet werden.

formatting <none|html|markdown|both>

Aktiviert die Ersetzung von html-ähnlichen Formatierungen (z.B. <b>bold text</b>) und/oder Markdown (z.B. __italic text__) um diese direkt in ASCII angeben zu können, anstatt nur per copy&paste.

Die komplette Liste von Tags/Ersetzungen kann über die get helpUnicode Funktion direkt im Model angezeigt werden.

favorites <[alias1]><-><command1>;<[alias2]><-><command2>;....

Definiert Favoriten um remote Befehle (siehe cmdKeyword) abzukürzen.

Einträge werden durch Semikolon getrennt und automatisch durchnummeriert.

Optional kann in eckigen Klammern "[]" ein alias angebenben werden, sowie ebenfalls optional dem Befehle ein Minuszeichen "-" vorangestellt werden, womit für diesen Befehl keine vorherige GoogleAuth Authentifizierung zu erfolgen hat.

Wichtig: Favoriten funktionieren nur wenn cmdKeyword, cmdFavorites, authTimeout, authDev und favorites gesetzt sind.

Beispiele (angenommen cmdKeyword="/" , cmdFavorites="fav", favorites="set lamp on;[off]set lamp off;[hi]-set talk say Jemand zuhause"):


Befehl	Effekt
/fav 1	Fehler weil nicht authentifiziert
/fav 3	"set talk" Befehl wird ausgeführt, da "-" Befehle ohne Authentifizierung funktionieren
/fav hi	"set talk" Befehl wird ausgeführt
/123456	GoogleAuth Token setzen um remote Befehle freizuschalten
/fav 1	"set lamp on" wird ausgeführt
/fav off	"set lamp off" wird ausgeführt
/fav	Liste all Favoriten mit IDs wird ausgegeben

Readings im Detail

account	Aktuell verwendete Telefonnummer (nur verfügbar wenn signal-cli 0.9.0 ohne -u Parameter gestartet wurde)
joinedGroups	Liste der beigetretenen Gruppen getrennt mit Leerzeichen
lastError	Text der letzten Fehlermeldung. Bitte unbedingt den Timestamp beachten. Das Reading wird bei erfolgreichen Aktionen nicht zurückgesetzt und enthält ggf. sehr alte Fehlermeldungen.
msgAttachment	Attachments (Dateinamen im signal-cli repository) der zuletzt empfangenen Attachments
msgGroupName	Gruppenname aus der zuletzt eine Nachricht empfangen wurde - leer wenn es eine persönlich Nachricht war
msgSender	Absender der letzten Nachricht als Nummer oder wenn bekannt als Name
msgText	Empfangenen Nachricht
msgTimestamp	Zeitstempel der Nachricht
msgAuth	Ist auf 1 gesetzt wenn der Absender der aktuellen Nachricht (also zum Zeitpunkt zu dem z.B. ein Notify/DOIF die Nachricht auswertet) per GoogleAuth authentifiziert war.
prevMsgAttachment	Wie oben, nur enthalten diese Readings die Daten der zuvor empfangenen Nachricht (n-1)
prevMsgGroupName
prevMsgSender
prevMsgText
prevMsgTimestamp
sentMsg	Zuletzt gesendete Nachricht
sentMsgRecipient	Empfänger der zuletzt gesendeten Nachricht. Enthält zumeist den Namen aus der Empfangsbestätigung und somit bei vielen Empfängern den zuletzt bestätigten Empfang. Dies muss nicht zwingend auf die zuletzt gesendete Nachricht (sendMsg) passen, wenn mehrere Nachrichten versendet wurden.
sentMsgTimestamp	Zeitstempel des Empfangs oder "pending" wenn noch keine Bestätigung vorliegt
VERSION	Internal Reading die die aktuelle Version von Signalbot, signal-cli und Dbus angibt - vor Support Anfragen bitte erst im Forum prüfen ob die aktuellste Version verwendet wird und ggf. updaten.

Installation

Zur Installation steht das Script "signal_install.sh" zur Verfügung, welches aber nicht zwangsweise in jeder Umgebung funktioniert. Daher erst einmal ein paar Referenzen zur manuellen Installation von signal-cli:

Quickstart (englisch) für signal-cli
Anleitung zum Übersetzen und Installieren der Libraries für armv7 (Raspberry) da die Distribution nur x86 libraries enthält
CPAN Seite des Perl Moduls zur DBus Kommunikation

Vorbereitung:

Modul per "define <name> Signalbot" definieren.

Das Script "signal_install.sh" aus der Detailseite des Moduls oder vom FHEM SVN runterladen und ins Verzeichnis eines beliebigen "sudo"-fähigen Users kopieren.

Das Script hat mehrere Optionen um Teilfunktionen direkt auszuführen, diese sind:


Argument	Bedeutung
system	System für die signal-cli Installation vorbereiten. Es werden per "apt install" fehlende Pakete installiert und Verzeichnisse erstellt. Muss mindestens einmal erfolgreich gelaufen sein, damit die restliche Installation funktioniert
install	Installiert signal-cli als System Service. Automatischer Download, Installation und Konfiguration (dbus, systemd)
test	Versendet eine Testnachricht auf zwei Arten - direkt mit dem Client (klappt das, ist die Grundregistrierung schon mal erfolgreich) und über Dbus (dann ist auch der System Service korrekt eingerichtet)
remove	Löscht alle durch "install" installierten Verzeichnisse und Dateien (aber nicht die Pakete die durch "system" installiert wurden)
start	Starten des singal service über systemd bzw. im Container des Dbus daemon and signal-cli Daemon
backup	Erstellt ein Archiv aller relevanten Scripts und Einstellungen (z.B. für einen System Umzug) in der Datei signal-backup.tar.gz
restore	Schreibt die Archive Datei signal-backup.tar.gz ins System zurück
experimental	Installiert eine neuere signal-cli version als 0.9.2 welche allerdings Java17 benötigt. Wenn Java17 nicht die aktive Java Version ist, wird ein openJDK build von adoptium.net geladen und nach /opt/java installiert und dann verwendet (nur für den signal-cli daemon, das restliche System wird davon nicht beinflusst). Vorher sollte ein backup der Einstellungen angelegt werden, da diese ggf. nicht mehr kompatibel sind, falls es damit Probleme gibt und man einfach wieder 0.9.2 installiert (Option "install" oder ganz ohne Option)

Im Normalfall kann das script einfach unter root Rechten, also mit

sudo -E ./signal_install.sh

aufgerufen werden (wenn das Script per Download geholt wurde, muss es vorher noch mit "chmod a+x signal_install.sh" ausführbar gemacht werden). Wenn kein Argument übergeben wird, dann wird automatisch der Ablauf system -> install -> test durchlaufen.

Wenn Betriebssystem oder CPU Architektur nicht unterstützt werden, gibt es eine Warnung bzw. das Script bricht ab.

Hinweis: Es prüft außerdem ab, ob es im Container läuft. Dieser Modus ist nur dafür gedacht, wenn mein FHEM/Signal Container Script verwendet wurde. In anderen Container Umgebungen wird es üblicherweise nicht funktionieren. Details dazu weiter unten.

Registrierung

Die Registrierung wird ab Version 3.0 nicht mehr im Script sondern in FHEM selbst geführt durchgeführt.

Hinweis: Eine Nummer kann immer nur einmal registriert sein. Eine bereits bestehende Registrierung (Smartphone) wird dabei aufgehoben. Daher entweder eine Festnetznummer verwenden mit der Option "link" FHEM als Zweitbenutzer zu einer bestehenden Nummer hinzugefügen. Dies ist zum Testen ok, aber produktiv ist davon abzuraten, da FHEM dann alle Mitteilungen bekommt die man am Handy auch kriegt, was zu unerwarteten Nebeneffekten führen kann.

Die Registrierung erfolgt mit "set register <nummer>" (Telefonnummer in internationaler Schreibweise mit +49....).

Nach erfolgter Registrierung bekommt man je nach Wert des Attributs "registerMethod" eine SMS oder einen Sprachanruf mit einer Verifikationsnummer.

Signal versucht sich gegen unberechtigte Nutzung des Service (man könnte ja damit quasi SMS/Telefonterror betreiben) zu schützen. Nach gewissen Kriterien (soweit bekannt z.B. Registrierung aus einer VM oder über VPN) wird daher ein Captcha verlangt.

FHEM führt hierbei durch den Prozess mit Hilfestellungen

Ablauf:

Captcha in Chrome

Captcha Seite von Signal aufrufen. Link ist auch direkt in FHEM verfügbar
Im Developermode (F12) und nach erfolgreichem Lösen des Captchas (wenn der Bildschirm leer bleibt, ist es auch erfolgreich gelöst) macht der Browser ein redirect auf signalcaptcha://. Das versteht der Browser aber nicht und macht gar nichts.
Der String steht aber bei Firefox in der Console (recht einfach zu finden), beim Chrome muss man auf Network gehen, mit Ctrl+R refreshen und dann in der Spalte "Name" nach einem kryptischen String suchen. Dass dieser mit signalcaptcha anfängt, sieht man erst im Tooltipp, da der Anfang abgeschnitten wird.
Diesen String dann in FHEM bei "set captcha" eintragen. Jetzt sollte die Registrierung erfolgreich weitergehen (SMS/Anruf).

Anbei Screenshots von Firefox und Chrome zum besseren Verständnis.

Captcha im Firefox

Captcha "Automatisierung":

Am einfachsten ist die Registrierung wenn sich von Windows aus mit FHEM verbindet. Hier stellt Signalbot ein Windows Registry File (signalcaptcha.reg) zum Download zur Verfügung. Dieses einfach runterladen und per Doppelklick in die Registry eintragen.

Wenn jetzt die Signal Captcha Seite besucht wird, wird nach Bestätigung ein Powershell Script welches einfach wieder FHEM mit der entsprechenden "set captcha" Befehl automatisch ausführt.

Für Linux habe ich aktuell nur eine Lösung für Firefox. Hier die signalcaptcha.desktop runterladen und nach ~/.local/share/applications/signalcaptcha.desktop kopieren und mit xdg-mime default signalcaptcha.desktop x-scheme-handler/signalcaptcha (alles mit dem Desktop User) aktivieren. Dann sollte ebenfalls automatisch FHEM aufgerufen werden.

Wichtig: Wenn csrf-Tokens nicht abgeschaltet sind, werden diese bei jedem FHEM Neustart neu erzeugt, womit man auch neue .reg/.desktop Dateien benötigt (set reinit, neuer Download)

Verifizierung

Zuletzt wird mit "set verify" der Verifizierungscode eingetragen und die Registrierung ist damit abgeschlossen.

Bestehende Nummer verlinken

Alternativ kann man auch eine bestehende Nummer verlinken. Dazu "set link" aufrufen. Es wird jetzt ein QR-Code auf dem Bildschirm angezeigt. In der Signal App dann auf Settings->Linked Devices gehen und mit "+" den QR-Code abfotografieren.

Bitte beachten, dass bei verlinkten Devices immer alle Devices (also auch das Smartphone) Nachrichten bekommen. Bei reinem Sendebetrieb dürfte das weniger stören, soll aber auch auf Befehle reagiert werden, dann ist das eventuell verwirrend.

Einrichtung des Moduls

Siehe Forenthema Neues Modul: Signalbot.

Nachdem alles sauber eingerichtet ist und das Modul im FHEM Directory abgelegt wurde, entweder ein "reload 50_Signalbot" oder besser ein "shutdown restart" von FHEM machen.

Das Modul dann einfach mit

define <name> Signalbot

definiert.

Umstieg von SiSi

Da SiSi eine inzwischen sehr alte signal-cli Version verwendet, die sehr wahrscheinlich nicht mehr voll abwärtskompatibel ist, wird von einer einfachen Migration abgeraten.

Die Installation und Neuregistrierung der Nummer ist inzwischen soweit vereinfacht worden, dass diese Vorgehensweise weniger aufwändig ist.

Ohne Garantie, dass dies mit der aktuellen signal-cli/Signalbot Version noch funktioniert hier trotzdem die potentielle Migration:

Signalbot allerdings eine andere Dbus Implementierung (Protocol::DBus), diese muss erst installiert werden:

cpan install -f Protocol::DBus

Sofern nach dem SiSi Wiki vorgegangen wurde, dann sind folgende Anpassungen im Script notwendig:

SIGNALPATH=/opt/fhem
SIGNALUSER=fhem
SIGNALVAR=/opt/fhem/.local/share

Das Verzeichnis /opt/fhem/signal-cli kann gelöscht werden.

Wenn mein Installationsschema übernommen werden soll, dann

sudo mv /opt/fhem/.local/share/signal-cli /var/lib

Jetzt kann das Script einfach wie oben beschrieben gestartet werden.

Umzug auf ein neues System

Dazu einfach das Script mit dem Argument "backup" starten. Die alte Konfiguration wird dabei im Home Verzeichnis des aktuellen Benutzers als ~/signal-backup.tar.gz gesichert.

auf dem neuen System dann diese Datei wieder ins Home und entsprechend das Script mit "restore" laufen lassen.

Eigene native Library übersetzen

Signal-cli ist zwar überwiegend in Java geschrieben, hat aber leider eine binäre Library die zwingend benötigt wird. Ohne diese startet der Service nicht.

Der Installler lädt automatisch die korrekte Library für unterstützte Architekturen und ersetzt die am64/glibc-2.31 die von signal-cli standardmäßig mitgeliefert wird. Unterstützt werden aktuell:

Raspberry (armv7l) für Buster (glibc2.28) und Bullseye (glibc2.31)
Raspberry 64-bit (aarch64) für glibc2.28 (ungetestet, sollte für Buster und Bullseye funktionieren)
AMD/Intel 64-bit (amd64) für glibc2.28 und glibc2.31 (Ubuntu 18,20,22, Debian 10,11 u.a.)

Es gibt mehrere github Projekte um signal-cli die auch fertig übersetzte libsignal_jni.so im Angebot haben (einfach mal suchen). Man kann sich die Library aber auch selbst übersetzen.

Ich gehe dabei davon aus, dass eine (wenn auch inkompatible) Installation von signal-cli bereits erfolgt ist und z.B. alle Java libraries an Ort und Stelle sind.

Es werden eine Reihe von Programmen benötigt. Diese Liste ist möglicherweise nicht vollständig, je nachdem wie eurer System konfiguriert ist:

sudo apt-install git build-essential clang cmake openjdk-17-jdk-headless
sudo curl https://sh.rustup.rs -sSf | sh

Es ist hier wichtig, dass die libsignal-client in der Version passt, daher in der signal-cli Installation checken

ls /opt/signal/lib/libsignal-client*

Und die Versionsnummer notieren (für signal-cli 0.11.3 ist das 0.20.0) Jetzt entsprechend auschecken

git clone git@github.com:signalapp/libsignal-client.git
cd libsignal-client
git checkout v0.20.0
cd java
./build_jni.sh desktop

libsignal_jni.so aus target/release/ nach /opt/signal/lib kopieren Libraries in den Java .jar Files durch die selbst compilierten ersetzen:

cd /opt/signal/lib
sudo -u signal-cli zip -u signal-client-java-*.jar libsignal_jni.so

Dann Service neu starten

sudo service signal start

Wenn alles richtig funktioniert hat, sollte der Service jetzt laufen (syslog prüfen, oder ps -ef | grep signal-cli )

Installation im Docker Container

Um signal-cli in einem Docker Container zu installieren stellt sich die Schwierigkeit, dass man dort nicht so einfach Dienste per systemd starten kann und die Kommunikation zum System Dbus schwierig ist. Dies wird in durch die spezielle Docker Installation umgangen, indem der dbus-daemon dort eigens gestartet wird und signal-cli per script in den Hintergrund gestartet wird.

Unter Verwendung dieses Scripts wird eine komplette FHEM Basisinstallation per Docker erstellt und dort signal-cli eingerichtet.

Funktionsweise:

Das Script erstellt alle notwendigen Dateien in einem User Verzeichnis (default: $HOME/fhem) und installiert dort auch in "fhem-<version>" die aktuelle FHEM Version sowie ein Verzeichnis "signal" für die Registrierungsdaten. Diese sind somit persistent außerhalb des Containers und können auch von außen überschrieben werden.

Wer bereits eine Signal Registrierung einer normalen Installation hat, kann diese von /var/lib/signal-cli in dieses "signal" Verzeichnis kopieren, so das sie verwendet wird.

Das Script muss mit "sudo" ausgeführt werden und hat noch die Option "remove" alle Dockerdateien die es erzeugt auch wieder zu entfernen. FHEM bleibt dabei unangetastet.

Bei einer erneuten Erstellung des Containers (z.B. um package updates oder eine neue signal-cli Version einzuspielen) kann man wählen FHEM nicht neu zu installieren womit es danach genauso konfiguriert wieder gestartet wird.

Der Container wird basierend auf einem aktuellen Ubuntu Image erzeugt (aktuelle Ubuntu 20.04). Falls in FHEM Module verwendet werden, müssen oft weiteren Pakete (über apt, cpan oder npm) installiert werden. Im Installscript finden sich hier auskommentiert ein paar Hinweise wie für einige gängige Module (bzw. eben welche die ich verwende) die entsprechenden Abhängigkeiten mit eingebunden werden können.

Achtung: Das Ganze ist experimentell und für eine einmalige Installation/Start gebaut. Wenn fhem, signal-cli oder der dbus-daemon im Docker beendet werden, dann muss man diese evtl. selbst wieder nachstarten. Das kann man sicher noch einiges verbessern. Sinnvollerweise nimmt man die erzeugten Config Dateien und Scripte eher als Anregung für eine eigene Konfiguration. Verbesserungsvorschläge gerne auch im Forum.

Versenden von Nachrichten ohne FHEM

Falls jemand auch aus Shell Scripten heraus Signal Nachrichten versenden möchte, kann die FHEM signal-cli Installation am einfachsten über den "dbus-send" Befehl mitverwendet werden:

dbus-send --system --type=method_call --print-reply --dest=org.asamk.Signal /org/asamk/Signal/_xxxxxx org.asamk.Signal.sendMessage string:Hallo array:string: string:+49yyyy

/org/asamk/Signal/_xxxxxx entspricht hier der registrierten Nummer und steht in FHEM Signalbot im Status ("connected to ...").

Wichtig ist bei Dbus Nachrichten nicht nur der Name der Methode (sendMessage) sondern auch Typ und Reihenfolge der Parameter. Für sendMessage heisst das:

Die eigentliche Nachricht als String
Ein Array von Strings die Attachments enthalten (da man dies von der Kommandozeile eher nicht machen wird, erzeugt array:string hier einen leeren Parameter)
Die Telefonnummer der Empfängers als String

Grundsätzlich kann man so alle Dbus Methoden von signal-cli ansteuern, welche unter https://github.com/AsamK/signal-cli/blob/master/man/signal-cli-dbus.5.adoc dokumentiert sind.

Einige Dinge sind aber nicht so komfortabel, z.B. kann man Gruppen nicht per Namen, sondern nur über einen langen base64-kodierten String ansteuern - hier übernimmst SignalBot eine benutzerfreundliche Übersetzung.

Eine weitere Alternative ist dann einfach einen FHEM Befehl abzusetzen - z.B. per telnet Kommando.

Alternativ geht es auch direkt über den signal-cli client. Dafür muss aber vorher der service beendet sein (Konflikt):

sudo service signal stop 
sudo -E -u signal-cli /opt/signal/bin/signal-cli -c /var/lib/signal-cli -u +49<registrierte Nummer> send -m "testmessage" +49<Empfänger>

Troubleshooting / FAQ

Anmerkung: Ich gehe hier davon aus, dass die Installation mit den im Script voreingestellten Pfaden/Users durchgeführt wurde. Änderungen auf eigene Gefahr.

Bevor ich hier ein paar typische Probleme und Lösungen aus dem Foren Thread aufliste, bitte folgende Punkte sicherstellen:

Ich verwende eine unterstütztes Betriebssystem (Raspbian oder Ubuntu) und CPU Architektur (armv7l oder x86)
Ich habe das neuste Install Script aus https://svn.fhem.de/fhem/trunk/fhem/contrib/signal/ verwendet
Ich habe vor der Installation nach besten Wissen und Gewissen Reste einer vorherigen Installation (z.B. auch für SiSi) entfernt (das Repository kann weggesichert werden um eine erneute Registrierung zu vermeiden und dann statt dem Registrierungsschritt in /var/lib/signal-cli kopiert werden
Ich habe das Install Script gemäß Anleitung vollständig durchlaufen lassen und auf Fehlermeldungen geachtet

Wo finde ich Fehlermeldungen/Logfiles?

Beim Install Script direkt in der Console - achte auf die Bildschirmausgabe
Beim Install Script auch in /tmp/signal_install.log - ggf. wegsichern da es bei jedem Durchlauf wieder überschrieben wird.
Fehler beim Starten und Betrieb des signal-cli service (normale Installation) in /var/log/syslog
Fehler beim Betrieb in FHEM im normalen FHEM log (ggf. Signalbot mit verbose=5 definieren)
Im Container, sofern die Daemons mit dem Install Script gestartet wurden, schreiben ihr log in /var/log/dbus.log bzw. signal.log und die Fehlerausgabe in /var/log/dbus.err bzw. signal.err

Probleme bei normaler Installation


Fehler	Lösungsansatz
In FHEM: Error sending message:org.asamk.Signal.Error.Failure: org.whispersystems.signalservice.api.push.exceptions.NotFoundException: Not found	signal-cli läuft nicht. Prüfe ggf. /var/log/syslog für weitere Fehlermeldungen. Führe sudo service signal start aus.
signal-cli läuft nach reboot oder restart nicht, aber ein manueller Start ist erfolgreich. `sudo systemctl status dbus-org.asamk.Signal.service` meldet einen timeout	Möglicherweise dauert das Starten von signal-cli länger als der standard 90sec Timeout des systemd (langsames System, langsame SD-Karte bei Raspberry, viele gleichzeitiger Startprozesse bei Reboot). Hier kann man in /etc/systemd/system/signal.service den Timeout erhöhen indem in der Sektion [Service] die Zeile `TimeoutSec=200` eingefügt wird.
Bei Starten von signal-cli: OpenJDK Server VM warning: You have loaded library /tmp/resource17792002454964883349.so which might have disabled stack guard. The VM will try to fix the stack guard now. It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'. oder ERROR App - Missing required native library dependency: libsignal-client	Passiert üblicherweise auf dem Raspberry pi. Die Standard Distribution von signal-cli enthält eine x86 library libsignal_jni.so, die mit armv7l nicht kompatibel ist, welche im jar libsignal-client-.jar enthalten sind. Das Install Script entfernt diese und ersetzt sie durch armv7l libraries die vom Signalbot Maintainer auf svn.fhem.de zur Verfügung gestellt werden. Irgendwo auf dem System vorhandene alte Versionen können aber versehentlich erwischt werden und diese Fehler produzieren. Als ersten Schritt mit sudo rm -rf /opt/signal* die alte Installation komplett löschen (enthält keine Konfigurationen) und vom Install Script neu erstellen lassen (einfach wie oben beschrieben starten). Weitere Tests wenn der Fehler nicht behoben ist: Welche Library wird vom System verwendet: sudo ldconfig -v \| grep libsignal_jni.so . Da die libraries in .jar files eingebettet sind, darf hier keine gefunden werden. Check gibt es noch irgendwo ein anderes jar `sudo find / -name libsignal-client-*.jar 2>/dev/null` Wenn ja, sicherstellen, dass diese nicht genommen wird (löschen, umbenennen)
Beim Start von signal-cli: Fehler: Beim Laden der Klasse org.asamk.signal.Main ist ein LinkageError aufgetreten java.lang.UnsupportedClassVersionError: org/asamk/signal/Main has been compiled by a more recent version of the Java Runtime (class file version 61.0), this version of the Java Runtime only recognizes class file versions up to 55.0	Signal-cli benötigt seit der Version 0.10+ eine vorhandene Java 17 Installation. Ältere System (z.B. "buster") haben von Haus aus aber nur Java 11. Das Install Script kann hier helfen und eine Binärdistribution von OpenJDK 17 installieren und setzt JAVA_HOME im Startup des Service üblicherweise auch entsprechend. Wenn signal-cli allerdings in der Kommandozeile ausgeführt wird, ist darauf zu achten das JAVA_HOME=/opt/java gesetzt ist (bzw. auch die von euch gewählte Java 17 Distribution). Ein häufiger Fehler ist auch beim sudo das "-E" zu vergessen, denn nur so wird JAVA_HOME beim sudo "durchgereicht".
Ich kann an Einzelempfänger senden und empfangen, aber nicht an Gruppen versenden	Du hast wahrscheinlich den vorhergehenden Fehler (libzkgroup) irgendwo, aber er ist dir nicht aufgefallen. Vorgehensweise wie oben.
Ich kann keiner Gruppe beitreten und/oder nichts an eine Gruppe schicken. oder Error in invite:org.asamk.Signal.Error.Failure: Cannot join a V2 group as self does not have a versioned profile	Die neuen V2 Gruppen benötigen zwingend einen Profil Namen. Sofern also nach der Registrierung keiner gesetzt wurde, kann man keine Gruppen verwenden. Abhilfe: sudo -E ./signal_install.sh name um einen Namen (und optional ein Avatarbild) festzulegen.
Fehler beim Setzen des Captcha: "Incorrect captcha - e.g. needs to start with signalcaptcha://"	Sicherstellen, dass das Captcha tatsächlich korrekt ist - am Besten die Automatisierung über die Windows Registry verwenden Ein bekannter Fehler in signal-cli (0.9.0 / 0.9.2) führt du diesem Fehler, wenn bereits eine Registrierung in /var/lib/signal-cli/data für die zu registrierende Nummer existiert. Wenn das FIle und Directory der Nummer gelöscht werden, geht es manchmal Es existiert wahrscheinlich ein weiterer Bug in signal-cli der trotzdem die Registrierung aus FHEM/Dbus verhindert. Workaround ist, diesen Schritt auf der Kommandozeile durchzuführen: sudo service signal stop cd /opt/signal/bin/ sudo -E -u signal-cli ./signal-cli --config /var/lib/signal-cli -u +4912456 register --voice --captcha signalcaptcha://03AG.... sudo -E -u signal-cli ./signal-cli --config /var/lib/signal-cli -u +4912456 verify 12345 sudo service signal start
Fehler: Untrusted Identity for "+49xxxxxxx" beim Versenden von Nachrichten. Dieses Fehlerbild ist zu erwarten, wenn ein bereits bestehender Kontakt sich erneut bei Signal angemeldet hat (z.B. Handywechsel) und sich der Sicherheitscode dadurch geändert hat.	Lösungsansatz 1: Per Kommandozeile das Vertrauen wieder herstellen (geht leider aktuell noch nicht über das DBus Interface und daher nicht mit Signalbot). Dazu muss der Daemon kurzfristig beendet werden, sonst kommt es zu einem Konflikt beim Zugriff auf die Konfigurationsdaten: `sudo service signal stop` `sudo -E -u signal-cli /opt/signal/bin/signal-cli --config /var/lib/signal-cli -u +49<Eigene Nummer> trust -a +49<zu vertrauende Nummer>` `sudo service signal start` Lösungsansatz 2: Erweitern des Daemonaufrufs in /etc/systemd/system/signal.service mit dem Parameter --trust-new-identities always Achtung: Dadurch wird ein Sicherheitsmechanismus von Signal ausgehebelt, der Identitätsdiebstahl verhindern soll
Senden von Nachrichten schlägt fehl	Zur Prüfung ob der Fehler in FHEM, der DBUS Konfiguration oder bei signal-cli liegt, sind im Kapitel "Versenden von Nachrichten ohne FHEM" Methoden beschrieben direkt mit Dbus oder von der Kommandozeile Nachrichten zu senden.

Links

Thread Neues Modul: Signalbot