openHab2 startup chaos

Thursday, October 25. 2018

starting and stopping openhab2 is a messy affair, filling the logs with loads of Java's verbose exception messages and since the order of loaded models is basically random things may or may not work as intended when items have not been loaded or rules not executed that are assumed to be there.

As it was, manual corrections and reloads were needed after each restart.

There is an elegant workaround discussed at community.openhab.org/t/cleaning-up-the-startup-process-renaming-rules-windows-possible/38438/9 which uses systemd's ExecStartPre and ExecStartPost commands to deactivate all rules before starting openhab, and then reactivate them one by one when the system is up and has it's feet on the ground.

It did not work exactly like described there for me, but I still found a solution that has cleaned up the messy startup here.

A small bash script does the renaming. I put it in /etc/openhab2 next to openhab's configuration into a new folder /exec-scripts:

#!/bin/bash
#######################
#
# clean up the start process 
#  starting rules in a sorted manner after openhab2 got it's feet on the ground
#  called from systemd pre start 
#  to rename *.rules away initially 
#
#  synopsis: move_rules_at_start.sh org-extension new-extension (POST)
#  
#  first call is from
#  /etc/systemd/system/openhab2.service.d/override.conf
#
#  called from the running openhab again to rename them back one by one
#
# $3 allows to distinguish between pre and post action 
#
# REF: https://community.openhab.org/t/cleaning-up-the-startup-process-renaming-rules-windows-possible/38438/9


ORG=$1
NEW=$2
THX=$3
DUR=1
IGNORE=005_start.rules

for f in /etc/openhab2/rules/*.${ORG};
do
    CURRENT=$(basename $f)
    if [ "$CURRENT" == "$IGNORE" ]    
    then
        echo "ignoring $IGNORE"
    else
        OLDFILE=$f
        NEWFILE=${f%$ORG}$NEW
        mv "$OLDFILE" "$NEWFILE"
    fi
    # let some time between each load
    if [ "$THX" == "POST" ]
    then
        /bin/sleep $DUR
    fi
done

# some things left on startup
if [ "$THX" == "POST" ]
then
    /usr/bin/touch /etc/openhab2/things/tradfri.things
fi


Since the openhab2.service file is part of the package and thus is replaced with each update modifying the .service file would need to be repeated whenever a new version gets installed, but, systemd provides a way to override a service definition. systemctl edit openhab2.service creates an override dir and opens the editor to allow creating a service file that is not replaced by the next update.

Now don't try to copy the entire .service file, systemd will complain duplicated statements. My override.conf looks like this:

[Service]
ExecStartPre=/etc/openhab2/exec-scripts/move_rules_at_start.sh rules rules_

The third element is a .rules file in openhab2 that triggers the renaming of all the other .rules once the system is running. It is excepted from the renaming and I named it 005_start.rules. This works for me:


var rulesDelayed
var nada

rule "triggered by system start"
when 
    System started
then
    var duration = 1
    rulesDelayed = createTimer(now.plusMinutes(duration), [|
					logInfo("rulesDelayed", "Timer expired and start")
					nada=executeCommandLine("/bin/bash /etc/openhab2/exec-scripts/move_rules_at_start.sh rules_ rules POST ",90000)
                    logInfo("rulesDelayed", "result: "+nada)
					rulesDelayed = null

				])
    logInfo("rulesDelayed", "Timer set on "+duration+" min")
end


The bash script works the list of rules -files in an alphanumerical order so a naming scheme like praefixing all .rules with a three digit number finally allows to control the order of rules loading.

Startup is much faster now, less or no exceptions and a much cleaner log :-) Openhab is a Java application and those exceptions are super-ugly and come with a performance penalty.

You'll notice that the bash script supports an optional 3. parmeter to distinguish between pre- and post-action and that a certain config file is touched after the renaming. touch-ing triggers a reload of that config file and this was a workaround for a bug in the tradfri-addon, the bug may have been addressed by now.

Bash: *.wav in *.mp3 konvertieren

Monday, August 13. 2012

Ganz simpel:

 

# leerzeichen in Dateinamen neutralisieren
SAVEIFS=$IFS
IFS=$(echo -en "\n\b")

for i in *.wav ; do
  echo $i
  b=`basename $i | cut -d'.' -f1`.mp3
  lame -V 1 -h $i $b 
done

IFS=$SAVEIFS
 
Das ist eher auf Qualität denn auf Geschwindigkeit / kleine Dateien getrimmt, bei Bedarf den Parameter V höher setzen. 

 

Thunderbird logging

Tuesday, May 22. 2012

 Thunderbird erlaubt ein wohl konfigurierbares Logging seiner Aktionen, hier die Doku dazu. Unter Linux /bash ist .profile ein guter Ort für die nötigen Settings, zB:

 

# das kann recht gross werden
export NSPR_LOG_FILE=/tmp/tbtrace.log
export NSPR_LOG_MODULES=SMTP:5,POP3:5,IMAP:5,nsHostResolver:4
 
 
 
 

 

command line - Schnipsel

Sunday, April 15. 2012

Kleinigkeiten, die ich immer wieder nachsuchen muss: 

Recursively rename all files containing "dings" into "bums"
for i in `find .` ; do mv $i `echo $i | sed 's/dings/bums/'` ; done 

Recursively list all files '.forward' containing string 'bin'
find -type f -name '.forward' -exec grep -H -n 'bin' {} \;

in eine Logdatei protokollieren, was ein Programm so treibt:
strace -e trace=open -o logfile.log ./xyz

umount /dev/sdc1 scheitert, weil irgendeine Datei offen ist, wer hat sie?  
fuser -m /dev/sdc1

Recursively chmod only directories
find . -type d -exec chmod 755 {} \;

Recursively chmod only files
find . -type f -exec chmod 644 {} \;

Recursively chmod only files with extension .php
find . -type f -name '*.php' -exec chmod 644 {} \;

Recursively find all files > some size
find . -type f -size +10000000k -exec ls -lh {} \;

Recursively find all files > some size named like something and delete
find . -type f -size +100000k -name access.log -exec rm -i {} \;

Password generator
openssl rand -base64 32|head -c 12;echo 

View the contents of a certificate signing request (csr)
openssl req -text -noout -in host.csr
 
View x509 certificate details
openssl x509 -in filename.crt -noout -text 
 
View the fingerprint to verify ssh goes to the right machine directly
ssh-keygen -l -f /etc/ssh/ssh_host_rsa_key

alle an einem best Datum geaenderten Dateien auflisten:
ls -AlturR --time-style=long-iso  | grep ^.*2004\-03\-19.2.* >/home/dp/katalog_040319_2x:xx:xx.txt 

Haeufigkeit bestimmter Eintraege in messages nach Tagen sortiert ausgeben
grep DPT=1434 /var/log/messages >/var/log/SQL.slammer.txt
for i in 24 25 26 27 28; do j=`grep Jan\ $i SQL.slammer.txt -c`;echo $i, $j;done

user passwd fuer geschuetztes web-verzeichnis mit .htaccess anlegen
htpasswd -b /usr/local/httpd/.htpasswd user pass 

haessliches XML lesbar formatieren
xmllint –format ugly.xml –output pretty.xml

 

KDE clipboard history aus cli löschen
qdbus org.kde.klipper /klipper clearClipboardHistory

 

 

 

 

 

KeepassX Konverter

Monday, November 21. 2011

download: convert2keepass.03a.tar.gz

Die Ausgangslage: auf einer kleinen verschlüsselten Partition halte ich eine seit vielen Jahren gehegte Sammlung von mehr oder weniger geheimen Infos, in vorwiegend kleinen Textdateien. Und diese wollte ich in eine Keepass - Datenbank überführen. Bei zusammen doch mehreren hundert Schnipseln war Handarbeit keine Option.

Die Zielanwendung ist KeepassX (v.0.43), das ich mit sudo apt-get install keepassx aus den Debian repositories installiert habe. Bis auf das Schnuller-Logo, das leider auch als Icon verwandt wird, habe ich an der Anwendung wenig auszusetzen: klein, flottt, unaufdringliche Oberfläche und es gibt sie in Versionen für alle Betriebssysteme und Architekturen, die ich habe. Ich kann die unter Linux erstellte Datenbank auf Windows, auf dem Mac, ja auch auf meinem Androiden öffnen, ergänzen, die veränderte .kdb vom Handy wieder auf Linux zurückspielen, die Sicherheitsfeatures machen auch einen guten Eindruck.

KeepassX kann Daten exportieren - als gegliederte Textdatei oder als keepassx.xml - und importieren - keepassx.xml, kwallet.xml und PwManager-Datei. Da nur ein Format sowohl für Export als auch Import zur Verfügung steht, war nicht lange zu überlegen, welches Format ich für einen Konverter wählen würde.

Es ist ein kleines Bash-Script geworden, das mit den Parametern QuellVerzeichnis zielVerzeichnis ZieldateiName aufgerufen wird und dann vom 'Quellverzeichnis abwärts durch alle Unterverzeichnisse alle Dateien sucht und einträgt. Dabei wird der Titel des Eintrags aus dem Namen der Textdatei (ohne Extension) gebildet und der Inhalt der Datei wird in das Feld Comment geschrieben.

Das Ergebnis ist dann eine lange xml-Datei, die mit der Import-Funktion als eine Keepassx-db geladen werden kann. Die Sache ist frisch und Alpha, derzeit kann es

  • prüft auf taugliche Parameter, Schreibrechte im ZielVerzeichnis
  • rekursive Bearbeitung, die Struktur in der Keepass-DB entspricht der Verzeichnisstruktur
  • prüft mimeType der Dateien und bearbeitet nur text* und message*
    • ruft dazu file
    • Texte, die von MacOS <10 stammen, machen uU Probleme
  • ersetzt die für XML unverträglichen Zeichen &<>"' und Zeilenenden durch html entities
  • gibt Statistik über bearbeitete Dateien und Verzeichnisse aus
  • schreibt für keepassX importierbares .xml und nennt dessen Dateipfad.

 

Um die damit erzeugten Datenbankeinträge nicht als eigene .kdb zu importieren, sondern mit einer bereits bestehenden zu vereinen, muss man dann doch Hand anlegen: die bestehende kdb als .xml exportieren, die beiden xml in einem Editor zusammensetzen und neu importieren. Grade gemacht, funzt.

(Page 1 of 2, totaling 7 entries) » next page