==  Konfigurationsmanagement mit VAMOS, Git, SUE, Cfengine und Ansible ==
  
<<TableOfContents>>

==== Beschreibung von SUE/SVN ====
<!> Diese Infos sind teilweise veraltet. Sue wird seit 2020 mit Git verwendet. Außerdem findet eine Migration nach Ansible statt.

===== Konfiguration der Host Systeme =====
 * einige Scripte unter /products/sue/etc/ können nach der Umstellung nicht mehr benutzt werden und rufen automatisch die neuen Scripte aus dem RPM DZ_sue
 * die sue Scripte befinden sich in /usr/sue/sbin, keine Links ins AFS mehr, (rpm DZ_sue)
 * /usr/sue/sbin/sue.update
  * neue Option -e(env) <path> : es ist möglich, Variablen aus ''/usr/sue/var/env.pl'' zu überschreiben
  * es wird im noaction und verbose Modus informiert, welches Feature gerade abgearbeitet wird
 * /usr/sue/sbin/sue.checkout [-h]  wird zum Auschecken verwendet, Pfad: /var/cache/suecf/repo 
 * /usr/sue/sbin/sue.bootstrap 
  * erzeugt alle Links unter /usr/sue/etc/ für die Konfiguration der Features und /usr/sue/var/env.pl
  * dafür wird auf dem vamosweb ein cgi Script mkconf2 gerufen, welches ein aktuelles tar-File generiert mit env.pl, den entsprechenden Featurelinks und mehr
{{{
/usr/sue/sbin/sue.bootstrap -h
usage:
        -d|-v     set debug mode
        -h        show usage
        -P <path> generating sue env in this directory
	-F <feature>:<dir>  to test a feature on a host (maybe before putting the code into git),
	          examples: -F sudo:/tmp/test; /tmp/test/feature/sudo and /tmp/test/archive/sudo have to exist
	                    -F group:/afs/.ifh.de/common/installation/test

}}}
 * /usr/sue/sbin/check_status überprüft Netwerk und ob znrepo verfügbar ist
 * /usr/sue/sbin/set_status ist ein Link auf check_status und wird verwendet, um nach fehlgeschlagenem Checkout oder Sue-Run den Zustand zu melden, aber weitere Mails zu verhindern
 * es gibt jetzt nur noch ein Script, welches beim Booten, für den Full- oder Updates Modus gestartet wird: /usr/sue/sbin/sue.run
{{{
/usr/sue/sbin/sue.run -h 
  check network connection and the availability of the git server,
  runs 'git pull; sue.bootstrap' and then sue.run with the given mode
  informs 'scout-linux' in case of problems
Usage:
	-d	set debug mode, no delay
	-v	set verbose mode (more cfengine output), no delay
	-n	set noaction mode, implied debug mode 
	-s	skip sue.bootstrap
	-m <mode>	set mode: full,boot,update or now(default)
		nightly run in 'full' mode with delay
		run in 'boot' mode without delay
                daily run in 'update' mode for requested features ( by vamos workflow )
		run in 'now' mode without delay for given features
		  in future: 
		  daily run can switch to full mode with
		  touchfeatures -F ALL ...
	-h	show usage
}}}  
 * sue.run 
   * während des Bootens darf sue.run nur im "boot" Modus laufen
   * Statuscheck
   * Check, ob /etc/nosue existiert
   * Delay ermitteln
   * Git pull
   * Ermittlung der Features, die abzuarbeiten sind (über Webservice von ''configsrv'')
   * Abarbeitung der Features

==== FAQ zu SUE/Cfengine ====
 * Liste der konfigurierten Features
  * ''/usr/sue/sbin/sue.bootstrap'' generiert Liste/Verzeichnis
  * Anzeige mit ''/usr/sue/sbin/sue.update  --list''

==== Updates per Cron-Jobs ====
===== tagsüber nur per workflow angestoßene Features (6-23 Uhr alle 10 Minuten) =====
 * cron job: ''/usr/sue/sbin/sue.run -m update''
  * läuft nur, wenn ''service sue_boot status'' ein OK zurückmeldet
 * das sind z.Z.: hosts,netgroups,passwd,klogin,ssh
 * oder manuell aktivierte Features per ''activate [-h]'' auf SL5/SL6:
{{{
   /usr/sue/sbin/activate -F list_of_features [-H list_of_hosts] [-N list_of_netgroups]
}}}
 * nach der Abfrage der `ToDo`-Liste wird diese auf dem ''configsrv'' gelöscht
 * Beispiele:
{{{
   activate -F scout,sudo -N linux-server
   activate -F ANY -H mydesk              # alle Features, die standardmäßig laufen, der Test erfolgt erst auf dem Client
   activate -F nagios -H ANY
}}}

===== Vollständiger Lauf (ab 3 Uhr mit Verzögerung) =====
 * cron job: ''/usr/sue/sbin/sue.run -m full'' 

==== Nutzung von Git ====

Die Entwicklung von Sue/Git findet im gitlab auf repo.zeuthen.desy.de statt.
Sue holt sich die Repos von einem der Git Mirror znrepo[1-3].

Um Zugriff zu https://repo.zeuthen.desy.de/infra/sue-cfengine zu erhalten bitte auf 1x Anmelden. Anschließen jemanden aus der Unix Gruppe bitten in die Gitlab Infra Gruppe aufgenommen zu werden. In https://repo.zeuthen.desy.de/profile/keys einen SSH Key hinterlegen oder alternativ immer per HTTPs arbeiten.

 * git clone https://repo.zeuthen.desy.de/infra/sue-cfengine.git
 * cd sue-cfengine
 * gewünsche Änderungen durchführen
 * wenn neue Dateien erstellt wurden. "git add $PATH" bzw. "git add ." im aktullen Pfad
 * git commit -am "meine aktuellen Änderungen sind das und das"
 * git push
 * bei https wird jetzt nach dem Usernamen und Passwort gefragt. Hier mit dem zna* Account sich anmelden.
 


==== Liste der Features und Status ====

EL = Enterprise Linux (RHEL,SL,CentOS)

||<rowbgcolor="#ffffe0"> feature || EL || Ansible || Kommentare ||
||<bgcolor="#007700"> aaru ||6,7,8|| (./) || ||
||<bgcolor="#007700"> afs_backup ||7|| || ||
||<bgcolor="#007700"> afs_client ||6,7|| || ||
||<bgcolor="#007700"> afs_server ||6,7|| || ||
||<bgcolor="#007700"> ai ||7|| ||  ||
||<bgcolor="#007700"> arcx ||6,7|| || ||
||<bgcolor="#007700"> atlas ||5,6|| || obsolete? ||
||<bgcolor="#007700"> automount ||6,7,8|| || Wird ersetzt durch: https://repo.zeuthen.desy.de/ansible-role/autofs ||
||<bgcolor="#007700"> cfengine ||6,7|| || obsolet, davon wollen wir ja weg ;-) ||
||<bgcolor="#007700"> conmgr ||7|| || ||
||<bgcolor="#007700"> cta ||6|| || ||
||<bgcolor="#007700"> cups ||6,7,9|| (./) || wird ersetzt durch https://repo.zeuthen.desy.de/ansible-role/cups-server ||
||<bgcolor="#007700"> cvmfs ||6,7,8|| (./) || ersetzt durch https://repo.zeuthen.desy.de/ansible-role/cvmfs-client ||
||<bgcolor="#007700"> dcache ||7|| || ||
||<bgcolor="#007700"> dhcp ||7|| (./) || ersetzt durch https://repo.zeuthen.desy.de/ansible-role/dhcp-server ||
||<bgcolor="#007700"> doocsadm || 6,7|| || ||
||<bgcolor="#007700"> exclude_macs || 7|| || obsolete ||
||<bgcolor="#007700"> exports || 6,7|| || ||
||<bgcolor="#007700"> ganglia ||7|| || Use Case sollte in Zukunft mit Prometheus/Grafana abgedeckt werden ||
||<bgcolor="#007700"> gdm ||6,7|| || ||
||<bgcolor="#007700"> grid ||7|| || obsolet, ersetzt durch mehrere Ansible-Rollen (myproxy-server, gridftp-server, gridmap) ||
||<bgcolor="#007700"> group ||6,7,8|| || ||
||<bgcolor="#007700"> hostmgt ||7|| (./) || https://repo.zeuthen.desy.de/ansible-role/hostmgt ||
||<bgcolor="#007700"> hosts ||6,7|| || wird durch https://repo.zeuthen.desy.de/ansible-role/etc-hosts ersetzt (auf EL8 default) ||
||<bgcolor="#007700"> httpd ||7|| || ||
||<bgcolor="#007700"> infiniband ||7|| || ||
||<bgcolor="#007700"> iptables ||6,7|| || replaced by Ansible role https://repo.zeuthen.desy.de/ansible-role/nftables on EL8 ||
||<bgcolor="#007700"> iss ||7|| || ||
||<bgcolor="#007700"> kerberos ||6,7|| || wird durch https://repo.zeuthen.desy.de/ansible-role/kerberos-client ersetzt (auf EL8 erfolgt) ||
||<bgcolor="#007700"> kernel ||6,7|| || ||
||<bgcolor="#007700"> klogin ||6,7,8|| || ||
||<bgcolor="#007700"> kvm || 6,7 || || ||
||<bgcolor="#007700"> ldap ||7|| (./) || ersetzt durch https://repo.zeuthen.desy.de/ansible-role/openldap-server ||
||<bgcolor="#007700"> linux ||6,7|| || ||
||<bgcolor="#007700"> localdisks ||6,7|| || ||
||<bgcolor="#007700"> lustre ||7|| || ||
||<bgcolor="#BDB76B"> mailsrv ||7||  ||  ||
||<bgcolor="#007700"> motd ||7,8|| (./) || https://repo.zeuthen.desy.de/ansible-role/motd ||
||<bgcolor="#007700"> mysql ||7|| ||  ||
||<bgcolor="#007700"> name_srv ||7|| || ersetzt durch https://repo.zeuthen.desy.de/ansible-role/bind-nameserver , Client-Seite (/etc/resolv.conf) fehlt noch||
||<bgcolor="#007700"> netgroup ||6,7,8|| || ||
||<bgcolor="#007700"> nfs || 5,6 ||  || obsolete ||
||<bgcolor="#007700"> noc || 7,9 || (./) || wird ersetzt durch https://repo.zeuthen.desy.de/ansible-role/noc ||
||<bgcolor="#007700"> nsswitch ||6,7|| || ab EL8 https://repo.zeuthen.desy.de/ansible-role/authselect ||
||<bgcolor="#007700"> osmng || 6||   || ||
||<bgcolor="#007700"> osmdevel || 6 ||  obsolete ||
||<bgcolor="#007700"> pac || 5,6|| || ||
||<bgcolor="#007700"> pam ||6,7|| || ab EL8 https://repo.zeuthen.desy.de/ansible-role/authselect ||
||<bgcolor="#007700"> passwd ||6,7,8|| || ||
||<bgcolor="#007700"> passwd_prog ||6,7|| || ||
||<bgcolor="#007700"> postgres || 7|| || ||
||<bgcolor="#007700"> radius ||7,9|| (./) || ersetzt durch https://repo.zeuthen.desy.de/ansible-role/radius ||
||<bgcolor="#007700"> reg_notebooks ||7||   || obsolete ||
||<bgcolor="#007700"> samba || 5,6|| || Ansible role? ||
||<bgcolor="#007700"> scout ||5,6|| || obsolete ||
||<bgcolor="#007700"> security ||6,7|| || ||
||<bgcolor="#007700"> sge ||7|| || braucht nicht portiert werden, SGE ist Auslaufmodell ||
||<bgcolor="#007700"> ssh ||6,7|| || wird durch https://repo.zeuthen.desy.de/ansible-role/openssh ersetzt (auf EL8 default) ||
||<bgcolor="#007700"> sudo ||5,6|| || obsolete since SL7, no clear replacement at the moment ||
||<bgcolor="#007700"> syslog ||6,7,8|| || ||
||<bgcolor="#007700"> tcp_wrapper ||6,7|| || sollte auslaufen, default auf EL8: "allow all" ||
||<bgcolor="#007700"> tidy_up ||6,7|| || ||
||<bgcolor="#007700"> tsm || 7 || || ||
||<bgcolor="#007700"> vamosw ||7|| || ||
||<bgcolor="#007700"> xntp ||6,7,|| || läuft aktuell mit der von Kickstart geschriebenen Konfiguration auf EL8 ||
||<bgcolor="#007700"> znmon ||6,7|| || ||
||<bgcolor="#007700"> zzz ||6,7|| || ||

== Konfigurationsmaster ==
 Infos zum Konfigurationsmaster findet man [[KonfigMaster| hier]]