3510
Comment:
|
← Revision 11 as of 2016-05-31 15:26:55 ⇥
4073
|
Deletions are marked like this. | Additions are marked like this. |
Line 55: | Line 55: |
Es wird CEPHFS über libcephfs exportiert. Sieht funktioniell i.O. aus, aber ziemlich schlechte (besser: miserable) Schreib-Performance. | Es wird CEPHFS über libcephfs exportiert. Probleme: * ziemlich schlechte (besser: miserable) Metadaten Schreib-Performance (Anlegen, Löschen). * Entpacken des Linux-Kernels führte zu defekten symbolischen Links * im eigentlichen CEPHFS sind sie aber ok, also wohl ein Ganesha-Problem! |
Line 61: | Line 66: |
* Gute Performance | * Akzeptable Performance |
Line 67: | Line 72: |
== Funktionalität == |
|
Line 74: | Line 81: |
== Perfomance == Messung der Zeit zum Entpacken des Linux Kernels ('''time tar -xvJf linux-4.4.5.tar.xz''') auf dv7 (SL7-WGS) ||<rowstyle="background-color: #E0E0FF;">Dateisystem||Sekunden|| ||Lokal (/tmp) || 7|| ||AFS || 79|| || "Klassisch" NFS-4.0 || 168|| || NFS mit CEPHFS || 2815 !!!|| || CIFS (Windows) || || |
Zusammenfassung erster kleinerer Funktionstest zur Ablösung von AFS-$HOME
Contents
1. Optionen
1.1. Windows Server
potentielle Vorteile: identisches $HOME in Windows & Linux.
1.1.1. mit CIFS Export
Funktioniert prinzipiell, aber es ist leider aktuell scheinbar unmöglich, "special files" wie Symlinks anzulegen. Es gibt die CIFS Protokollerweiterung 'unix extensions'. Diese scheint jedoch nur in Samba implementiert zu sein. Laut Gunter gibt es das für Windows nicht. Zweite Alternative wäre die CIFS Mountoption "sfu", die solche Files emulieren würde. Mit dieser aktivierten Option läßt sich der Windows-Share aber nicht mehr mounten:
Apr 7 08:24:59 wgs1d cifs.idmap: key description: cifs.idmap;0;0;39010000;os:S-1-5-18 Apr 7 08:24:59 wgs1d cifs.idmap: Unable to convert cifs.idmap;0;0;39010000;os:S-1-5-18 to UID: WBC_ERR_WINBIND_NOT_AVAILABLE Apr 7 08:24:59 wgs1d cifs.idmap: key description: cifs.idmap;0;0;39010000;gs:S-1-5-18 Apr 7 08:24:59 wgs1d cifs.idmap: Unable to convert cifs.idmap;0;0;39010000;gs:S-1-5-18 to GID: WBC_ERR_WINBIND_NOT_AVAILABLE Apr 7 08:24:59 wgs1d kernel: init_special_inode: bogus i_mode (770) for inode cifs:281474976765353
Letzte benutzte Automounter-Option:
* -fstype=cifs,sec=krb5,user=&,uid=$USER,gid=$GID,cruid=$USER,domain=WIN.DESY.DE,rw,file_mode=0644,cifsacl,nosetuids,noperm ://znfs/ch/User1/&
1.1.2. NFS Export
Noch nicht getestet.
1.2. Ganesha
NFS-Server mit NFS-4.1 Unterstützung. Unterstützt viele Backends ("normaler" Export eines lokalen Mountpoints, Glustre, ceph, ...). Fühlt sich jedoch noch sehr jung an. Kombination Ganesha mit Gluster-Backend wohl die am besten unterstützte Variante.
Stark in der Entwicklung, was zu Problemen führt. Letztes offizielles Release ist 2.2 (vom April 2015). Diese Version läßt sich jedoch nicht gegen das aktuelle Gluster in SL7 (3.7.1) bauen. Aktuelle Developer-Version ist 2.3.1 (April 2016) - verlangt aber mindestens Gluster 3.7.4 ...
1.2.1. GLUSTER Backend
Probleme:
- Symlinks gehen nicht beim Export von Gluster-Volumes!?!
[wgs1d] /nfs/ganesha/ganesha-nfs/ahaupt % ln -s /etc/group ln: failed to create symbolic link ‘./group’: File exists [wgs1d] /nfs/ganesha/ganesha-nfs/ahaupt % rm group rm: cannot remove ‘group’: Stale file handle
Mit einem "normalen" Ganesha, welches nur ein Verzeichnis export, geht das ...
1.2.2. CEPH Backend
Es wird CEPHFS über libcephfs exportiert.
Probleme:
- ziemlich schlechte (besser: miserable) Metadaten Schreib-Performance (Anlegen, Löschen).
- Entpacken des Linux-Kernels führte zu defekten symbolischen Links
- im eigentlichen CEPHFS sind sie aber ok, also wohl ein Ganesha-Problem!
1.3. Klassischer NFS-Server
Standard-Server mit NFSv4 Export. Unterstützung von Kerberos-Authentifizierung. Tests laufen über obst46. Clients können über den VAMOS-Modifier autofs-nfshome-mod aktiviert werden (aktuell Farmknoten & SL7-WGS)
- Akzeptable Performance
- bisher keine Probleme gefunden
1.4. Netapp
2. Zusammenfassung
2.1. Funktionalität
Server |
Protokoll |
Special Files (Symlinks) |
Authentifizierung |
Redundanz |
Quota |
Windows |
CIFS |
|
KRB5 |
|
|
Windows |
NFS-4.x |
? |
KRB5 |
|
|
Ganesha mit Gluster-Backend |
NFS-4.x |
?!? |
SYS,KRB5 |
|
Gluster-Quotas? |
Ganesha mit CEPHFS-Backend |
NFS-4.x |
|
SYS,KRB5 |
|
CEPHFS Quotas mit ~10s Delay |
einfacher NFS-Server |
NFS-4.0 |
|
SYS,KRB5 |
|
(Quotas auf Server-FS) |
2.2. Perfomance
Messung der Zeit zum Entpacken des Linux Kernels (time tar -xvJf linux-4.4.5.tar.xz) auf dv7 (SL7-WGS)
Dateisystem |
Sekunden |
Lokal (/tmp) |
7 |
AFS |
79 |
"Klassisch" NFS-4.0 |
168 |
NFS mit CEPHFS |
2815 !!! |
CIFS (Windows) |
|