CRITICAL - load bei CSV-Import durch Connector

Hallo,

ich lasse automatisiert (mehrmals täglich) mit dem Connector eine CSV unseres Telefonbuchs mit rund 7000 Zeilen importieren.
Die CSV mit momentan ca. 757KB wird vom Connector erfolgreich per SMB abgeholt.

Fast jedes Mal, wenn der Import stattfindet meldet Icinga dann aber “load is CRITICAL”

** PROBLEM Service Alert: load is CRITICAL **

ca. 10 Minuten später kommt die Meldung

** PROBLEM Service Alert: load is WARNING **

und nochmals ca. 10 Minuten später kommt die Meldung

** RECOVERY Service Alert: load is OK **

Laut log werden ca. 8 bis 10 Telefonbucheinträge pro Sekunde upgedatet.
Insgesamt benötigt das updaten der ca. 7000 Einträge ca. 14 Minuten.

Die Variablen:

Die Struktur für den Import ist im Connector wie folgt festgelegt:
{
“phonebook”: [{
“028pho_bez” : “{{{displayname}}}”,
“028pho_phone” : “{{{phone}}}”,
“028pho_firstname” : “{{{givenname}}}”,
“028pho_lastname” : “{{{surname}}}”,
“028pho_organisation” : “{{{organisation}}}”,
“028pho_email” : “{{{email}}}”,
“028pho_mobile” : “{{{mobile}}}”,
“028pho_homephone” : “{{{homephone}}}”,
“028pho_fax” : “{{{fax}}}”
}]
}

Eingesetzte Version:
pascom 17.10
die auf VMware ESXi 6.0 läuft.

Kann ich daran noch etwas optimieren, damit ich nicht bei jedem Import eine Meldung bekomme?
Ggf. liegt das auch an der VM und man könnte daran noch etwas anpassen?

Während eines Imports sieht die Leistungsauswertung im vSphereClient so aus:

RAM:

CPU:

Danke schon mal im Voraus!

Hallo @Wagnerwagner,

bei uns sieht es ähnlich aus, während des Imports steigt die CPU-Last auf ~50% (2.5 GHz). Da wir stündlich nur ~1200 Datensätze importieren dauert es nur knapp 3 Minuten, daher bekommen wir keine Warnmeldung.

Demnächst steht das Upgrade auf Version 18 an, mal schauen ob es sich dort auch so verhält.

Edit: Die VM hat 2 CPUs zugeteilt.

1 Like

Dann muss ich wohl noch eine weitere CPU zuteilen…

Aber evtl. könnte Pascom hier auch noch etwas optimieren?

Ich bin ja hier noch eine Antwort schuldig.

Mit der pascom 18.04 verhält es sich genauso. Die CPU-Auslastung steigt während des CSV-Imports auf ~3GHz (2 vCPUs, beide werden auch genutzt).

Es werden mittlerweile 1500 Datensätze eingelesen (2677 importrows), der Import dauert ~2 Minuten. Damit noch unter der VMware- und Icinga-Warngrenze.

Allerdings werden viele Warnings geloggt, wie z. Bsp.

Warning: array_merge(): Argument #2 is not an array in /var/www/mobydickcmd/cmn/class/io/ex_abstractSynchronizingImporter.php on line 38

Warning: Invalid argument supplied for foreach() in /var/www/mobydickcmd/cmn/class/io/ex_abstractSynchronizingImporter.php on line 39

Gruß,
Rapha

1 Like