Beim Update auf 18.07.R: Exception:[Errno 28] No space left on device

german

#1

Liebe Gemeinde
Nach dem upload der ISO meldet die Pascom, es sei kein Speicher mehr vorhanden. Nun passiert nix mehr. Hier die Fehlermeldung
Titel:

Nachricht:

Exception:[Errno 28] No space left on device

Datum:

1554925068706

Typ:

alert-danger

Von HTTP:

Nein

Zusätzliche Daten

```
{
  "url": "https://192.168.xxx.xxx:8443/api/v1/jobs/728/",
  "id": 728,
  "uuid": "a5c919a5-b976-4e43-9c84-fdb256d6ccab",
  "module": "system",
  "taskname": "update",
  "state": "done",
  "task_data": {
    "path": "/persistent/controller/tmp/pascom_7.18.07.R.iso"
  },
  "created": "2019-04-10T19:36:35.116405Z",
  "started": "2019-04-10T19:36:36Z",
  "status_tmstmp": "2019-04-10T19:36:37Z",
  "status_msg": "Installing update [/persistent/controller/tmp/pascom_7.18.07.R.iso]",
  "updated": "2019-04-10T19:37:46.671507Z",
  "status_data": {
    "progress": "10"
  },
  "result_tmstmp": "2019-04-10T19:37:46Z",
  "result_bool": false,
  "result_msg": "Exception:[Errno 28] No space left on device",
  "result_data": {},
  "host": 1,
  "container_id": -1,
  "file": null
}
```

Soll/kann ich die ISO einfach per SSH weider löschen?
In der Appliance ist ein APU2C4, 4GB Ram, 16GB SSD, diese zeigte eine 9GB SWAP Partition die war leer.


#2

Ich habe nun die Datei
/persistent/controller/tmp/pascom_7.18.07.R.iso
gelöscht. Wenigsten komme ich nun wieder in die Admin-Konsole, jedoch lässt sich die Instanz selbst nicht starten:

Nachricht:    Could not start container
Datum:    1554929293020
Typ:    alert-danger
Von HTTP:    Nein

Zusätzliche Daten

{
  "url": "https://192.168.xxx.xxx:8443/api/v1/jobs/765/",
  "id": 765,
  "uuid": "0da5b209-8e16-4843-abdf-c80ab3d52a3f",
  "module": "container",
  "taskname": "start",
  "state": "done",
  "task_data": {
    "container_name": "pascom"
  },
  "created": "2019-04-10T20:48:03.666039Z",
  "started": "2019-04-10T20:48:05Z",
  "status_tmstmp": null,
  "status_msg": "",
  "updated": "2019-04-10T20:48:11.798586Z",
  "status_data": {},
  "result_tmstmp": "2019-04-10T20:48:11Z",
  "result_bool": false,
  "result_msg": "Could not start container",
  "result_data": {
    "log": [
      "lxc 20190410204806.653 ERROR    lxc_conf - conf.c:run_buffer:416 - Script exited with status 14.",
      "lxc 20190410204806.653 ERROR    lxc_start - start.c:lxc_init:450 - Failed to run lxc.hook.pre-start for container \"pascom\".",
      "lxc 20190410204806.653 ERROR    lxc_start - start.c:__lxc_start:1314 - Failed to initialize container \"pascom\"."
    ]
  },
  "host": null,
  "container_id": 11,
  "file": null
}

#3

Hallo,

nochmaliges rebooten hilft wohl nicht?
Ist die Lizenz denn in Ordnung (siehe Management UI, Bereich “System”)?

Probier nach dem reboot bitte mal das hier in der shell:

cs --debug container start INSTANZNAME

Danach solltest Du eine Fehlermeldung mit Hinweis auf ein Logfile bekommen, dieses kannst Du dann mit more/less/vi/cat/… anzeigen.

Es gibt bei pascom 18 keine Swap Partition, lediglich eine Swap Datei in /SYSTEM/swapfile. Du kannst diese evtl. etwas verkleinern wenn Du so wenig Platz hast (“ohne Garantie”):

   swapoff /SYSTEM/swapfile
   rm /SYSTEM/swapfile
   dd if=/dev/zero of=/SYSTEM/swapfile bs=1M count=2048
   mkswap /SYSTEM/swapfile
   swapon /SYSTEM/swapfile

Eine größere Platte wäre sicher schick :sunglasses:

Gruß,

Thomas


#4

Hey @tweber herzlichen Dank. Habe deine Inputs befolgt. Reboot, gemacht, Lizenz ist auch aktuell (war es in der Tat nach der Installation noch nicht, ein klick auch Lizenz aktualisieren und das war ok).
Nun: habe das SWAP File verkleinert, das hat prima geklappt.

Nun zum Log. Konnte das File nciht finden, doch beim Ausführen von

cs --debug container start INSTANZNAME

Kommt mehrfach die Meldung:

admin@pascom-server:~$ cs --debug container start pascom
Traceback (most recent call last):
   File "/usr/bin/cs", line 242, in container_start
      c.start(g_debug)
   File "/opt/cstools/cs/container.py", line 96, in start
      raise Exception("Container %s does not exist" % self.name)
Exception: Container pascom does not exist

Später erschient dann auch noch:

KeyError: 'Invalid configuration key'
Error: 'Invalid configuration key'

Das finde ich etwas kosmisch: Container pascom does not exist
Kann es sein, dass während dem Update der Speicherplatz ausging und dadurch etwas zerschossen ist?


#5

Naja, das Tool sagt eindeutig:

Container pascom does not exist

Vermutlich nennt sich Deine Instanz nicht “pascom”. Schau doch mal mit “lxc-ls -f” nach…


#6
NAME       STATE   AUTOSTART GROUPS IPV4                       IPV6 
controller RUNNING 0         cs     10.0.3.137                  -    
ifenp1s0   RUNNING 0         cs     10.0.3.1, 192.168.xxx.xxx   -    
ifenp2s0   RUNNING 0         cs     10.0.3.184, 192.168.xxx.xxx -    
ifenp3s0   STOPPED 0         cs     -                           -    
pascom     STOPPED 0         cs     -                           -    
pg         RUNNING 0         cs     10.0.3.139                  -

#7

Das ergibt insgesamt nicht viel Sinn.
Check mal bitte:

ls -la /var/lib/lxc/pascom/
ls -l /var/lib/lxc/images/

#8

Gerne, hier die beiden Listing:

ls -la /var/lib/lxc/pascom/

admin@pascom-server:~$ sudo ls -la /var/lib/lxc/pascom/
[sudo] password for admin: 
total 44
drwxrwx--- 7 root root 4096 Apr 10 20:47 .
drwxr-xr-x 9 root root 4096 Mar 15 11:06 ..
drwxr-xr-x 2 root root 4096 Mar 15 11:06 backups
-rw-r--r-- 1 root root  871 Apr 10 20:47 config
-rw-r--r-- 1 root root  871 Apr 10 20:09 config.old
lrwxrwxrwx 1 root root   33 Apr 10 20:09 image -> /var/lib/lxc/images/pbx@7.18.07.R
drwxr-xr-x 2 root root 4096 Mar 15 11:06 imagefs
drwxr-xr-x 2 root root 4096 Apr 11 11:51 log
drwxr-xr-x 9 root root 4096 Apr  8 13:16 overlay
drwxr-xr-x 2 root root 4096 Apr  8 13:16 rootfs
-r-------- 1 root root  183 Apr 10 20:47 vars.json
-r-------- 1 root root  183 Apr 10 20:09 vars.old

ls -l /var/lib/lxc/images/

admin@pascom-server:~$ sudo ls -l /var/lib/lxc/images/
total 16
drwxr-xr-x 4 root root 4096 Apr 10 19:36 cs-controller@7.18.07.R
drwxr-xr-x 5 root root 4096 Apr 10 19:37 cs-postgresql@7.18.07.R
drwxr-xr-x 4 root root 4096 Apr 10 19:37 cs-proxy@7.18.07.R
drwxr-xr-x 3 root root 4096 Apr 10 19:37 pbx@7.18.07.R

#9

Hmm. Vermutlich ist die Platte beim Auspacken des pbx images voll gelaufen und es ist kaputt.
Mach mal das:

rm -rf /var/lib/lxc/images/pbx@7.18.07.R

Danach das ISO nochmal im Management-UI hochladen.


#10

Probiere ich gerade aus. Ist das korrekt, dass im UI dennoch steht:


#11

Lieber @tweber danke soweit. Wir sind schon ein Schrittchen weiter.

Die Intstanz hat sich nach dem obigen Hochladen und Reboot gestartet. Doch erschient im WebUI während ca. 1 Minute 19
und danach blitz im 3 Sekunden Rhytmus (reload dre Website) unter dem Pascom Logo die Meldung:

“Telefonsystem ist aktiv und läuft” auf. Doch weiter geht es nicht. Auch die Telefone können sich nicht registreren.
Der Mobile Client hingegen verbindet und meldet: Keine SIP Verbindung möglich.
Doch das Telefonbuch erschient und der Mobileclient klingelt auch, wenn ich von Extern auf die Anlage anrufe.
TAPI funktioniert auch und zeigt ankommende Anrufe an.


#12

Besteht hier noch Hoffnug oder lohnt es sich langsam das System frisch aufzusetzen?
Ich hatte ein aktuelles csb-Backup aus der Admin Konsole zur Hand.


#13

Verwende das Backup, geht sicher schneller und spart dir subtile Probleme. Den Swap würde ich dann nachher dennoch kleiner machen.


#14

Cool, merci. Danke dennoch für die geduldige Hilfe.


#15

Hi,

das gleiche Problem hatte ich heute beim einem Update beim Kunden auch. Der Support konnte helfen.

Gruss

Flo


#16

@tweber ist der Support, oder?


#17

Hi Flo,

ich war dort tatsächlich kurz beteiligt. Bisher gehen wir von einem Einzelfall aus. Die Konstellation die du hattest ist bei keinem der zahlreichen Updatetests vorgekommen.

LG,

Thomas


#18

Hi Thomas,

alles klar.

Danke


#19

Kompliment! USB-Stick mit ISO drauf einstecken, Interfaces konfigurieren und Backupfile hochladen. Nach 20 Minuten läuft die Anlage wieder!:stuck_out_tongue_winking_eye: