60 replies to this topic

[fidelcastro54]

Hi Leute.
Mir wird komischerweise ein falscher freier Speicherplatz meiner internen hdd angezeigt. Verbaut ist eine 1 TB WDC WD10JPVX-22J und es werden mir 583.7 GB frei von 1000.204 GB angezeigt. Tatsächlich sind aber nur knapp 140 GB Daten auf der HDD. Löschen des Paperkorbs brachte da auch nichts. Was nun?

Gesendet von meinem SM-T813 mit Tapatalk

[betacentauri]

Ist die Box immer an bzw im Standby?
Wenn ja, starte mal die Box neu. Es gibt einen Bug im ext4 Dateisystem, der der Grund dafür sein könnte.

[fidelcastro54]

Ne. Die box geht beim Ausschalten in den Deep standby und wurde schon mehrfach neu gestartet.

Gesendet von meinem SM-T813 mit Tapatalk

[betacentauri]

Dann einen Dateisystemcheck durchführen. Bin gerade nicht zu Hause. Geht in Telnet ungefähr so:
init 4
mount (in der Ausgabe das Device heraussuchen. Ist meistens /dev/sda oder ähnliches)
umount /media/hdd
fsck.ext4 -f /dev/sda (Device entsprechend anpassen)

Edited by betacentauri, 18 December 2017 - 21:00.

[fidelcastro54]

Umount geht nicht. Kommt device is busy

Gesendet von meinem SM-T813 mit Tapatalk

[betacentauri]

Läuft vielleicht E2 noch? Normalerweise sollte das durch ein "init 4" beendet werden.
Ich kann dir gerade nicht weiterhelfen, da ich im Urlaub bin. Nächste Woche nach den Feiertagen, müsste ich wieder Zeit haben. Wenn sich sonst hier keiner meldet, schick mir mal ne PM.

[anudanan]

stehst du auf der CLI zufällig noch in dem Pfad auf der Platte? Dann könnte das der Grund für das device busy sein

 

Sonst nochmal booten. Direkt danach dann init 4 eingeben und das mit dem umount nochmal probieren

 

Du kannst auch vorher mal auf /hdd gehen mit

cd /media/hdd

dann du -h machen, dann siehst du, wieviel Platz das System meint, dort verbraucht zu haben

Oder df -h, da siehst du auch drei Werte, Plattenplatz, Used, Free

 

mit dem fsck musst du dann das richtige Device angeben, das ist das, was du bei der Eingabe von mount auf dem /media/hdd gebunden siehst

Edited by anudanan, 19 December 2017 - 14:29.

[fidelcastro54]

Ich hab im mount manager noch bei der hdd zusätzlich sda1 zur eigentlichen sda5 drinstehen. Beim befehl mount wird das aber nicht angezeigt.

Gesendet von meinem SM-T813 mit Tapatalk

[Pike_Bishop]

Das würde ja bedeuten das du zwei Partitionen auf dieser Platte hast einmal sda1 also ne primäre Partition, und ein weiteres mal sda5 das wär ne logische Partition

- brauchst du das denn so oder is das unabsichtlich geschehen ?

Normal würde ich nur immer die gesamte Platte zu einer einzigen Partition machen also zu ner primären sda1.

 

Was passiert denn wennst mal in telnet;

mount /dev/sda1

absetzt und was zeigt danach ein;

mount

und ein;

df -h

Grüsse

Biki3

Edited by Biki3, 19 December 2017 - 20:24.

[anudanan]

Ich habe auch gerade bei meiner HDD festgestellt, dass df -h meint, 618 GByte belegt zu haben, aber du -h gibt nur 183 GByte aus. Ich werde gleich mal booten und dann sehen, ob das so bleibt. ggfs noch ein fsck.ext4 machen.

Oben wurde von betacentauri erwähnt, dass EXT4 einen Bug hätte, der sowas verursachen kann. Bei mir geht die Box immer nur in den standby, läuft also immer. 

 

Später mehr dazu

[anudanan]

Bei mir hat sich das Problem nach einem Neuboot der Box gelöst. D.h. das Linux verzählt sich irgendwo bei der Verwaltung des EXT4

 

@Batecentauri:

Gibt es nähere Infos, was genau der Bug in dem EXT4 ist?

Gibt es noch andere Nebenwirkungen außer der falschen Zählung des belegten Speicherplatzes?

Würde z,b, gar keine Datei mehr angelegt werden, wenn die falsche Zählung in Richtung 0 Byte freien Platz geht, obwohl der Platz noch da wäre? Oder werden die Dateien trotzdem angelegt und der Zähler für den freien Platz geht dann in Richtung negativ oder ggfs durch wrap around wieder mit einer riesigen Zahl weiter?

[anudanan]

Ich habe gerade mal meine 2TB HDD, die ich mit openPli 6.1RC formatiert habe mit einer verglichen, die ich damals  mit openpli 4 formatiert habe und wo bisher nie diese freie Speicherplatzzählen ein Problem war

 

Der einzig erkennbare Unterscheid ist, das tune2fs -l an einer Stelle etwas anderes bei den Flags anzeigt

 

HDD mit Zählproblemen beim freien Speicher:

Filesystem flags:         unsigned_directory_hash

 

HDD ohne Zählproblem

Filesystem flags:         signed_directory_hash

 

 

alle meine damals formatierten HDD haben hier  signed_directory_hash

Bei meinen QNAP NAS Systemen steht dort allerdings auch unsignes:directory_hash und die haben sich auch noch nie verzählt, hat also vermutlich dann doch damit nichts zu tun

[betacentauri]

Der Bug scheint erst seit dem 4.1er Kernel aufzutreten. Ja, in meinen Tests brach ein Schreibvorgang mit Fehlermeldung ab, wenn eigentlich noch genug Platz da war aber df zu wenig angezeigt hat.
Hier kannst du etwas dazu lesen.
https://bugzilla.ker...g.cgi?id=151491
Das ganze hängt mit der Option bigalloc zusammen, die wir verwenden. Die ist aus meiner Sicht auch sinnvoll bei größeren Platten. Einziger Workaround ist im Moment die Platte neu zu formatieren (ohne bigalloc). Dann musst du aber alles was drauf ist und nicht gelöscht werden soll kurzzeitig woanders hinspeichern.
Der ext4 Experte ist dran und hat schon mehrere Bugs gefunden. Mehr kann ich nicht mehr machen. Wir müssen abwarten.

[betacentauri]

Sorry, bin noch halb am Schlafen. Neben neu formatieren hilft eben auch ein Reboot bzw die Box häufiger in den Deep Standby zu schicken.

[anudanan]

Danke für den Link. Scheint ja eine dicke Nuss zu sein und hat wohl irgendwas mit der Berechnung des Verschnitts bei den großen Clustern zu tun, wenn immer wieder Dateien neu geschrieben und gelöscht werden. Das passt gut bei uns, dann wir nehmen viel auf die interne 2TB Platte beim der uno 4K Se auf (vorher stand da eine ET8000 mit älterm Kernel), schneiden diese dort und verschieben die Filme dann auf NAS Systeme.  BigAlloc macht absolut Sinn bei überwiegend großen Dateien wie bei einem Receiver, da bei den 256K Cluster im Vergleich zu den Standard 4K für Verwaltung der Cluster einfach nur 1/64tel Aufwand in Rechenzeit und RAM entsteht, das finde ich absolut nachvollziehbar. Ich habe das damals verfolgt, als ihr das eingebaut habt und seit dem waren die Platten deutlich ruhig und es war auch gar kein Problem mehr mit vielen Aufnahmen, parallelem Schneiden usw zu bemerken. Vorher war das schon der Fall.

 

Ich hatte damals auch bei EXT4 mit bigalloc gelesen, dass das noch Betastadium war. Aber es hat gut funktioniert. 

 

Ich gehe mal davon aus, dass die Entwickler das finden.

 

WIe kann man das mitbekommen, wann ein möglicher Fix oder einer Verbesserung in den Kernel reinkommt?

 

Ich möchte nicht jeden Tag ein update machen.

[anudanan]

In deinem Post in bugzilla habe ich gelesen, dass die option nodelalloc das Problem umshift. Ist das so? Kann man das nutzen oder gibt das Performancenachteile und Probleme, wenn man die HDD intensiv mit Aufnehmen und Schneiden parallel nutzt

 

Du hast den Entwicklern ja gute Infos gegeben, wie man das nachstellt, das ich ja meist das schwierigste daran, wenn man Fehler sucht.

[anudanan]

Da unsere Box im Wohnzimmer auf der internen HDD auch Aufnahmen von remoten Boxen in Schlafzimmern speichert, geht sie nie in den deep standby. Daher muss ich wohl jetzt ab und zu mal einen Neustart machen, wenn gerade nirgendwo aufgenommen wird und der freie Platz zu neige geht

Oder die nodelalloc wäre noch eine Option, aber das kann ich nicht gut einschätzen

[fidelcastro54]

Neu formatiert, nun alles i.o. danke und schöne Weihnachten euch allen.

Gesendet von meinem SM-T813 mit Tapatalk

[betacentauri]

nodelalloc scheint das Problem nicht komplett zu lösen. Aber es macht die Sache auf jeden Fall besser.
Zu Performancenachteilen kann ich nichts sagen. Theoretisch müsste es welche geben, aber ob die auf unseren Boxen spürbar sind, weiß ich nicht. Ich denke eher nicht.

Ich befürchte, dass es erstmal nur für den aktuellen Kernel 4.15 oder höher einen Fix geben wird. Hoffentlich können wir den auf ältere Kernel rückportieren.

Ich versuch hier im Thread was zu schreiben, wenn es Neuigkeiten gibt. Ich hoffe ich vergesse es nicht.

[anudanan]

Ich versuche das mal mit nodelalloc. 

Wenn ich das in die fstab eintrage, muss ich dann defaults ersetzen durch nodelalloc oder muss ich dann auch weitere default Mountoptionen mit aufzählen und wenn ja, welche sind das dann?

Danke und schöne Festtage.