Jump to content


Photo

Dauerspinner bei Aufruf großer Datenbank


  • Please log in to reply
20 replies to this topic

#1 rantanplan

  • PLi® Contributor
  • 1,800 posts

+83
Good

Posted 26 January 2021 - 00:33

Hy,

klappt vielleicht auch hier.
Kann mal jemand testen was mit größeren Filmdatenbaken passiert beim Aufruf via cifs.
Irgendwas ist da bei Basteln an aktuelles e2 schief gegangen.

[Skin] Processing screen 'MovieSelection', position=(97, 100), size=(1085 x 580) for module 'MovieSelection'.
[Skin] Processing screen 'MovieSelectionSummary', position=(0, 0), size=(132 x 64) for module 'MovieSelectionSummary'.
[Screen] Showing screen 'MovieSelectionSummary'.
[Screen] Showing screen 'MovieSelection'.
[Screen] Showing screen 'MovieSelection'.
[eEPGTransponderDataReader] schedule finished(1611615960)
[eEPGTransponderDataReader] stop caching events(1611615960)
[eEPGTransponderDataReader] next update in 60 min
[ActionMap] Keymap 'DirectionActions' -> Unknown action 'left'! (Typo in keymap?)
[ActionMap] Keymap 'DirectionActions' -> Unknown action 'leftUp'! (Typo in keymap?)
[ActionMap] Keymap 'DirectionActions' -> Action = 'down'.
[ActionMap] Keymap 'DirectionActions' -> Unknown action 'downUp'! (Typo in keymap?)
[ActionMap] Keymap 'OkCancelActions' -> Action = 'ok'.
[gRC] main thread is non-idle! display spinner!
[eDVBPESReader] ERROR reading PES (fd=58): Value too large for defined data type

da kommt man nur noch via init 6 raus.

 

mipsel build

develop

 

Grüße
 



Re: Dauerspinner bei Aufruf großer Datenbank #2 littlesat

  • PLi® Core member
  • 56,260 posts

+691
Excellent

Posted 26 January 2021 - 07:29

Looks like an epgcache issue.... ensure to restart enigma2 without epg.dat.

WaveFrontier 28.2E | 23.5E | 19.2E | 16E | 13E | 10/9E | 7E | 5E | 1W | 4/5W | 15W


Re: Dauerspinner bei Aufruf großer Datenbank #3 betacentauri

  • PLi® Core member
  • 7,185 posts

+323
Excellent

Posted 26 January 2021 - 07:32

Was meinst du mit Filmdatenbanken?

Verwendest du die aller letzte Develop Version? Gab vor ein paar Tagen ein Update bzgl epgcache, das so ein Problem löst. Wenn es damit zusammenhängt...
Xtrend ET-9200, ET-8000, ET-10000, OpenPliPC on Ubuntu 12.04

Re: Dauerspinner bei Aufruf großer Datenbank #4 rantanplan

  • PLi® Contributor
  • 1,800 posts

+83
Good

Posted 26 January 2021 - 12:31

Ja ich baue aus dem develop.

Eigentlich immer und bastel doch auch immer gerne.
 

Habe ja die vielen Änderungen an filepush oder auch deine Änderung estring gesehen.
Ich glaube das da irgendwo was schief gelaufen ist.
Irgendwo fehlt da ein debug oder edebug.

 

Es ist einfach eine lokale Festplatte im NAS via cifs eingehängt.
Hab es aber auch via nfs probiert und das System bleibt bei der Ansicht der Daten im Spinner.
Man sieht deutlich, das zunächst die Ordner korrekt geladen werden.
Die Dateien im oberen Verzeichnis werden aber dann vom System nicht geschafft.

Glaube nicht das es mit dem epgcache zu tun hat.
Muss weit zurück bauen, damit es wieder funktioniert.

Ich meine es ist über 2 Wochen her.
Ist mir leider nur erst jetzt aufgefallen.

Ich versuche mal den Bau soweit zurück zu spulen wie es noch geklappt hat um es einzugrenzen.

 

Grüße



Re: Dauerspinner bei Aufruf großer Datenbank #5 rantanplan

  • PLi® Contributor
  • 1,800 posts

+83
Good

Posted 26 January 2021 - 12:45

epg.dat versuche ich aber vorher in jedem Fall;-)

 

Grüße



Re: Dauerspinner bei Aufruf großer Datenbank #6 betacentauri

  • PLi® Core member
  • 7,185 posts

+323
Excellent

Posted 26 January 2021 - 12:48

Schau mal, dass du den Commit mit drin hast:
https://github.com/O...127f885daecd515

Wenn ja, müssen wir mal das mal debuggen woran das liegt.

Edited by betacentauri, 26 January 2021 - 12:48.

Xtrend ET-9200, ET-8000, ET-10000, OpenPliPC on Ubuntu 12.04

Re: Dauerspinner bei Aufruf großer Datenbank #7 rantanplan

  • PLi® Contributor
  • 1,800 posts

+83
Good

Posted 26 January 2021 - 13:07

Japp
hab es gestern aktuell nochmal gebaut und getestet.

Das oben angehängte ist übrigens aus dem debuglog.
Der endet dort und danach sieht man noch eventuelle Tastendrücke, aber sonst nix mehr.
Man kann auch ewig warten, da passiert nix mehr außer Spinner.
Box bleibt erreichbar via Telnet und ftp.
Ist auch nicht überlastet, eher gelangweilt was die Auslastung angeht.

Aber ich werde nachher nochmal epg.dat löschen und gucken ob sich tatsächlich da was tut.

Grüße



Re: Dauerspinner bei Aufruf großer Datenbank #8 betacentauri

  • PLi® Core member
  • 7,185 posts

+323
Excellent

Posted 26 January 2021 - 13:42

Bleibt das jedes Mal hängen oder nur manchmal?

(Mit kill -9 kann man enigma2 normalerweise in so einem Fall auch stoppen. Dann muss man nicht komplett neustarten)
Xtrend ET-9200, ET-8000, ET-10000, OpenPliPC on Ubuntu 12.04

Re: Dauerspinner bei Aufruf großer Datenbank #9 rantanplan

  • PLi® Contributor
  • 1,800 posts

+83
Good

Posted 26 January 2021 - 14:24

"normalerweise"

ich weiß, aber das klappt leider nicht.

Er bleibt im Dauerspinner.
Keine Chance mit klassischen Befehlen da raus zu kommen.
Init 6 geht und ist das einzig sinnvolle da.

epg.dat hab ich eben gelöscht und neu probiert.
Wie vermutet hat das nix damit zu tun.

 

Der bleibt einfach in der Liste der Dateien hängen.
Ordner/Unterordner und Dateien im direkten Verzeichnis klappt nicht.
Die Ordner werden angezeigt die Dateien führen dann zum Dauerspinner.

 

Für mich kommt das aus den filepush.

Ich werde wie gesagt aus dem Develop mal zurück gehen um es einzugrenzen.

Versucht es nachzustellen mit Zugriff auf Datenbanken mit mehreren Ordnern und darin mehreren Unterordnern, aber auch vielen Dateien im Hauptordner.

Grüße



Re: Dauerspinner bei Aufruf großer Datenbank #10 betacentauri

  • PLi® Core member
  • 7,185 posts

+323
Excellent

Posted 26 January 2021 - 14:51

Filepush denke ich eher nicht. Oder läuft eine Aufnahme währenddessen?
Xtrend ET-9200, ET-8000, ET-10000, OpenPliPC on Ubuntu 12.04

Re: Dauerspinner bei Aufruf großer Datenbank #11 rantanplan

  • PLi® Contributor
  • 1,800 posts

+83
Good

Posted 26 January 2021 - 15:09

Nein.

 

Das wird direkt ohne irgendwas besonderes getestet.

Neues Image ist gebaut und getestet.
Leider auch nix, also noch weiter zurück.
Eigenartig...

 



Re: Dauerspinner bei Aufruf großer Datenbank #12 rantanplan

  • PLi® Contributor
  • 1,800 posts

+83
Good

Posted 26 January 2021 - 20:02

ok, jetzt gehen mir die Ideen aus.
Hab e2 bis in November zurück "gespult" und bekomme den Fehler nicht raus..

Eventuell sind die .nfo Dateien (aus moviedatenbank kommend) auch irgendwie das Problem dafür.
Wenn es weniger sind scheint es zu klappen, aber bei größer 100 fegt es das System weg.

Genug gebastelt;-)

 

Grüße



Re: Dauerspinner bei Aufruf großer Datenbank #13 betacentauri

  • PLi® Core member
  • 7,185 posts

+323
Excellent

Posted 27 January 2021 - 00:06

.nfo wird doch von e2 überhaupt nicht gelesen soweit ich weiß. Ich wüßte jedenfalls nicht, dass das blanke Image die irgendwo verwendet.


Xtrend ET-9200, ET-8000, ET-10000, OpenPliPC on Ubuntu 12.04

Re: Dauerspinner bei Aufruf großer Datenbank #14 rantanplan

  • PLi® Contributor
  • 1,800 posts

+83
Good

Posted 27 January 2021 - 15:21

Sehe ich genauso versuche es nur einzugrenzen.
Aber wenn sonst keiner ein Problem erkennt, dann macht mich das natürlich selbstkritisch.

Es war ewig überhaupt kein Problem und die Datenbank ist auch nicht größer geworden.
Einzig diese .nfo Dateien waren nicht schon immer drauf.
Die habe ich bei Hinzufügen eine schönen MovieDatenbank dazu bekommen.

Ich warte mal ab.
Etwas aufhorchen lässt mich der Fehler der hier

https://forums.openp...g-stream-issue/

zum gsod führt.

 

Ich bringe jetzt mal der Fritte nfs via Freetz bei und dann gucke ich mir das weiter an.

Man kann genau sehen, das der Ordner gescannt wird und der "Spinner" kurz weg ist.
Dann tauchen die weiteren Ordner alle auf, aber nicht die Dateien im gewählten Ordner.
Dann bleibt der Dauerspinner.
Im Log kommt immer genau das raus.
Aus meiner Sicht fehlt daher irgendwo ein edebug.
Das log würde dann weiter gehen und wahrscheinlich wäre der Fehler auch weg.

 

Aber mal gucken ob ich was finde.

Grüße



Re: Dauerspinner bei Aufruf großer Datenbank #15 rantanplan

  • PLi® Contributor
  • 1,800 posts

+83
Good

Posted 15 February 2021 - 20:25

Gewartet und weiter gesucht.
Es ist in jedem Fall die Movie-Liste die den Dauerspinner erzeugt.

Die Box ist dabei völlig normal via ftp und telnet erreichbar.

Aber aus der Movie-list kommt man nicht mehr raus.
Wahrscheinlich haben die wenigsten so größere Datenbanken Listen im Hintergrund und daher fällt der Fehler nicht auf.

Mit dem Filecomander kann ich ganz normal auf die Dateien.
Auch die alternativer Images machen das ordentlich.

 

Hier hängt sich der python code weg und ich weiß echt nicht seit wann.

Es war jedenfalls nicht immer so.

Die Abfrage kommt nicht mit den Verzeichnissen und Unterverzeichnissen und den vielen Dateien im Hauptverzeichnis klar.

vielleicht fällt da einem der python coder was zu ein.

Grüße
 



Re: Dauerspinner bei Aufruf großer Datenbank #16 betacentauri

  • PLi® Core member
  • 7,185 posts

+323
Excellent

Posted 15 February 2021 - 20:44

Sind .meta Dateien vorhanden? E2 aktualisiert/erzeugt die meine ich, wenn sie fehlen bzw nicht aktuell sind.
Das kann lange dauern, wenn es viele .ts betrifft und die Verbindung zum NAS nicht soo schnell ist.
Ansonsten füg mal Debugs in den Python Code ein um zu sehen bei welcher Datei der hängen bleibt. Und ob der überhaupt hängen bleibt oder der Aufbau so langsam ist.
Xtrend ET-9200, ET-8000, ET-10000, OpenPliPC on Ubuntu 12.04

Re: Dauerspinner bei Aufruf großer Datenbank #17 rantanplan

  • PLi® Contributor
  • 1,800 posts

+83
Good

Posted 15 February 2021 - 21:03

Ich bekomme ja leider nicht mehr raus beim log, als das was oben steht.

Nein es sind keine Meta Dateien.
Eigentlich ein normal halbwegs sortierter Video Ordner.

Das interessante ist, wenn ich die Sicherung einspiele, dann stellt er die Dateien im Unterordner eines Ordner.
Wechselt man dann in den Ordner drüber, dann ist wieder aus.
Den Ordner mit vielen einzelnen Dateien will er nicht.

Dann gibt es Dauerpsinner.



Re: Dauerspinner bei Aufruf großer Datenbank #18 Pike_Bishop

  • Senior Member
  • 1,130 posts

+72
Good

Posted 20 February 2021 - 20:54

Hab hier auch ein NAS mit cifs am Laufen und keine solche Probleme.

Sind zwei Platten a 3 Tb im NAS wobei eine Platte is nur zum Spiegeln aber die andere 3 Tb Platte is schon soweit voll das nur noch 400 Mb frei sind

(viele Movies in mehreren Unterordnern).

Verwende aber grade PLI-7.2

 

 

Grüsse

Pike


Edited by Pike_Bishop, 20 February 2021 - 20:55.

Receiver: VU Ultimo 4K, Octagon SF8008 4K, Gigablue Quad 4K

Image: OpenPLI-8.3


Re: Dauerspinner bei Aufruf großer Datenbank #19 rantanplan

  • PLi® Contributor
  • 1,800 posts

+83
Good

Posted 21 February 2021 - 00:19

Hallo Pike

lange nix gehört von dir;-)

Ja mir ist es selbst ein Rätsel.
Es liegt nicht an der cifs Einbindung. Es liegt an der Datenbank und der Darstellung der Liste via Movielist.
Wenn ich mir die Daten via filcommander oder ähnliches angucke wird alles einwandfrei dargestellt.
Scheint auch niemand sonst das Problem zu haben und ich will es nicht überbewerten.
 

Habe schon ein paar Dinge probiert.
Es war aber nicht immer so.
Gut möglich das es im 7.2 noch klappt.

Grüße :thumbs-up:



Re: Dauerspinner bei Aufruf großer Datenbank #20 Pike_Bishop

  • Senior Member
  • 1,130 posts

+72
Good

Posted 21 February 2021 - 18:23

Hi rantanplan,

 

Na ja vielleicht doch mal 7.2 probieren (nur um zu testen), wobei die gibts ja möglicherweise gar nicht mehr zum Downloaden.

Ich kann mich aber erinnern das ich mal Probleme hatte mit dem Aufbauen der Movieliste (dauerte damals Minuten bis ich ein movie starten konnte), hab das aber

irgendwie gelöst nur leider erinnere ich mich nicht mehr daran an was das damals lag (werd wohl auch nicht jünger).

 

Datenbank müsste hier jedoch sehr gross sein denn ausser dem NAS hab ich noch ne Interne Platte und ne externe USB Platte und sowohl das NAS

als auch die Externe USB Platte sind in das movie Verzeichnis der Internen Platte gelinkt, und auch an der Fritzbox is noch ne Platte dran die ist ebenfalls in das movie Verzeichnis

der Internen Platte verlinkt.

 

 

Grüsse

Pike


Edited by Pike_Bishop, 21 February 2021 - 18:26.

Receiver: VU Ultimo 4K, Octagon SF8008 4K, Gigablue Quad 4K

Image: OpenPLI-8.3



1 user(s) are reading this topic

0 members, 1 guests, 0 anonymous users