110 replies to this topic

[Pr2]

Since 2nd september it is an "all time" issue,  can someone from OpenPLi start up its Solo4K and try the BeNeLux XMLTV import... if you cannot startup a Solo4K please add more debug in code in order for me to be able to provide you with a verbose crash log that will mean something useful. 

[doglover]

Pr2,

 

Before 2nd september, could you run the import on your Solo4K without problems?

Did you update your box on or just before September 2nd?

And what was the date of the image before September 2.  And what is the date of your image now?

 

Willy

Edited by doglover, 8 September 2016 - 16:53.

[Pr2]

Hi,

 

I already answer all these questions but to help you:

 

- I regularly update OpenPLi (nearly daily) sorry I didn't write it my agenda, so NO I can tell you when exactly I update the box before the crash.

- The update of the EPG is programmed automatically every morning at 8H55 so I am not there when it updates. My wife has the TV on when it crash on saturday (3rd september) and report it to me. And since the crash log is generated and empty I have to find out what cause this crash and I discovered that it was the EPG import process.

- The EPG import screen display that the last successful update was the 1st september that all I can say, sorry.

- I import  Benelux, France and Erotic

- I flash again the box the day I create this thread to be sure that it was not due to a corruption or a wrong online update.

- I still perform daily update and test since I report it.

 

So this is useless to focus on those fuzzy informations this won't give any valuable informations.

 

The focus should be to include more debugging in OpenPLi and EPG Import so track down properly what happens.

 

The crash is not always at the same number of events but nearly at the same number when repeating the same import several times.

 

Moreover others users also confirm this crash!  So I am not the only one that have this problem and all are using VU+ Solo4K.

 

Can someone with a Mut@nt HD51 also try to import the same XMLTV files and watch if it crash or not since HD51 is also ARM based.

 

My Setup is:

Solo4K latest OpenPLi 4.

2*DVB-S2 in loopback

2*DVB-C in loopback

 

Satellite are:

 

Hotbird 13.0E,  Astra 19.2E, Eutelsat5A 5°W

Cable provider: belgian Voo

 

Regards,

 

Pr2

[doglover]

Pierre,

 

have you tried to flash the Box with an image of before 2nd september?

Will it import with that?

 

Secondly:

On September 1st I have added:

Franceinfo and BeinSport3

 

<channel id="Franceinfo.fr">1:0:1:106:1:20FA:DDE0000:0:0:0:</channel> <!-- Franceinfo -->

<channel id="beINSport3.fr">1:0:1:B81:51A4:55F:DDE0000:0:0:0:</channel> <!-- beIN SPORT3 HD -->

<channel id="Franceinfo.fr">1:0:1:1F45:42E:1:C00000:0:0:0:</channel> <!-- Franceinfo -->

 

Although I do not see an error in here.

 

 

 

Willy

[Pr2]

Hi,

 

No I don't flash with an image before 1st september.

 

Pr2

[demosat1]

Hi,

 

I looked at the file and Benelux are many duplicates in <channel id = and <Display-name lang =

[Pr2]

Hi,

 

Simple question, if we are now sure that everything that is generated is in UTF-8 format why this:

 

EPGConfig.py:                                           ref = ref.encode('latin-1')

 

While the other one are .encode('utf-8')

 

EPGImport.py:           sourcefile = sourcefile.encode('utf-8')

xmltvconverter.py:      return r.encode('utf-8')

 

 

Moreover if this can help, I have added debug myself into the code and here is where it crash with file BENELUX.

 

< 30384.130> [XMLTVConverter] Processing channel:  SRF2.ch

< 30384.130> [XMLTVConverter] Processing channel:  SRF2.ch

< 30384.131> [XMLTVConverter] Processing channel:  SRF2.ch

< 30384.131> [XMLTVConverter] Processing channel:  SRF1.ch

< 30384.131> -------FATAL SIGNAL

Segmentation fault

root@vusolo4k:~# 

 

Same place for FRANCE:

 

< 30529.277> [XMLTVConverter] Processing channel:  SRF2.ch

< 30529.277> [XMLTVConverter] Processing channel:  SRF1.ch

< 30529.278> -------FATAL SIGNAL

 

Edit: and same place also for Test Germany 3.

 

Pr2

Edited by Pr2, 8 September 2016 - 20:52.

[Pr2]

Hello,

 

And to be complete here is the last information available:

 

< 31376.981> [XMLTVConverter] Processing channel:  SRF1.ch

< 31376.981> [XMLTVConverter] start  1473281700

< 31376.982> [XMLTVConverter] stop  1473285300

< 31376.982> [XMLTVConverter] Processing title:  Streng nach Protokoll

< 31376.982> [XMLTVConverter] Processing channel:  SRF1.ch

< 31376.982> [XMLTVConverter] start  1473285300

< 31376.982> [XMLTVConverter] stop  1473286200

< 31376.982> [XMLTVConverter] Processing title:  Tagesschau Nacht

< 31376.982> [XMLTVConverter] Processing channel:  SRF1.ch

< 31376.983> [XMLTVConverter] start  1473286200

< 31376.983> [XMLTVConverter] stop  1473290400

< 31376.983> [XMLTVConverter] Processing title:  Best of Swiss Animation 2016

< 31376.983> -------FATAL SIGNAL

 

Pr2

[Pr2]

Hi,
 
The description for this event is incredibly long:
 
<desc lang="de">Der Erlkönig / Ivan's need / Ruben Leaves / In the valley below / Seemannsgarn / Königin Po / Lucens / Cats &amp; Dogs / Islander's Rest. Der Erlkönig: Die musikalische Fassung der Ballade vom Vater, der sein krankes Kind zu retten versucht und es letztlich doch an den Erlkönig verliert, wird hier in immer neuen Drehungen in mitreissende Bilder verwandelt: ein wilder Ritt, ein Fiebertraum, ein schwindelerregender Wettlauf mit dem Tod. Ivan's need: Kneten ist seine grosse Leidenschaft. Der Brotteig unter den knetenden Händen des Bäckerlehrlings verwandelt sich in erotischen Rundungen. Auch die unendlich langen Brüste einer Kundin werden ausgiebig geknetet. Doch leider verwandeln sich die Brüste nach innigem Kneten zu hartem Brot. Die humorvolle Fantasie über Sinnlichkeit und Sexualität wurde von Kunststudierenden der Hochschule Luzern als Bachelorarbeit 2015 realisiert und von SRF koproduziert. Das Trio – Veronica Lingg, Manuela Leuenberger und Lukas Suter – hat mit mit "Ivan's need" bereits mehrere internationale Preise gewonnen. Am internationalen Animationsfilmfestival Fantoche 2015 in Baden wurde der Film mit dem Preis High Swiss Risk ausgezeichnet. Ruben Leaves: Ruben wird auf dem Weg zur Arbeit von neurotischen Zwangsvorstellungen heimgesucht: Ist die Wohnungstür verschlossen, der Gasherd wirklich ausgeschaltet? Immer absurder wirken die Szenarien, plagen Rubens kreativen Geist. Realität und Fantasie vermischen sich langsam aber stetig miteinander. Frederic Siegels Film entstand 2015 als Abschlussarbeit des Bachelorstudiums an der Hochschule Luzern Design &amp; Kunst. Neben vielen Festivalpreisen weltweit, gewann "Ruben Leaves" in der Kategorie Bester Abschlussfilm den Schweizer Filmpreis 2016. In the valley below: Was der Nebel verhüllt, wird erst aus der Nähe sichtbar. Auf dem Gipfel eines Berges beschützt ein Soldat seine Stadt vor einer im Nebel verborgenen Gefahr. Ein Missgeschick zwingt ihn, sich seiner Angst zu stellen. Dabei erkennt er, dass sich hinter Fremden nicht zwingend etwas Bedrohliches verbirgt. Seemannsgarn: In einem kleinen Boot auf hoher See trifft eine ausgehungerte Mücke auf einen einsamen Seemann. Die Leidenschaft für das Musizieren nährt die Freundschaft der beiden, das Blut des Seefahrers die Mücke. Die Situation eskaliert, als sich die Mücke in ihrer Gier nicht mehr zurückhalten kann. Feinfühlig und surreal erzählen die beiden Filmemacherinnen Claudia Wirth und Julia Munz eine wundersame Geschichte über den Preis einer Freundschaft. Ihre Bachelorarbeit 2015 wurde an der der Hochschule Luzern realisiert. "Seemannsgarn" wurde international bereits mehrfach preisgekrönt. An den internationalen Kurzfilmtagen in Winterthur erhielt er den Preis für den Besten Schulfilm 2015. Königin Po: Gaagelingen, ein Königinnenreich weit über den Wolken, wird regiert von der Königin Po. Ihren Untertanen, Frau Triangel und Herr Vierangel, steht die Königin aber nur im Weg. Sie schieben sie hin und her, immer schneller, bis das ganze Reich aus den Fugen gerät. Lucens: Die Geschichte des ersten (und letzten) Atomkraftwerks "made in Switzerland". Cats &amp; Dogs: Ein Zeichner entwirft in einem Skizzenbuch einen Mann, eine Frau, einen Hund und eine Katze. Während Männlein und Weiblein Gefallen aneinander finden, stürzen die beiden Tiere sofort auf einander und zetteln einen wilden Streit an. Allerdings fällt das Strichmännchen beim Schlichten des Streits in ein schwarzes Loch. Nur die gemeinsame Anstrengung der beiden Tiere kann es retten. Islander's Rest: Seltsame Bräuche herrschen im kleinen Dorf auf der kargen Insel. Täglich holt ein kleiner Knabe im einzigen Pub ein schweres Paket ab und bringt es seiner Grossmutter. Zurück trägt er ein Schiffsmodell in einer leeren Flasche, das von den Männern im Pub mit einem dröhnenden Choral empfangen wird</desc>
 
This is why it crash I think...
 
Pr2

Edited by Pr2, 8 September 2016 - 21:12.

[WanWizard]

Buffer overflow somewhere?

[doglover]

If this is the culprit, the only thing I can do is grab it from different website.

Which is what I have done.  Performed an new grab and updated the XMLTV files (Benelux, Germany and France)

 

I think the longest description is:

 

<programme start="20160908060500 +0200" stop="20160908063000 +0200" channel="SRF1.ch">
    <title lang="de">Kulturplatz</title>
    <sub-title lang="de">[Information] . [Kulturmagazin]  (2016)</sub-title>
    <desc lang="de">Niedlich und lecker! Ein tierischer "Kulturplatz" - Wie der Mensch so der Affe - gleiche Rechte für alle?: Weniger als zwei Prozent: So klein ist der genetische Unterschied zwischen vielen nicht menschlichen Primaten und dem Menschen. Menschenaffen haben hohe kognitive Fähigkeiten, spüren Schmerz, trauern, wenn Verwandte sterben. Die Forderung, sie gleich zu behandeln wie die Menschen, liegt nahe. Eine Basler Initiative fordert nun, das Grundrecht auf Leben und Unversehrtheit einzuführen. Die Unterschriftensammlung läuft gut. Doch was würde es bedeuten, wenn die Initiative Erfolg hätte? Tiere an der Front - wie der Mensch das Tier in den Krieg schickt: Hunde als Selbstmordattentäter, Wale als Spione und Schweine als Sprengstoffexperten: Wenn der Mensch im Krieg sein Leben nicht riskieren will, schickt er das Tier vor. Als Freund und Kamerad tragen alle möglichen Tierarten die Uniform. Doch schliesslich werden die Vierbeiner meist auf dem Schlachtfeld geopfert. Das Buch "Anthropomorpha: Tiere im Krieg" von Malin Gewinner stellt 32 erstaunliche, skurrile und bizarre Tiersoldaten vor. Blutrünstige Jäger - Regisseur Ulrich Seidl geht auf Safari: Schöne, wilde Tiere in freier Wildbahn beobachten, Tiere, die man sonst nur hinter Gitter im Zoo sieht - nicht bei Ulrich Seidl. Im Dokumentarfilm des österreichischen Skandalregisseurs geht es um die Jagd als Urlaubsvergnügen. Inzwischen sind es nicht mehr nur die Reichen wie der spanische König Juan Carlos, die mit toten Elefanten auf Fotos posieren. Auch Otto Normalverbraucher kann sich die blutigen Ferien in Afrika inzwischen leisten. Eine Begegnung mit dem Regisseur Seidl auf dem Filmfestival in Venedig. Vom Flüchtling zum Lehrling: Ali Heidari in der Hotelküche: Das Sozialamt unterstützt ihn, die Gastfamilie hat ihn ins Herz geschlossen, und im Hotelbetrieb kennt ihn jeder - der Flüchtling Ali Heidari ist in Luzern angekommen. Doch jetzt geht es um die Fragen: Wie wird man ein guter Koch? Versteht Heidari genug Deutsch, um in der Schule mitzuhalten? Reichen seine Nerven, um dem Stress der Hotelküche standzuhalten? Die dritte Folge über den Flüchtling Ali Heidari</desc>
  </programme>

 

Which is a lot shorter than the above.

2142 chars for this, the above has 3823 chars.

 

Willy

Edited by doglover, 8 September 2016 - 21:39.

[Pr2]

Hi,

I think that I have done my part of the job, it's now up to dev to detect where the bug is and perhaps how to protect against this.

Perhaps by limiting the maximum length of a description.

 

I saw that some &amp remains in the description and there are also name between double quote.

But I think indeed that we face a buffer overflow and that the code should avoid to reach such situation.

 

@Willy,

 

This is just a work-around a more strong solution should be implemented.  Or VU+ should increased the "long description" buffer if the problem is on there side.

Is the OpenPLi BSP mention something about the length of the buffer that the vendor should support, if so the code should avoid to write more data than allowed.

Pr2

[doglover]

Files are uploaded.

 

Yes of course, it is a workaround. 

And at the moment I do not have anything ready made to limit the length of the description.

I will have to program something.  I am sure it is possible.

 

Secondly, I have no clue as how much is allowed.  Maybe a dev could enlighten me?

 

Willy

 

PS:  the &amp; should not be a problem. 

Edited by doglover, 9 September 2016 - 05:56.

[doglover]

About the duplicates:

 

I can only find 2:

 

BabyTV.nl

en

Evenaar.be

 

Will look at them tomorrow.

 

The VeronicaDisneyXD.nl case is special case, as I have to grab this in 2 passes.  It are two channels DisneyXD and Veronica.

 

Willy

[Eragon]

have you tried to flash the Box with an image of before 2nd september?

 

 

Hi, I initially tested also the oldest OpenPli image available on the download section, dated about second half of August, unfortunately with the same result.

This however might be expected, as the XMLTVimport plugin is not preloaded into the image but is downloaded from the feeds, so IMHO always the September plugin version was always downloaded regardless of the image date.

 

My Solo4K is new, so I haven't used other previous OpenPli images.

At the end I had to flash the OpenVix image to have the EPG.

 

BTW, in the OpenVix the EPGimport plugin binary filenames appear slight different from OpenPli XMLTVimport:

xmltvconverter.pyo	4.399	10/08/2016 21:53	----
plugin.pyo	52.116	10/08/2016 21:53	----
plugin.png	3.186	10/08/2016 21:02	----
OfflineImport.pyo	3.265	10/08/2016 21:53	----
log.pyo	967	10/08/2016 21:53	----
gen_xmltv.pyo	1.834	10/08/2016 21:53	----
EPGImport.pyo	13.855	10/08/2016 21:53	----
epgdat_importer.pyo	2.859	10/08/2016 21:53	----
epgdat.pyo	10.404	10/08/2016 21:53	----
EPGConfig.pyo	7.144	10/08/2016 21:53	----
dreamcrc.so	4.700	10/08/2016 21:54	-a--
boot.pyo	2.230	10/08/2016 21:53	----
__init__.pyo	1.073	10/08/2016 21:53	----

Hope to have some spare time tomorrow to flash an OpenPli image on my Solo4K.

Edited by Eragon, 8 September 2016 - 22:31.

[doglover]

At a certain point both versions went their own way.  So a different naming of the files is possible.

 

Willy

[Pr2]

Hi,

 

Just test and I successfully import 98787 events.

 

So the "work aroung" of Willy does the trick, but a real solution to avoid this in the future should be implemented.

 

Indeed Doglover can limit the description length during grab but we should also perform this in the code I think (better to have a double protection).

But we need to know what the limit is.

 

Pr2

[Eragon]

Files are uploaded.

 

Yes of course, it is a workaround. 

And at the moment I do not have anything ready made to limit the length of the description.

I will have to program something.  I am sure it is possible.

 

Hi, I finally reinstalled latest available OpenPli release and updated the image online.

Installed XMLTVimport from feeds.

 

Unfortunately the source Rytec Italy still crashes after about 4000 events processed, no log files filled, no epg.dat found.

 

Did you also "cleaned" the Rytec Italy source?

 

Thanks for your efforts!

[doglover]

Did you also "cleaned" the Rytec Italy source?

Yes, as far as the long descriptions originated from the one website which crashed the Germany, Benelux and France files.

 

Willy

[doglover]

It starts to look like a buffer overflow.

 

I can limit the the length of the long descriptions.  But at which value should I set it?

Any value is possible, but set too short, many descriptions will be truncated. 

 

Does any dev now how much can be allowed in the long description field in enigma2?

 

Willy

 

PS:  Each separate grabber has to be modified for this.  (I have something like 100 different grabber definitions - so it requires a bit of work)

Edited by doglover, 9 September 2016 - 12:43.