328 replies to this topic

[littlesat]

Misschien moet rytec dan die \n eruit gaan slopen.. Is het probleem ook opgelost...

[aardbei]

dat kan, of in de epgimport plugin zelf alles wat je toch niet nodig hebt default strippen (b.v. alleen letters,cijfers incl landspecifiek spul overhouden en tekens als haakjes als die gebruikt worden), ik ben verre van een held met b.v. sed (zodra tekst plaats maakt voor allerlei wazige tekencombinaties haak ik af ^` enz.) maar en grote ingreep is het denk ik niet



mvrgr

Edited by aardbei, 19 December 2011 - 12:22.

[Erik Slagter]

Ik ben daar wel voor, inderdaad, om onnodige tekens te strippen.

Ik lees en schrijf in sed, zeg maar wat er gefilterd moet worden!

[littlesat]

In eerste instantie \n...die er ook wel eens uitzit in vi als ^m.

[Erik Slagter]

^m = carriage return = \r
^j = newline / line feed = \n

Welke wil je nou .

Carriage returns of line feeds strippen doe je het beste met tr ipv sed, is dat een optie? tr < infile > outfile -d '\r' bijvoorbeeld.

[WanWizard]

Eh, je wilt geen files gaan processen hier. Alleen de programma titel is een mogelijk issue, in de andere teksten moet je wel van de CR's en LF's afblijven.

Dus of Rytec moet zijn scripts aanpassen dat de titel in de XML altijd een string is zonder CR/LF (of andere grappen), of de display kant moet die er uit filteren...

[Erik Slagter]

Ik was in de veronderstelling dat rytec het dan inderdaad met die sed of tr ging aanpassen...

Edited by Erik Slagter, 19 December 2011 - 19:02.

[WanWizard]

Ik heb geen idee op welke manier zij hun data samenstellen en opslaan, dus ik zou de methode maar aan hun overlaten.

Ik zal in het Rytec forum een linkje naar hier plaatsen, kans dat ze hier niet meelezen...

[Erik Slagter]

Oh natuurlijk, ik heb het helemaal verkeerd begrepen, ik dacht dat de jongens van rytec hier ook meelezen. Mocht er uiteindelijk iemand hulp met sed, tr of perl nodig hebben, dan blijft mijn aanbod staan . En nee, natuurlijk willen we dat niet op onze server gaan doen, dat lijkt me duidelijk.

Edited by Erik Slagter, 19 December 2011 - 19:02.

[WanWizard]

"onze" server doet niet mee, de plugin download direct by Rytec.

Met "aan onze kant" bedoelde ik meer E2 (heb je gelijk ook OTA zooi in de titels te pakken) of in de skin...

[MiLo]

Aangezien de hele EPG een puinzooi is waar je nooit weet wat er binnen komt, is het handigst om inderdaad in Enigma de CR/LF enzo eruit te filteren voor eenregelige componenten.

[doglover]

Oh natuurlijk, ik heb het helemaal verkeerd begrepen, ik dacht dat de jongens van rytec hier ook meelezen.

We lezen dit niet altijd. We hebben meestal genoeg te stellen met het eigen deelforum. Sorry maar ook onze tijd is beperkt.

Wat betreft het probleem.
Idd komen er soms lange lijnen voor, die dan gewrapt worden.
Als je rond de 2000 kanalen epg grabt loopt er wel al eens eentje tussen die verkeerd gaat. Vooral dan voor zenders waar je de EPG moet grabben van de homepage van de zender - zoals MotorsTV.

Zal ff kijken wat ik eraan kan doen, als je mij verteld in welke pakket deze zit en of de service reference van de zender kunt meedelen (zo kan ik de juiste text die ik moet corrigeren localiseren).
En kun je een topic openen in de epg sectie AUB.

Willy

[aardbei]

Aangezien de hele EPG een puinzooi is waar je nooit weet wat er binnen komt, is het handigst om inderdaad in Enigma de CR/LF enzo eruit te filteren voor eenregelige componenten.

dat was ook mijn idee
als ik een beetje gok, dan kan toch simpel in die xmltvconverter.py ??
scheelt 't rytec team ook een boel gedoe

mvrgr

Edited by aardbei, 20 December 2011 - 12:58.

[MiLo]

Ik doelde vooral op de EPG die uit de lucht komt. Elke provider gebruikt de tekst velden net hoe het ze maar leuk uitkomt.
De Rytec EPG wordt al door scripts bewerkt, dan is het veel efficienter om ze 1x op een server te filteren dan 10000x op elke dreambox...

[Erik Slagter]

Ik denk dat hoe dan ook, linksom of rechtsom, de hele EPG-tekst gesaneerd moeten worden. En dat is dan o.a. CR/LF verwijderen, maar ook dubbele spaties verwijderen, spaties aan het begin en einde van de tekst, tabs en andere nonprintables verwijderen...

[aardbei]

Aangezien de hele EPG een puinzooi is waar je nooit weet wat er binnen komt, is het handigst om inderdaad in Enigma de CR/LF enzo eruit te filteren voor eenregelige componenten.

ok, dan begreep ik het woord enigma verkeerd;)

mvrgr

[nietgiftig]

ok, dan begreep ik het woord enigma verkeerd;)

Enigma :

a puzzling or inexplicable occurrence or situation: His disappearance is an enigma that has given rise to much speculation.

2.

a person of puzzling or contradictory character: To me he has always been an enigma, one minute completely insensitive, the next moved to tears.

3.

a saying, question, picture, etc., containing a hidden meaning; riddle.

4.

( initial capital letter ) a German-built enciphering machine developed for commercial use in the early 1920s and later adapted and appropriated by German and other Axis powers for military use through World War II.

Ja hoor, klopt wel een beetje

[WanWizard]

Het ging mij niet zo zeer over lange teksten (hoewel dat natuurlijk ook wel een issue kan zijn). Ik denk dat dit in de skin moet worden opgelost, zowel de EPG provider als Enigma heeft geen flauw benul hoeveel ruimte er is in de skin om een tekst te laten zien.

Ik had echter een tekst als "Programmanaam<CR>stereo" die qua lengte makkelijk pastte, maar waar iets in stond (neem nu even de assumptie van een CR) waardoor dit op twee regels terecht kwam.

[doglover]

Die CR/LF (/n) in het titel veld hoort er niet te zijn.
Ik heb die er ook niet geplaatst. De bedoeling was dat een gedeelte van die titel naar de description field verplaatst werd. Heb gevonden waardoor dit niet gebeurde en gecorrigeerd.

Maar in plaats van een grote zaag op te zetten, rapporteer dit in de epg sectie en we zullen hier een mouw aan passen.

Grabbing epg is een kunst - geen wetenschap. Foutjes kunnen gebeuren. En ook websites veranderen al eens hun opmaak, waardoor de grabber dient aangepast te worden. Kanalen die ikzelf regelmatig bekijk - hiervan zie ik de fouten. De rest gaat automatisch en betrouw ik op de gebruiker om zulke dingen te melden.
Hieronder vallen ook restanten van HTML code/tags - non printable characters enzo.


Willy

Edited by doglover, 20 December 2011 - 17:50.

[WanWizard]

Vandaar mijn opmerking eerder dat Enigma eigenlijk gewoon moet zorgen dat er geen CR's en LF'en voorkomen in velden die dat niet ondersteunen (die dus geen tekst blok zijn, maar een enkele regel).

Dan heb je het gelijk opgelost ongeacht de bron van de data...