130 replies to this topic

[littlesat]

Doe je nu van lyngsat of king of sat downloaden, dat was mij nog niet duidelijk......Het zou idd zo handig zijn als er ergens een broncode van te vinden is... dan zouden we het zo kunnen overnemen en aanpassen....

[bemi2000]

 "graden" tekens in de sat positie in KingOfSat.xml verwijderen is een maal

webscan   KingOfSat.  maken

 

alle listen selecteren   -  rechts click  --  sort list channels 

volgorde markers  aan        sat positie        Service name      level op 1    klik sort

en opslaan

 

providers namen staan er niet meer in alles nu utf8-

[littlesat]

Verwijderen is maskeren... ze moeten eigenlijk de juiste format (utf-8) krijgen...

[bemi2000]

die staan in het lamedb 

worden niet verwijderd alleen niet meer in de listen gezet

[Rammy]

 

 

WIj zijn ook allemaal ergens begonnen, gewoon zeggen dat je het niet begrijpt, dan proberen we het anders uit te leggen. Samen komen we er wel !

Als aangever van het probleem zou ik mijn steentje op deze willen bijdragen om wellicht tot een werkbare oplossing te komen.

Ik heb een bash script geschreven welke de ISO-5589-15 characters vervangt voor een '?' of ieder ander gewenst character hiertoe word de directory /etc/enigma2 gescand en worden de foute bestanden eruit gevist.

Momenteel word er alleen op 'userbouquet' file gescand maar dit kan uiteraard uitgebreid worden.

Ik zou zeggen laat jullie licht eens over het script schijnen en laat me eens weten of dit gebruikt zou kunnen worden.

 

In de bijgevoegde file vind je o.a. het script en een test directory /etc/enigma2 waarin zich de probleem bestanden bevinden.

De andere twee directory's en de log.txt file worden door het script aangemaakt.

In de log.txt file kun je zien welke bestanden er bewerkt zijn en hoe ze bewerkt zijn.

 

IK heb geen verstand van die scripts, dus misschien vraag ik het onmogelijke: Kan dat script de ISO-5589-15 karakters niet omzetten naar dezelfde karakters in UTF-8?

 

Ik heb er nog eens naar gekeken en heb het script nu zodanig aangepast dat alle ISO-5589-15 karakters omgezet worden in UTF-8 characters.

Het probleem zou nu dus opgelost moeten zijn.

Graag controle hiervan.

Attached Files

•  ProblemHansSatList_v02.zip   1.24MB   7 downloads

Edited by Rammy, 31 July 2024 - 14:58.

[hro]

@Rammy, dank. Unzipped. Krijg ze niet in/bij de hoofdlijst. Zie bestanden die eindigen op .del en dus afwijkend van .tv of .radio. Vat het niet helemaal.

 

Hoop dat een ander het wel vat.

 

Probleem is verder dat ik na iedere maandelijkse plaatsing verder ga en dus boeketten die nog gemaild wordt niet ga gebruiken om eigen werk weer teniet te doen. Zie boeket 'Nieuw sinds' waar veel van de mutaties staan. Ben dus nogmaals eerder geholpen met naam van het stream boeket en naam zender en fout. Dan een voor een muteren in juiste wijze.

[littlesat]

Je kunt .del weghalen... Dit zijn normaal bouquetten die je verwijdert hebt op je box... maar dan toch nog bewaard blijven om herstel mogelijk te maken als je het per about doet...

[Rammy]

@Rammy, dank. Unzipped. Krijg ze niet in/bij de hoofdlijst. Zie bestanden die eindigen op .del en dus afwijkend van .tv of .radio. Vat het niet helemaal.

 

Hoop dat een ander het wel vat.

 

Probleem is verder dat ik na iedere maandelijkse plaatsing verder ga en dus boeketten die nog gemaild wordt niet ga gebruiken om eigen werk weer teniet te doen. Zie boeket 'Nieuw sinds' waar veel van de mutaties staan. Ben dus nogmaals eerder geholpen met naam van het stream boeket en naam zender en fout. Dan een voor een muteren in juiste wijze.

Een kleine gebruiksaanwijzing hoe dit te gebruiken.

- unzip mijn oplossing en plaats deze op een door jezelf te kiezen plaats op je computer
- maak  nu de directory /etc/enigma2 in deze map leeg
- unzip jouw streambouquet.zip file en copieer de streams naar de /enigma2 directory
- start mijn script HansSatListProblem.sh

Als het script zijn werk gedaan heeft is er een directory 'fixed' aangemaakt geworden waarin zich de bewerkte bestanden bevinden.
Ook kun je in de log file 'log.txt' zien welke aanpassingen waar zijn doorgevoerd.
Als je deze bestanden gecontroleerd hebt op de UTF-8 problematiek en niets meer gevonden hebt aan rare tekens dan kun je deze bestanden weer in de /enigma2 directory copieren.
Als je nu de /enigma2 directory zipt heb je een gecontroleerd bestand waarmee je verder je werk in DreamSet kunt doen.

 

Als je echt niet uit komt dan kun je jouw stream bestand hier mailen en zal ik dit door het script laten bewerken en je terug sturen via dit forum.

 

Edited by Rammy, 31 July 2024 - 18:07.

[Rammy]

Ik heb de 'test Lexzie.zip' file eens door het script laten bewerken en ook hier zijn er diverse UTF-8 probleem file's.

Voor de details verwijs ik naar het log.txt bestand bijgevoegd in de aanhang.

Attached Files

•  test_Lexzie_Scanned.zip   134.62KB   1 downloads

[Alex_NL]

 

Ik heb geen verstand van die scripts, dus misschien vraag ik het onmogelijke: Kan dat script de ISO-5589-15 karakters niet omzetten naar dezelfde karakters in UTF-8?

 
Waar dacht je dat ik voorafgaand aan deze discussie een tijd mee bezig geweest ben?
 
Het korte antwoord is nee, want om te kunnen converteren moet je en het karakterset van de bron weten, en moet alles in dat karakterset staan. Ik ben ook al andere sets tegengekomen.
 
En alles moet dus in hetzelfde set zijn om te kunnen converteren. Dus, als er een ä in ISO-5589-15 in staat, maar een ë in UTF-8, dan zal zo'n conversie de a fixen maar de e slopen.
 
Dat is de grote uitdaging hier, het zijn enkele lekkers die verkeerd zijn, niet de hele file...

 

 

Begrijpelijk, alleen verderop zegt @Rammy wel deze oplossing te hebben?

 

Ik heb nu te weinig tijd om alles te proberen en te begrijpen, wanneer treedt er nu een probleem op: Is dat bij gebruik van de lijst vanuit het plugin-menu of als je de ipk van het forum download en deze installeert? Of is dat als je de lijst download en met Dreamset (gedeeltelijk) in je box zet?
Is er een manier in een editor (Notepad++ lijkt me geschikt), om te zien welke karakters geen UTF-8 zijn?

Maar ik hoop toch wel dat we nog gewoon al die vreemde tekens kunnen blijven gebruiken?
Dus niet dat ë omgezet wordt in e, en á in a. Laat staan cyrillisch schrift e.d.
Als je in een marker bijv. ^^^^ Astra 3B/3C ^^^^ hebt staan en dat zou dan bijvoorbeeld ---- Astra 3B/3C ---- moeten worden dan lijkt me dat geen probleem, maar een zendernaam moet zijn zoals de omroep het bedoeld heeft.

 

Handmatig even slikken en er door heen gaan, en vervolgens goed opletten met wat aangeleverd wordt, is de enige echte oplossing, maar dat ziet Hans niet zitten .

Ik kan me ook wel voorstellen dat je dat niet ziet zitten. Ik wil hier best eens in duiken voor Hans, maar de komende 2/3 weken gaan me dat echt niet lukken.

[tonskidutch]

Ik weet niet of jullie al eens een windows computer per NFS mount aan de NAS hebben gehangen en dus die eerst correcte tekstbestanden hebben bewerkt. Dan zouden jullie gezien hebben dat dit een jarenlang probleem is. Ja NFS is mogelijk in windows. En als je backups via windows importeert is het nog duidelijker.

UTF-8 gegevens moet je niet via windows importeren en of bewerken... Het lukt ook niet met Notepad++.

 

Op de Microsoft helpdesk staat dit al jaren als bekend probleem en ik heb er dus ook al jaren geen oplossing voor gevonden.

Toveren kan men namelijk NIET.

[WanWizard]

Het is al decennia een probleem, zelfs binnen WIndows, zelfs binnen de latere DOS versies, die hadden ook al "codepages".

 

Op zich is daar mee te leven, mits je je bewust bent van de problematiek, en er naar handelt.

 

Zowel CIFS aan de linux kant ( indien goed geconfigureerd ) als FTP ( indien verstuurt "als tekst", en ondersteund door de client ) doen on-the-fly recoding, NFS doet dat niet, dat is een filesystem en die bemoeit zich niet met inhoud.

[tonskidutch]

je bedoelde Native File System toch?

NFS

 

als je de data van linux systemen krijgt moet je niet vreemd opkijken als je dat per windows redigeert, dat was mijn boodschap.

hoe HRO importeert van derden weet ik niet maar als je weer terug porteert naar linux zal het een rommeltje worden.

[WanWizard]

Ik heb nu te weinig tijd om alles te proberen en te begrijpen, wanneer treedt er nu een probleem op: Is dat bij gebruik van de lijst vanuit het plugin-menu of als je de ipk van het forum download en deze installeert? Of is dat als je de lijst download en met Dreamset (gedeeltelijk) in je box zet?

 

De procedure is als volgt:

• Hans gebruikt Dreamset op zijn Windows PC.
  • Daarin importeert hij data van KingOfSat ( de aanname is dat dat op de KOS website allemaal UTF-8 is, en Dreamset dat naar ISO-8859-15 converteert )
  • Krijgt hij bouquetten aangelevert van derden ( streams, hoe precies is voor mij niet duidelijk, noch hoe die zijn gemaakt, en in welke encoding die zijn )
• Hans gebruikt Dreamset om de data over te zetten naar zijn eigen box
• Hans doet verdere handelingen op de box ( correcties? hoe en wat zijn me onduidelijk )
• Hans gebruikt Dreamet om de data terug te halen van de box naar de PC
• Hans zipt de data op de PC
• Hans plaatst die zips hier op het forum
• Tech download deze zips, en commit ze in de repo ( https://gitlab.openp...li/hanssettings )
• Onze OE bouwt de ipk's van deze repo

Daarna

• De gebruiker installeert de ipk op de box
• Enigma forceert alles op UTF-8, goedschiks of kwaadschiks ( waardoor je soms vreemde teken(combinaties) ziet, soms een teken dat is weggevallen ) om een crash te voorkopen
• De web interface doet dat echter niet, die verwacht UTF-8 data, en crasht, bv in de bouquet editor ( de melding die tot deze discussie heeft geleid )
  • de huidige OWIF is end-of-life, wordt niet meer onderhouden, en zal dus ook niet meer gefixt worden op dit punt.

Dus er zijn twee issues: foute weergave op de box ( niet critisch ) en crashen van alle python 3 code die niet expliciet elke string op valide UTF-8 controleert ( en dat is op nogal wat plaatsen ).

 

Hans heeft dat probleem zelf niet, want hij gebruikt Dreamset om zijn box van de lijst te voorzien, en die gebruikt onderwater FTP text transfer, en dat doet een characterset conversie.

 

Ik heb geen idee of die FTP alles oplost, want ook die conversie zal aanlopen tegen bestanden met mixed encoding. Als dat zo is, dan is de oplossing dat Hans de zip op de box moet maken ( de discussie hierboven ).

[WanWizard]

je bedoelde Native File System toch?

NFS

 

als je de data van linux systemen krijgt moet je niet vreemd opkijken als je dat per windows redigeert, dat was mijn boodschap.

hoe HRO importeert van derden weet ik niet maar als je weer terug porteert naar linux zal het een rommeltje worden.

 

Correct. Op beide punten.

 

Maar "Network File System", niet "Native File System".

[tonskidutch]

oeps

network

[hro]

ad #74: "de aanname is dat dat op de KOS website allemaal UTF-8 is, en Dreamset dat naar ISO-8859-15 converteert".

Dat is een aanname... hoe en of dat ook gebeurt weet ik niet.

 

De rotatinglijst bestaat uit satellietboeketten door mijzelf gemaakt. Hierin enkel de namen van de zenders zoals deze na scan transponder (met optie verwijderen oude) voorkomen. Men mag aannemen dat hier geen fouten in zitten. Verder zet ik bij die zelf gemaakte boeketten een reeks verkregen van KingOfSat (KOS zelf of toekomst by Lexzie). De enige editor die deze kan importeren is bij mijn weten DreamSet.
Dan blijkt dat in sommige boeketten (thema en LN/landen) foute tekens zitten waar Python 3 op crasht als het ware.
Het is op de dag van importeren/maken voor mij ondoenlijk alle radio- en tv-boeketten een voor een na te lopen.

 

Verder de streams: we (mijn vaste hobbymaten en ik) letten er voortaan goed op dat er geen vreemde tekens in voorkomen. Als we dit zien wordt dit gecorrigeerd.
Zie je nog een teken waar een crash op volgt? Geef svp naam  streamboeket en naam zender via KanalenlijstHans@gmail.com door. Dan kan ik meteen aan de slag.

 

Dan merkt WanWizard op: "Hans heeft dat probleem zelf niet, want hij gebruikt Dreamset om zijn box van de lijst te voorzien, en die gebruikt onderwater FTP text transfer, en dat doet een characterset conversie."
Dat klopt niet. De ontvanger waar de draaibare lijst draait op Develop (dus Python 3) en crasht ook als ik op een zender ga staan waar een vreemd teken (ruitertje met ?) staat.

 

Kortom... als er tijd is loop ik de streamboeketten na. Maar de geïmporteerde boeketten van KOS (al dan niet by Lexzie) is onbegonnen werk.

 

De lijsten van augustus zijn gepland voor volgende week vrijdag (9 augustus) zodat iedereen in het weekeind kan updaten via het forum of in de week daarna via de build OpenPLi.

[WanWizard]

Dan merkt WanWizard op: "Hans heeft dat probleem zelf niet, want hij gebruikt Dreamset om zijn box van de lijst te voorzien, en die gebruikt onderwater FTP text transfer, en dat doet een characterset conversie."
Dat klopt niet. De ontvanger waar de draaibare lijst draait op Develop (dus Python 3) en crasht ook als ik op een zender ga staan waar een vreemd teken (ruitertje met ?) staat.

 

Dat was de reactie waar ik op zat te wachten, vandaar al mijn opmerking:

 

Ik heb geen idee of die FTP alles oplost, want ook die conversie zal aanlopen tegen bestanden met mixed encoding. Als dat zo is, dan is de oplossing dat Hans de zip op de box moet maken ( de discussie hierboven ).

 

waarop dus het antwoord is: nee, FTP kan ook niet omgaan met mixed encoding.

[Rammy]

 

TivùSat na TivuSat                     Digitürk na Digiturk                       Älem TV na Alem TV           Primativvù na  Primativvu

 

allen deze  4 geven ruitje

zie in Business    provider marker  Älem TV en  Digitürk   ruitje verwijder opslaan 

 

userbouquet._business.tv is nu utf-8

 

alle provider namen veranderd zie 

Nieuwe map.zip

 

Ook jouw Nieuwe_map.zip file heb ik door mijn script laten scannen en er zijn nog 3 probleem bestanden gevonden, zie bijgevoegde Nieuwe_map_fixed.zip file.

Attached Files

•  Nieuwe_map_fixed.zip.zip   41.06KB   3 downloads

[Rammy]

 

@Rammy, dank. Unzipped. Krijg ze niet in/bij de hoofdlijst. Zie bestanden die eindigen op .del en dus afwijkend van .tv of .radio. Vat het niet helemaal.

 

Hoop dat een ander het wel vat.

 

Probleem is verder dat ik na iedere maandelijkse plaatsing verder ga en dus boeketten die nog gemaild wordt niet ga gebruiken om eigen werk weer teniet te doen. Zie boeket 'Nieuw sinds' waar veel van de mutaties staan. Ben dus nogmaals eerder geholpen met naam van het stream boeket en naam zender en fout. Dan een voor een muteren in juiste wijze.

Een kleine gebruiksaanwijzing hoe dit te gebruiken.

- unzip mijn oplossing en plaats deze op een door jezelf te kiezen plaats op je computer
- maak  nu de directory /etc/enigma2 in deze map leeg
- unzip jouw streambouquet.zip file en copieer de streams naar de /enigma2 directory
- start mijn script HansSatListProblem.sh

Als het script zijn werk gedaan heeft is er een directory 'fixed' aangemaakt geworden waarin zich de bewerkte bestanden bevinden.
Ook kun je in de log file 'log.txt' zien welke aanpassingen waar zijn doorgevoerd.
Als je deze bestanden gecontroleerd hebt op de UTF-8 problematiek en niets meer gevonden hebt aan rare tekens dan kun je deze bestanden weer in de /enigma2 directory copieren.
Als je nu de /enigma2 directory zipt heb je een gecontroleerd bestand waarmee je verder je werk in DreamSet kunt doen.

 

Als je echt niet uit komt dan kun je jouw stream bestand hier mailen en zal ik dit door het script laten bewerken en je terug sturen via dit forum.

 

Ik heb je hanssettings_master_13_9_23_28.zip file door mijn script laten lopen en er zijn 5 bestanden gevonden die niet voldoen aan de UTF-8 norm.

Voor meer details zie mijn bijgevoegde file.

 

Attached Files

•  hanssettings-master_13_19_23_28_20240705.zip   49.6KB   0 downloads