Jump to content


Photo

UTF-8 probleem van de Hanssat settings


  • Please log in to reply
130 replies to this topic

Re: UTF-8 probleem van de Hanssat settings #41 littlesat

  • PLi® Core member
  • 56,931 posts

+695
Excellent

Posted 30 July 2024 - 11:44

Misschien zo iets... dat kan op de box naar /usr/script en dan via hotkey aan een key gehangen worden..... het maakt dan een settings.zip aan op /home/root

 

 

Attached Files

  • Attached File  zip.py   1.25KB   4 downloads

WaveFrontier 28.2E | 23.5E | 19.2E | 16E | 13E | 10/9E | 7E | 5E | 1W | 4/5W | 15W


Re: UTF-8 probleem van de Hanssat settings #42 Jork

  • Senior Member
  • 779 posts

+13
Neutral

Posted 30 July 2024 - 11:45

Om Hans te helpen zou ik een vmware player met linux distro waarbij de applicatie onder een windows bureaublad snelkoppeling kan draaien aanbevelen. Je hebt dan altijd een vaste local desktop oplossing.

Re: UTF-8 probleem van de Hanssat settings #43 littlesat

  • PLi® Core member
  • 56,931 posts

+695
Excellent

Posted 30 July 2024 - 11:48

Trouwens tijdens het bouwen van dit Q&D python script kwam ik er achter dat er ergens een verwijzing staat naar een bouquet... waarvan de file niet bestaat.

 

FileNotFoundError: [Errno 2] No such file or directory: '/etc/enigma2/userbouquet.stream_solomonseilanden__grote_stille_oceaan__sb_.radio'

WaveFrontier 28.2E | 23.5E | 19.2E | 16E | 13E | 10/9E | 7E | 5E | 1W | 4/5W | 15W


Re: UTF-8 probleem van de Hanssat settings #44 littlesat

  • PLi® Core member
  • 56,931 posts

+695
Excellent

Posted 30 July 2024 - 11:48


Om Hans te helpen zou ik een vmware player met linux distro waarbij de applicatie onder een windows bureaublad snelkoppeling kan draaien aanbevelen. Je hebt dan altijd een vaste local desktop oplossing.

Ik denk dat dit niet helpt....


WaveFrontier 28.2E | 23.5E | 19.2E | 16E | 13E | 10/9E | 7E | 5E | 1W | 4/5W | 15W


Re: UTF-8 probleem van de Hanssat settings #45 bemi2000

  • Senior Member
  • 25 posts

+1
Neutral

Posted 30 July 2024 - 12:50

 "graden" tekens in de sat positie in KingOfSat.xml verwijderen

 

dreamset.exe in zip in dreamset map plaatsen

 

alles utf-8

Attached Files



Re: UTF-8 probleem van de Hanssat settings #46 littlesat

  • PLi® Core member
  • 56,931 posts

+695
Excellent

Posted 30 July 2024 - 13:08

Het zijn niet alleen de graden bolletjes waar het mis gaat... het is (veel) meer!!!


WaveFrontier 28.2E | 23.5E | 19.2E | 16E | 13E | 10/9E | 7E | 5E | 1W | 4/5W | 15W


Re: UTF-8 probleem van de Hanssat settings #47 bemi2000

  • Senior Member
  • 25 posts

+1
Neutral

Posted 30 July 2024 - 14:40

———  �lem TV  ———

 

———  Digit�rk  ———

 

zijn het probleem providers import van kos



Re: UTF-8 probleem van de Hanssat settings #48 littlesat

  • PLi® Core member
  • 56,931 posts

+695
Excellent

Posted 30 July 2024 - 15:35

Ook als je de settings upload met dreamset?


WaveFrontier 28.2E | 23.5E | 19.2E | 16E | 13E | 10/9E | 7E | 5E | 1W | 4/5W | 15W


Re: UTF-8 probleem van de Hanssat settings #49 bemi2000

  • Senior Member
  • 25 posts

+1
Neutral

Posted 30 July 2024 - 17:15

Ook als je de settings upload met dreamset blijven ze
 
 
TivùSat na TivuSat                     Digitürk na Digiturk                       Älem TV na Alem TV           Primativvù na  Primativvu
 
deze vier proverder namen met dreamset veranderen
 
alle listen selecteren 
 
sort list channels 
 
volgorde markers  pos     prov      Service name    instellen en level op 2
 
en opslaan
 
 
volgens mij is dan alles utf- 8


Re: UTF-8 probleem van de Hanssat settings #50 bemi2000

  • Senior Member
  • 25 posts

+1
Neutral

Posted 30 July 2024 - 17:39

 "graden" tekens in de sat positie in KingOfSat.xml verwijderen

 

niet vergeten



Re: UTF-8 probleem van de Hanssat settings #51 Alex_NL

  • Senior Member
  • 2,040 posts

+11
Neutral

Posted 30 July 2024 - 18:51

 
Het gaat niet alleen om de markers, het gaat om ELK teken dat geen platte ASCII is, alles met accenten, tekens uit oost-europeese tekensets, russische tekens, etc.

 

 

Hoe gaan ze dan om op satellietposities als 56.0E waar de zendernamen na een scan vanaf de satelliet al in Cyrillisch schrift staan?

 

Bijlage: rotating-deel van de rotatinglijst, stand vandaag, gemaakt met Lexzie in plaats van zoals normaal KOS.
 
Binnengehaald, opgeslagen met sateditor DreamSet als Enigma 2 ver 4 bestand, ingepakt.
 
Normaal zit er dus mijn eigen hoofdlijst bij maar het probleem zit kennelijk alleen in het rotatingdeel.
 
Hoop dat het helpt want de optie iedere keer alles voor publiceren nalopen zal het niet worden. Dat is ondoenlijk. Hoop dat er begrip voor is.
Dan gebruiken mensen met 9.0 waar Python 3 de basis voor is de rotatinglijst maar niet meer. Want de oorzaak is dus ook in wijziging Python 2 naar 3... niet alleen KOS of DreamSet 'de schuld' geven... ;-) 
 
Bij de stream-boeketten zullen we (ik maar deze niet alleen) goed opletten bij plaatsen. Zelf in de hand. Mogelijk nog fouten in het verleden. Nogmaals: ik heb niets aan regel x of y maar boeket A, zender B. Het blijft opsporen en aanpassen.

 

Hans, je moet sowieso mijn xml gebruiken aangezien de xml die standaard bij Dreamset zit een paar jaar verouderd is, satellieten ontbraken, links klopten niet meer en de namen van de satellieten waren oud.
Ik heb 'm onlangs nog geüpdatet.

 
 

Ik kan het niet duidelijker maken dan dit:
 

Om het duidelijk te maken, een é in UTF-8 is hexadecimaal C3A9 (2 bytes), in ISO-8859-15 is het hexadecimaal E9 (1 byte). Je moet dus omzetten om het leesbaar te houden.

 

Er bestaat niet zoiets ale "normale leestekens" voor een computer. Voor een computer zijn het reeksen van 0 en 1.
 
De representatie daarvan gebeurd door middel van een karakterset, die bepaald welke reeks van 0 en 1 een bepaald teken vormen. De binaire representatie van e-accent-grave in UTF-8 is anders dan in ISO-5589-15, wat Windows gebruikt (in ons deel van de wereld).

 

 

Misschien nog simpeler uitleg: Elk teken wordt op de computer opgeslagen als een getal.
Windows en Linux gebruiken echter een ander formaat en Linux snapt dus het Windows formaat niet.

Ik neem aan Hans, dat je weet dat de settopboxen op een variant van Linux draaien.

 
 

Het makkelijkste voor Hans lijkt me de files op de box te zetten en ze van daar uit te 'zippen'....

 

Is de map /etc/enigma2 dan precies hetzelfde als de map waar Dreamset het opslaat onder Windows?
Volgens mij zitten er in /etc/enigma2 nog veel meer bestanden die niet bij de settingslijsten horen.
Bijv.

automounts.xml

autotimer.xml

epgimport.conf

lcd4config

movietags

networkbrowser.cache

PLi-FullHD_Pars.xml

timers.xml

 

Ook als je de settings upload met dreamset blijven ze
 
 
TivùSat na TivuSat                     Digitürk na Digiturk                       Älem TV na Alem TV           Primativvù na  Primativvu
 
deze vier proverder namen met dreamset veranderen
 
alle listen selecteren 
 
sort list channels 
 
volgorde markers  pos     prov      Service name    instellen en level op 2
 
en opslaan
 
 
volgens mij is dan alles utf- 8

 

Je gaat me toch niet vertellen dat we deze tekens niet meer kunnen gebruiken?
Dus dit mag niet meer?
Digitürk

Tivùsat

Føroyar

Суспільне Культура

apparatið

 

enz.?

 

 

En ter verdediging van Hans:
Hans is geen ICT'er, ik vind het al heel knap wat hij met zijn beperkte IT-kennis voor mekaar krijgt.
Ik heb wel een ICT-achtergrond en snap soms ook niet wat de PLi-developers allemaal bedoelen.
Dit omdat ik ook moeite heb met Linux.

Dus ik kan me voorstellen dat iemand zonder ICT-achtergrond het af en toe ziet duizelen.
Het aantal mensen dat zich nog bezig houdt en zich op een manier zoals Hans inzet voor onze hobby is aan het slinken en vergrijzen.
Dus hopelijk helpen we mekaar zodat we, ondanks de teruglopende belangstelling, nog lang kunnen blijven genieten van deze prachtige hobby!


Edited by Alex_NL, 30 July 2024 - 18:53.

Dreambox DM920:2x Triple tuner (2x DVB-S2X MIS and DVB-C/T2) Xtrend ET10000: 2x DVB-S2, 2x DVB-C, IPTV Xtrend ET9500 (defect)
Channel Master 120cm offset + Black Ultra LNB (Ku-band): 42°E-37,5°W - 100cm SAB draaibaar: 45.1°E-60°E - 80cm vast: 28.2°E/23.5°E/19.2°E/13°E
DVB-T2 en DAB via een combi VHF/UHF-antenne op zolder gericht op Schoten.


Re: UTF-8 probleem van de Hanssat settings #52 WanWizard

  • PLi® Core member
  • 69,845 posts

+1,780
Excellent

Posted 30 July 2024 - 18:54

WIj zijn ook allemaal ergens begonnen, gewoon zeggen dat je het niet begrijpt, dan proberen we het anders uit te leggen. Samen komen we er wel !


Currently in use: VU+ Duo 4K (2xFBC S2), VU+ Solo 4K (1xFBC S2), uClan Usytm 4K Ultimate (S2+T2), Octagon SF8008 (S2+T2), Zgemma H9.2H (S2+T2)

Due to my bad health, I will not be very active at times and may be slow to respond. I will not read the forum or PM on a regular basis.

Many answers to your question can be found in our new and improved wiki.


Re: UTF-8 probleem van de Hanssat settings #53 littlesat

  • PLi® Core member
  • 56,931 posts

+695
Excellent

Posted 30 July 2024 - 19:01

Zover ik weet zipt het py script wat ik eerder hier poste alle nodige files…. Misschien mogen wel nog wat whitelists weg. Die py file op /usr/script zetten. Onder een toets bijv lang geel toevoegen via hotkey (vond je dan onder python script)… lang geel drukken en dan de zip file van /home/root halen.

Edited by littlesat, 30 July 2024 - 19:03.

WaveFrontier 28.2E | 23.5E | 19.2E | 16E | 13E | 10/9E | 7E | 5E | 1W | 4/5W | 15W


Re: UTF-8 probleem van de Hanssat settings #54 Rammy

  • Senior Member
  • 71 posts

+1
Neutral

Posted 30 July 2024 - 19:31

WIj zijn ook allemaal ergens begonnen, gewoon zeggen dat je het niet begrijpt, dan proberen we het anders uit te leggen. Samen komen we er wel !

Als aangever van het probleem zou ik mijn steentje op deze willen bijdragen om wellicht tot een werkbare oplossing te komen.

Ik heb een bash script geschreven welke de ISO-5589-15 characters vervangt voor een '?' of ieder ander gewenst character hiertoe word de directory /etc/enigma2 gescand en worden de foute bestanden eruit gevist.

Momenteel word er alleen op 'userbouquet' file gescand maar dit kan uiteraard uitgebreid worden.

Ik zou zeggen laat jullie licht eens over het script schijnen en laat me eens weten of dit gebruikt zou kunnen worden.

 

In de bijgevoegde file vind je o.a. het script en een test directory /etc/enigma2 waarin zich de probleem bestanden bevinden.

De andere twee directory's en de log.txt file worden door het script aangemaakt.

In de log.txt file kun je zien welke bestanden er bewerkt zijn en hoe ze bewerkt zijn.

Attached Files



Re: UTF-8 probleem van de Hanssat settings #55 bemi2000

  • Senior Member
  • 25 posts

+1
Neutral

Posted 30 July 2024 - 19:38

TivùSat na TivuSat                     Digitürk na Digiturk                       Älem TV na Alem TV           Primativvù na  Primativvu

 

allen deze  4 geven ruitje

zie in Business    provider marker  Älem TV en  Digitürk   ruitje verwijder opslaan 

 

userbouquet._business.tv is nu utf-8

 

alle provider namen veranderd zie 

Nieuwe map.zip

 

 

Attached Files



Re: UTF-8 probleem van de Hanssat settings #56 Alex_NL

  • Senior Member
  • 2,040 posts

+11
Neutral

Posted 30 July 2024 - 20:57

 

WIj zijn ook allemaal ergens begonnen, gewoon zeggen dat je het niet begrijpt, dan proberen we het anders uit te leggen. Samen komen we er wel !

Als aangever van het probleem zou ik mijn steentje op deze willen bijdragen om wellicht tot een werkbare oplossing te komen.

Ik heb een bash script geschreven welke de ISO-5589-15 characters vervangt voor een '?' of ieder ander gewenst character hiertoe word de directory /etc/enigma2 gescand en worden de foute bestanden eruit gevist.

Momenteel word er alleen op 'userbouquet' file gescand maar dit kan uiteraard uitgebreid worden.

Ik zou zeggen laat jullie licht eens over het script schijnen en laat me eens weten of dit gebruikt zou kunnen worden.

 

In de bijgevoegde file vind je o.a. het script en een test directory /etc/enigma2 waarin zich de probleem bestanden bevinden.

De andere twee directory's en de log.txt file worden door het script aangemaakt.

In de log.txt file kun je zien welke bestanden er bewerkt zijn en hoe ze bewerkt zijn.

 

IK heb geen verstand van die scripts, dus misschien vraag ik het onmogelijke: Kan dat script de ISO-5589-15 karakters niet omzetten naar dezelfde karakters in UTF-8?


Dreambox DM920:2x Triple tuner (2x DVB-S2X MIS and DVB-C/T2) Xtrend ET10000: 2x DVB-S2, 2x DVB-C, IPTV Xtrend ET9500 (defect)
Channel Master 120cm offset + Black Ultra LNB (Ku-band): 42°E-37,5°W - 100cm SAB draaibaar: 45.1°E-60°E - 80cm vast: 28.2°E/23.5°E/19.2°E/13°E
DVB-T2 en DAB via een combi VHF/UHF-antenne op zolder gericht op Schoten.


Re: UTF-8 probleem van de Hanssat settings #57 Rammy

  • Senior Member
  • 71 posts

+1
Neutral

Posted 30 July 2024 - 23:22

 

 

WIj zijn ook allemaal ergens begonnen, gewoon zeggen dat je het niet begrijpt, dan proberen we het anders uit te leggen. Samen komen we er wel !

Als aangever van het probleem zou ik mijn steentje op deze willen bijdragen om wellicht tot een werkbare oplossing te komen.

Ik heb een bash script geschreven welke de ISO-5589-15 characters vervangt voor een '?' of ieder ander gewenst character hiertoe word de directory /etc/enigma2 gescand en worden de foute bestanden eruit gevist.

Momenteel word er alleen op 'userbouquet' file gescand maar dit kan uiteraard uitgebreid worden.

Ik zou zeggen laat jullie licht eens over het script schijnen en laat me eens weten of dit gebruikt zou kunnen worden.

 

In de bijgevoegde file vind je o.a. het script en een test directory /etc/enigma2 waarin zich de probleem bestanden bevinden.

De andere twee directory's en de log.txt file worden door het script aangemaakt.

In de log.txt file kun je zien welke bestanden er bewerkt zijn en hoe ze bewerkt zijn.

 

IK heb geen verstand van die scripts, dus misschien vraag ik het onmogelijke: Kan dat script de ISO-5589-15 karakters niet omzetten naar dezelfde karakters in UTF-8?

 

Ja, dat zou moeten kunnen want daarvoor is UTF-8 gemaakt maar dan moet je wel de juiste code punten met elkaar verbinden.
Zie voor meer uitleg hierover, https://blog.hubspot...e/what-is-utf-8

Voor de UTF-8 codepage layout zie, https://en.wikipedia.org/wiki/UTF-8
Voor de ISO-8859-15 codepage layout zie, https://en.wikipedia...ISO/IEC_8859-15

Voor de UTF-8 character tabel van 0x00-0xFF zie, https://www.utf8-chartable.de/
Voor de ISO-8859-15 character tabel zie, https://www.fileform...859-15/list.htm

Voor een comparison table, koppeltabel, zie https://en.wikipedia...ets_(computing)
Men zou dus deze conversie tabel moeten uitbreiden met een kolom waarin men de UTF-8 code vermeld voor de te gebruiken betreffende norm.
Als deze tabel al bestaat of gemaakt word moet het converteren van de streamings file's niet meer zo een probleem zijn.
Er hoeft dan alleen nog maar de ISO/IEC_8859-15 waarden in de streamings file's omgezet te worden in UTF-8 codering.
Maar dit is toch wel een hoop werk en dus kom ik met de oplossing om alle ISO/IEC_8859-15 waarden van 0xA0-0xFF te vervangen voor een '?' of iets dergelijks voorlopig.
Het is zeker niet de mooiste oplossing voor de leesbaarheid maar UTF-8 heeft er dan wel geen problemen meer mee.
 


Edited by Rammy, 30 July 2024 - 23:23.


Re: UTF-8 probleem van de Hanssat settings #58 hro

  • Senior Member
  • 2,688 posts

+785
Excellent

Posted 31 July 2024 - 08:27

Dank aan allen, met name Alex_NL (#51) waar begrip voor mij als dummie wordt getoond... ;-)

 

Veel gelezen, begrijp nu veel, maar DE oplossing zit er voor mij niet bij.

 

Wat ik volgende week (kanalenlijsten augustus) bij draaibaar zal doen is in ieder geval niet meer de (verouderde) download van KOS zelf gebruiken maar de (bijgewerkte) van Lexzie (zie afbeelding). Deze had ik al als test (#14) gepost en zag er kwa markers goed uit.

De stream boeketten: hier zitten nauwelijks vreemde tekens in. Mocht je er een ontdekken: mail ze me (naam boeket + naam zender). Dan pas ik het direct aan.

 

En anders... gebruik je 9.0 of develop met Python 3 en wil je een draaibare lijst gebruiken... er staat er nog een van een collega in Menu/Plugins/Downloaden/Settings. Niet getest.

 

De nieuwe kanalenlijsten worden zoals gebruikelijk op twee manieren naar OpenPLi gestuurd: zelf plaats ik ze (met satellite.xml en gezipt) in een nieuw onderwerp. Ook gaan ze naar Tech (zonder satellite.xml) die er ipk-bestanden van maakt en ze gebruikt voor de build.
Mogelijk kan Tech of WanWizard de rotatinglijst door een softwareprogramma halen dat UTF-8-fouten er uit haalt... succes!

 

Hans.

Attached Files


Mutant HD51 via Wave T55 (5 lnb's: 9/13/19/23/28 oost) + Edision Mio 4K via Triax 1,2 meter met usals disecq.


Re: UTF-8 probleem van de Hanssat settings #59 WanWizard

  • PLi® Core member
  • 69,845 posts

+1,780
Excellent

Posted 31 July 2024 - 09:14

IK heb geen verstand van die scripts, dus misschien vraag ik het onmogelijke: Kan dat script de ISO-5589-15 karakters niet omzetten naar dezelfde karakters in UTF-8?

 

Waar dacht je dat ik voorafgaand aan deze discussie een tijd mee bezig geweest ben? ;)

 

Het korte antwoord is nee, want om te kunnen converteren moet je en het karakterset van de bron weten, en moet alles in dat karakterset staan. Ik ben ook al andere sets tegengekomen.

 

En alles moet dus in hetzelfde set zijn om te kunnen converteren. Dus, als er een ä in ISO-5589-15 in staat, maar een ë in UTF-8, dan zal zo'n conversie de a fixen maar de e slopen.

 

Dat is de grote uitdaging hier, het zijn enkele lekkers die verkeerd zijn, niet de hele file...

 

Handmatig even slikken en er door heen gaan, en vervolgens goed opletten met wat aangeleverd wordt, is de enige echte oplossing, maar dat ziet Hans niet zitten ;).


Currently in use: VU+ Duo 4K (2xFBC S2), VU+ Solo 4K (1xFBC S2), uClan Usytm 4K Ultimate (S2+T2), Octagon SF8008 (S2+T2), Zgemma H9.2H (S2+T2)

Due to my bad health, I will not be very active at times and may be slow to respond. I will not read the forum or PM on a regular basis.

Many answers to your question can be found in our new and improved wiki.


Re: UTF-8 probleem van de Hanssat settings #60 hro

  • Senior Member
  • 2,688 posts

+785
Excellent

Posted 31 July 2024 - 09:40

Goed opletten bij streams zie ik wel zitten. Eerder al aangeven dat bij nieuwe zenders/stream url hier op gelet wordt. En gevraagd zenders/stream url met 'foute' tekens te melden.

 

Maar iedere maand de gedownloade boeketten via KOS (by Lexzie) een voor een nalopen (radio en tv zijn vele zenders en markers) is ondoenlijk. Ik hoop dat hier begrip voor is.

 

Al langer gezocht naar een andere sateditor waarmee KOS (of Lyngsat) gedownload kan worden maar niet gevonden. Dus moet ik het voorlopig met de verouderde DreamSet blijven doen. Wellicht een uitdaging voor een ict'er deze sateditor te moderniseren..? ;-)


Mutant HD51 via Wave T55 (5 lnb's: 9/13/19/23/28 oost) + Edision Mio 4K via Triax 1,2 meter met usals disecq.



8 user(s) are reading this topic

0 members, 8 guests, 0 anonymous users