93 replies to this topic

[MiLo]

Local EPG distribution is something we are thinking about at the Enigma level, so that instead of having to duplicate EPG, you just have one box that serves as "EPG server", a bit similar to the fallback tuner mechanism.

Currently all enigma2 boxes are "aware" of other boxes in the local network, they know when other boxes are active. I just haven't found the time to have it do anything useful with that knowledge... All network stuff is based on IP4 addresses while the awareness works on name basis.

I'm told that Apple also uses the same mechanism, so Apple devices should "discover" E2 boxes (the web interface at least) automatically. Dunno if that actually works, don't have any Aplle thingy.

It doesn't work for Android because Google in its infinite wisdom has avahi up and running on the phone but did not link it to local name resolution, so apps must explicitly query avahi if they want to use it, which of course none of the apps ever do.

Edited by MiLo, 24 July 2017 - 17:48.

[WanWizard]

I think before we address this, we should first rework the entire network stack so there's a proper IPv6 implementation. Another interesting project.

[doglover]

I cannot seem to get hold of the needed files for trying out the xz files.

Tried to compile from the OpenPLi site, but I get a number of errors at moment.  Although a bunch of plug-ins do compile and ipk's are produced, the XMLTVimport plug-in is not one of them.

Also the needed python files (lzma-backport and xz libs) are not there.

 

Can somebody provide them pls.

 

I am working also on providing smaller files.

f.i. the UK file is split into:

 

UK Movies & Sport  (all Dead on the sat)

UK FTA  (Music and assorted FTA channels)

UK Freeview  (BBC/ITV/Channel4-5 and similar)

UK Asian/Religious

UK Sky Live

UK Sky Dead (on the sat)

 

These 6 files can be imported separately (when ready), so people can choose which to import.  Importing what you really need, will hopefully lead to a reduced download volume.

This I could activate tomorrow.

 

I am working on doing something similar with the Benelux and French files.  These need still some finetuning.

They are not ready to publish yet.

 

In the planning is doing the same for the German (DE, AT and CH split-off, together with a common file) and the Ex-Yu files.

I have not started on these yet.

 

Willy

Edited by doglover, 27 July 2017 - 16:37.

[WanWizard]

I cannot seem to get hold of the needed files for trying out the xz files.

Tried to compile from the OpenPLi site, but I get a number of errors at moment.  Although a bunch of plug-ins do compile and ipk's are produced, the XMLTVimport plug-in is not one of them.

Also the needed python files (lzma-backport and xz libs) are not there.

 

You need to build a develop image for that, these aren't available for download yet (we try to focus on getting OpenPLi 6 out the door). 

[doglover]

 

You need to build a develop image for that, these aren't available for download yet (we try to focus on getting OpenPLi 6 out the door). 

 

 

Can you tell me how to do that, because the one I have only works half anymore.  I was using this method:  http://users.telenet...npliubuntu.html

 

Willy

 

PS: complaining I have todo something about the download volume.  When I try to do something, I cannot even test it.

Edited by doglover, 27 July 2017 - 19:24.

[WanWizard]

I am not complaining, certainly not to you.

 

And I never said you should do something about it. I am even of the opinion that you, with the current distribution format, can not address it, I have already mentioned that.

 

As for building, I can't help you, I don't know anything about Ubuntu. As said, there are plans to start buiding develop images too, but we need more buildservers to be able to do that, so that takes time, especially during the holidays. 

[doglover]

Ben even opnieuw begonnen met het compileren van de development source.

En eindelijk succes.  Heb nu ook de feeds kunnen compileren.

 

Daarna de nieuwe XMLTVimport op een OpenPLi 6.0 RC genistalleerd samen met de python-lzma.

Resultaat:  importeert xz files.

 

Willy

[doglover]

Vraagje voor Milo:

 

Ik zou willen de sources file opsplitsen.  Dus meerder sources files aanmaken.  De importer heeft hiermee geen problemen.

Maar wat ik niet weet, komen die ook goed over bij de productie van de enigma2-extensions-xmltvimport-rytec file?

Ik dacht van alle sources files in één zip file te plaatsen.  Is dit acceptabel?

 

De reden kun je lezen enkel postings hoger.

 

Willy

[doglover]

Bij de sources selectie in XMLTVimport zou de selectie list kunnen kunnen weergeven worden iets zoals in het aangehechte screenshot.  Maar dan met een selectievakje voor iedere entry.

De hoofdopspitsing (met het + je ervoor) is per gevonden sources file.

 

Willy

 

Attached Files

•  Selectie.jpg   74.92KB   4 downloads

[WanWizard]

Zo'n treeview maken is niet zo'n probleem, zeker niet als de xml die layout reflecteert (dus hoofd nodes en subnodes heeft). Daarvoor moet de plugin natuurlijk wel aangepast worden.

 

Echter, als al die sub-sources in een enkele zip file zitten, welk voordeel haal je dan uit splitsing daarvan in aparte files?

[doglover]

Het hoeven geen aparte files te zijn. Alles kan ook in 1 file. Maar dan moet er een niveau (node) toegeveogd worden.
En dan vrees ik dat die xml file niet meer compatibel is met de huidige plugin.

Zal morgen eens een xml file maken met hoofdnodes en subnodes. Door het opsplitsen van de files voor ieder land word anders de hele lijst wel heel lang en onoverzichtelijk. Dat is de reden dat ik een tree view vraag.

As ik afzonderlijke files maak voor iedere hoofdnode, zijn deze gwoon compatibel met de huidige plug-in.

Willy

Willy

[Dream1975]

Maar de plugin is toch gemaakt door Milo (een actief OpenPLi member), dan is het misschien beter om de plugin aan te passen aan de wensen (ipv andersom). Al kan ik er uiteraard niet echt over oordelen.

[WanWizard]

Ja, dat bedoelde ik ook met mijn antwoord.

[doglover]

Mijn bedoeling word misschien duidelijk als je aangehechte sources file bekijkt.  Dit is slechts een mock-up met fictieve namen.  Maar het maakt mijn bedoelingen duidelijk.

Het eerste dat opvalt dat files terugkomen bij verschillende landen.  Dit is noodzakelijk, want hoe leg ik uit aan een Zwitser dat ie niet alleen CH-Basic moet selecteren maar ook de DE_combo file voor de rest van de zenders.  enz.

 

Daarom gekozen voor een opsplitsing per land en daar de volledige lijst te geven.  Momenteel importeert de importer de file dus 2 keer (of 3 keer).  Kan dit verhelpen door ze een andere naam te geven (maar de gebruiker kan ze dan toch nog 2 keer selecteren), of de importer moet zo slim gemaakt worden dat dezelfde source maar 1 keer importeerd word.  (dezelfde file die geselecteerd word in meerdere landen, moet je maar 1 keer importeren)

 

Dit formaat van source file wordt niet goed gelezen door de huidige importer.  Zie aangehechte screenshot.  (zoals ik al dacht)

Werk ik met een sources file per land, dan wordt e.e.a. wel goed gelezen.  In beide gevallen is een tree structuur gewenst, omdat ander de lijst heel lang wordt.

 

 

Het voordeel van het op deze manier te doen is dat de gebruiker meer invloed heeft op de hoeveelheid geimporteerde data.  Heb je geen Extra abbo voor de sport zenders dan moet je die niet importeren.  Ook bv. in de UK (niet in het voorbeeld) als alleen maar de de freesat kanalen EPG wilt dan je kun je daar alleen dat aanvinken, en de rest word dan niet gedownload.

 

Alles om te komen tot kleinere download volumes.

 

Willy

 

PS: ben momenteel alles een beetje aan het schikken in categorieën.  Dit klinkt erger dan het is.  Het grabbing proces is niet één grote file, maar bv. de UK sources was altijd al opgesplitst in 6 verschillende downloads, en het resultaat werd dan samengevoegd.  Momenteel doe ik dit nog.  De deel files zijn echter nu elk een categorie.

Attached Files

•  4097_0_2_0_0_0_0_0_0_0.jpg   66.65KB   3 downloads
•  Nieuw.sources.xml   7.62KB   9 downloads

Edited by doglover, 31 July 2017 - 09:03.

[Robinson]

Could you summerize it in English, please? Unless this is not something for a regular OpenPLi user.

[Dream1975]

This is more a discussion between Doglover (who maintains the imports) and the developers of OpenPLi about new functionality in the plugin (and ways to reduce it's bandwith consumption). So it is not really interesting for normal users as it is just brainstroming (which is a lot easier in the mother tongue) for a final solution. If there will come changes out of it I'm sure it will be made public in English. 

[Robinson]

OK, thanks.

[doglover]

Summerized this boils down to the question how can we limit the download volumes.

 

Some new ideas are being put forward, like building databases, an providing API calls this database.  This is interesting stuff but this is still a long way off.

 

In the mean time we can do something:

 

1. Provide the files in xz compressed format.  Providing the files in this format is no problem.  And at the moment the XMLTV importer in the development git does understand this.  Promised is that the revised XMLTV importer with xz support will be included in OpenPLI 6.1 RC.

oe-alliance version of the plug-in is being made compatible.

Crossepg: no answer from the maintainers.

 

2. Provide smaller files.  Each country will have at least 3 files instead of one.  One with the Basic channels.  A file which groups all the movie en sport channels.  And a file will holds the other channels.

This setup would allow users to skip sports/film channels if they do not have access to them (Or alternatively just download these if this are the ones they are interested in)

Also all foreign channels will be deleted from the source of a country.  If people are interested in channels from another country, this are then mainly in the Basic channels (like ARD, ZDF, TF!, France 2 etc) they can slect the basic channels from that country and are not required to download all other stuff from that country.

 

However doing this, will make the sources selection list very long and unreadable.  Therefore the question to modify the plug-in to have a treeview in the selection list.

 

Willy

[Robinson]

Will it be necessary to update sources file manually?

Also, how will these changes be handled in OpenPLi 4.0?

[doglover]

For a good understanding, nothing has been changed at the moment.

 

I will try to install the new version of the importer on OpenPLI 4.0 and see what happens.  (Not everybody will update).

And there will be a grace period during which both versions will be provided.

 

All this is from the last couple of weeks, so we do not have all the answers yet.

 

And when you want the new version of the sources, you will have to update that of course.

 

Willy