EPG-Filter

Ich mach mal den ersten Wurf.

Mit dieser sectionsd
http://download.yousendit.com/94B2162B14A1E9C9

ist es möglich bestimmte EPG-Daten nicht in den Speicher zu lassen.
Dazu liest sectionsd beim Start die Datei /var/tuxbox/config/epgfilter.xml

Ihr Format soll so wie in diesem Beispiel aussehen:
http://download.yousendit.com/6B64C4F30A47CC3D

In DVB werden Sender durch das Triple Original Network ID, Transport_Stream_ID und Service_ID identifiziert. Diese Triple müssen in die Datei eingetragen werden, damit für diesen Sender kein EPG geladen wird.
Die 0 ist jeweils reserviert und dient hier als Wildcard.
In der Beispieldatei werden also alle Sender mit der ONID 0x0035 gefiltert -> die Holländer also

Und alle Sender des Transponders 0x0445 vom ONID 0001 (Radio Transponder ARD).
Natürlich kann man auch einzelne Sender filtern.

Für später könnte man noch Filter aus der GUI zulassen oder vom EPG-speichern, so wie von usul1 vorgeschlagen.

Hi,

könnte man dafür nicht die bouquets.xml verwenden ?

Das würde m.E. gleich mehrere Dinge erleichtern,
keine zusätzliche Datei,
ist bereits vorhanden und wird beim Start von Neutrino geladen
enthält die wesentlichen Daten/Felder.

Aber in jedem Falle ein längst überfälliger Schritt in die richtige Richtung.

Achso, das ganze dann quasi anders rum :-))

CU

Ich denke mal, dass der gewählte Ansatz (separates File) schon gut ist, da man dadurch dann ja auch Ranges (wie Nirvana im Beispiel schreibt Radiosender ARD etc.) definieren kann. Dafür wäre das bouquet-File meiner Erachtens ungeeignet. Auch werden dann externe Tools (bspw. Bouquet Wizard) nicht sofort unbrauchbar, wenn sowas eingebaut wird, da die bestehende Basis nicht angefasst wird.

Ich finde die Idee übrigens sehr gut. Toll, dass hier an diesen Punkten laufend weiter gearbeitet wird

.

Sumisu

Nirvana hat geschrieben:Ich mach mal den ersten Wurf.

Mit dieser sectionsd
http://download.yousendit.com/94B2162B14A1E9C9

ist es möglich bestimmte EPG-Daten nicht in den Speicher zu lassen.
Dazu liest sectionsd beim Start die Datei /var/tuxbox/config/epgfilter.xml

Ihr Format soll so wie in diesem Beispiel aussehen:
http://download.yousendit.com/6B64C4F30A47CC3D

In DVB werden Sender durch das Triple Original Network ID, Transport_Stream_ID und Service_ID identifiziert. Diese Triple müssen in die Datei eingetragen werden, damit für diesen Sender kein EPG geladen wird.
Die 0 ist jeweils reserviert und dient hier als Wildcard.
In der Beispieldatei werden also alle Sender mit der ONID 0x0035 gefiltert -> die Holländer also
Und alle Sender des Transponders 0x0445 vom ONID 0001 (Radio Transponder ARD).
Natürlich kann man auch einzelne Sender filtern.

Für später könnte man noch Filter aus der GUI zulassen oder vom EPG-speichern, so wie von usul1 vorgeschlagen.

@Nirvana:

funktioniert super!!! Leider ist das händische editiern der XML sehr aufwendig. Ich würde ein Flag in der services.xml oder besser noch in der bouquets.xml besser finden. (epg="0") Wenn man dieses Flag dann noch über den Bouqueteditor (meinetwegen auch WebIF) setzen könnte => perfekt.

Gibt es eine einfache Möglichkeit als Rundumschlag bei service_type="02" bzw. >"01" AND TVMode den Radio EPG abzuschalten? Zumindest optional für Leute wie mich, die eigentlich nie dbox radio hören.

@yjogol:
Wenn o.g. nicht möglich ist - kannst Du ins WebIF eine Art Editor für die epgfilter.xml integrieren?

@Nirvana: Super. Damit haben sich gleich zwei Wünsche erfüllt, besten Dank.

@all: Hat hier jemand zufällig eine fertig kompelierte Version auf einem Webspace rumliegen (Natürlich nur sofern die über verschiedene Images lauffähig ist)? Es fällt mir schwer auf das nächste YADI zu warten.

cu
usul

usul1 hat geschrieben:@Nirvana: Super. Damit haben sich gleich zwei Wünsche erfüllt, besten Dank.

@all: Hat hier jemand zufällig eine fertig kompelierte Version auf einem Webspace rumliegen (Natürlich nur sofern die über verschiedene Images lauffähig ist)? Es fällt mir schwer auf das nächste YADI zu warten.

cu
usul

ich habs kompiliert abgelegt unter: http://gpi.airlane.de/files/sectionsd

die XML kannst Du aus dem ersten Beitrag nehmen und entsprechend Deiner Bedürfnisse erweitern.
Achso - der o.g. sectionsd läuft bei mir im JTG (IDE) vom 26.09.2006 (2.2.1 Snapshot) problemlos

sectionsd nach var/bin/ und chmod +x

und

Code: Alles auswählen

if [ -x /var/bin/sectionsd ]; then
 /var/bin/sectionsd
else
 if [ -e /var/bin/sectionsd ]; then
  chmod +x /var/bin/sectionsd
  /var/bin/sectionsd
 else
  /bin/sectionsd
 fi;
fi;

statt dem normalen sectionsd Aufruf in die start_neutrino

Tommy hat geschrieben:ich habs kompiliert abgelegt unter: http://gpi.airlane.de/files/sectionsd

Besten Dank, läuft auch im letzten YADI ohne Probleme.

@Nirvana: Der filtert aber auch die beim start geladenen Infos (Die aus den EPG XML Dateien) weg. Ist das so beabsichtigt?

cu
usul

mal noch ein Tipp: den sectionsd mit -d als Parameter starten. Dann kommen am Terminal sehr aussagekräftige Meldungen:

Code: Alles auswählen

/ > var/bin/sectionsd -d
$Id: sectionsd.cpp,v 1.230 2006/11/14 20:36:30 houdini Exp $
[sectionsd] Caching max 2000 events
[sectionsd] Caching 5 days
[sectionsd] Events are old 60min after their end time
Reading EPGFilters
Add EPGFilter for onid="0001" tsid="0445" service_id="0000"
Add EPGFilter for onid="0035" tsid="0000" service_id="0000"
Add EPGFilter for onid="0085" tsid="0005" service_id="0000"
Add EPGFilter for onid="0001" tsid="0454" service_id="0000"
[timeThread] pid 258 start
[eitThread] pid 259 start
[pptThread] pid 260 start
[nitThread] pid 261 start
[sdtThread] pid 262 start
housekeeping-thread started.
[timeThread] - 28.12.2006 21:14:21, tim: Thu Dec 28 21:14:21 2006
dmxPPT: no valid pid 0
dmxNIT: going to sleep...
dmxSDT: going to sleep...
[timeThread] Time set via DVB, going to sleep for 1800 seconds.
[pptThread] going to sleep...

Das sieht mir danach aus als ob die Filter gleich beim Start gelesen werden. Ich benutze das EPG speichern nicht - du solltest also mal schauen ob das "offline EPG" vor den Filtern gelesen wird. Anderenfalls wäre es logisch das auch das "offline EPG" gefiltert wird.

Mir kommt es auf jeden Fall so vor, als ob das EPG jetzt rasend schnell eingelesen wird. Ich kriege now und next jetzt zu 100% noch während der Infobar nach dem zappen. Das war gerade bei ARD vorher nicht so. Ich habe allerdings auch massiv Filter (s. Debug oben) gesetzt (z.B. den ganzen Transponder um "Das Vierte" - guckt eh keiner)[/quote]

@Tommy
wie alt war denn deine Version davor
die schnellere Now/Next Geschichte gibts schon länger und hat wahrscheinlich nix mit Nirvanas Patch zu tun

Tommy hat geschrieben:Das sieht mir danach aus als ob die Filter gleich beim Start gelesen werden. Ich benutze das EPG speichern nicht - du solltest also mal schauen ob das "offline EPG" vor den Filtern gelesen wird.

Das Filtern ansich klappt ja super. Halt ZU GUT ;-)

Tommy hat geschrieben: Anderenfalls wäre es logisch das auch das "offline EPG" gefiltert wird.

Nun ja, mir gings ja hauptsächlich darum eine Möglichkeit zu haben die EPG Daten vom Sat Transponder zu ignorieren um meine eigenen zu nutzen.
DA macht es natürlich keinen Sinn die geladenen (Also von den XML EPG Files eingefügten) Daten zu ignorieren. Dann die will man denn ja gerade.

Deswegen eigentlich auch die Frage ob das Verhalten beabsichtigt ist oder ob das ein zufälliger Nebeneffekt der neuen Sectionsd in einem 6 Monate alten YADI ist.

cu
usul

Houdini hat geschrieben:@Tommy
wie alt war denn deine Version davor
die schnellere Now/Next Geschichte gibts schon länger und hat wahrscheinlich nix mit Nirvanas Patch zu tun

Der originale aus dem o.g. JTG ( JTG (IDE) vom 26.09.2006 (2.2.1 Snapshot)). Now/Next hat es nie (ok zu 90% nicht) bis zum Timeout der Infobar geschafft. Man mußte erst nochmal "?" drücken. Jetzt klappt es zu 100% immer.

Falls es interessiert - Sagem Sat

Hi,

guter, erster Schuss.

Ich hätte dazu allerdings eine Frage.

Da ich in der Kanalsuche 'nur TV' benutze, wie bekomme ich die Daten für zb. die Radio-Services.
So wie ich das sehe, kann ich die ohne Fullscan wohl nicht filtern.

Ich halte weiterhin für einfacher, die Services, die man haben will zu benennen, als (die wesentlich) grössere Anzahl von nicht erwünschten mühsam herauszufischen.

CU

Beitrag von **Nirvana** » Freitag 29. Dezember 2006, 01:12

Fixed: Events die aus EPG-speichern kommen nicht blocken.
http://download.yousendit.com/30EE30FE6198DF70

- Generell alle Radiosender filtern geht leider nicht, weil sectionsd nicht sieht ob es ein Radiosenderevent ist oder nicht
- ob epgfilter.xml Positiv- oder Negativliste ist, könnte ein Flag entscheiden, das ist nicht schwierig. Gute Ieee!
- gefiltert sollten auf alle Fälle noch die beiden HD-Transponder werden, die Daten habe ich nicht im Kopf, vielleicht schaut mal jemand in den gespeicherten EPG-Daten
- wie oben gesagt, könnten weitere Filter aus der GUI kommen und in services.xml gespeichert sein, das eine schließt das andere nicht aus, die Datei sollte auf alle Fälle bleiben, weil ich so ganze Transponder oder Networks filtern kann

Wie man die zu filternden Services rauskriegt ohne Senderliste? Hmm, weiß auch kein Patentrezept. Vielleicht eine fertige services.xml aus dem Netz laden.

Hi,

mein Gedanke an die bouquets.xml ist in erster Linie der,
das die User diese Einträge tatsächlich sehen - und auch bearbeiten.
Übrig bleiben so nur die Services, die man auch will.

Anders herum,
ich habe lediglich 32 Transponder in meiner Satellites.xml
wenn ich z.b. auf TV Canaria zappe bekomme ich aber trotzdem EPG für DigitalPlus - und die tauchen weder in services.xml noch bouquets.xml auf.
Ich müsste quasi erstmal alle Transponder durchforsten, was ich nicht will/brauche.

Dafür wäre ein Flag mit positiv/negativ Filter genau das richtige - eine epgfilter.xml lässt sich wunderbar per script erstellen.

Wenn Du das einbauen könntest, wäre das klasse.

HD Transponder gibt's mittlerweile 3

Astra 1H (19.2E) - 11914.50 H - DVB-S2 - QPSK - 27500 9/10 - NID: 2 - TID: 2011 - Txp: 75 - Beam / Ausleuchtzone: Astra 1H
Astra 1G (19.2E) - 12522.00 V - DVB-S2 - 8PSK - 22000 2/3 - NID: 1 - TID: 1106 - Txp: 106 - Beam / Ausleuchtzone: Astra 1G
Astra 1H (19.2E) - 12721.75 H - DVB-S2 - 8PSK - 22000 2/3 - NID: 1 - TID: 1119 - Txp: 119 - Beam / Ausleuchtzone: Astra 1H

CU

Beitrag von **Tommy** » Freitag 29. Dezember 2006, 11:15

Nirvana hat geschrieben:Fixed: Events die aus EPG-speichern kommen nicht blocken.
http://download.yousendit.com/30EE30FE6198DF70

- Generell alle Radiosender filtern geht leider nicht, weil sectionsd nicht sieht ob es ein Radiosenderevent ist oder nicht
- ob epgfilter.xml Positiv- oder Negativliste ist, könnte ein Flag entscheiden, das ist nicht schwierig. Gute Ieee!
- gefiltert sollten auf alle Fälle noch die beiden HD-Transponder werden, die Daten habe ich nicht im Kopf, vielleicht schaut mal jemand in den gespeicherten EPG-Daten
- wie oben gesagt, könnten weitere Filter aus der GUI kommen und in services.xml gespeichert sein, das eine schließt das andere nicht aus, die Datei sollte auf alle Fälle bleiben, weil ich so ganze Transponder oder Networks filtern kann

Wie man die zu filternden Services rauskriegt ohne Senderliste? Hmm, weiß auch kein Patentrezept. Vielleicht eine fertige services.xml aus dem Netz laden.

Kompiliert liegts wieder hier: http://gpi.airlane.de/files/sectionsd (habe es selbst noch nicht getestet also macht Euch erst mal eine Sicherheitskopie von dem gestrigen file)

Beitrag von **PT-1** » Freitag 29. Dezember 2006, 15:05

Habe mal alles hier ausgelagert ;-)

http://www.njlworld.com/~pt1/Diffs/Nirv ... tionsd.cpp
http://www.njlworld.com/~pt1/Diffs/Nirv ... tionsd.cpp
http://www.njlworld.com/~pt1/Diffs/Nirv ... filter.xml

Compiled latest Diffs:

http://www.njlworld.com/~pt1/Diffs/29_1 ... tionsd.txt

Beitrag von **usul1** » Freitag 29. Dezember 2006, 16:34

Nirvana hat geschrieben:Fixed: Events die aus EPG-speichern kommen nicht blocken.

Danke, funktioniert einwandfrei.

Tommy hat geschrieben:Kompiliert liegts wieder hier: http://gpi.airlane.de/files/sectionsd (habe es selbst noch nicht getestet also macht Euch erst mal eine Sicherheitskopie von dem gestrigen file)

Auch hier ein Danke. Gestestet und läuft.

cu
usul

Beitrag von **usul1** » Freitag 29. Dezember 2006, 17:40

Nochmal zu der ganzen "Ich will die Radio EPGs nicht, ich möchte die HDs nicht, ich..." Problematik.

Nur so als spontane Idee. Evtl. könnte man ja (wenn es nicht so aufwendig ist) in der epgfilter.xml die Möglichkeit einbauen andere Files in dem Format einzufügen.

Also z.B.:
----
<?xml version="1.0" encoding="UTF-8"?>
<epgfilter>
<include filename="alle_astra_radios.xml"/>
<filter original_network_id="0001" transport_stream_id="0459" service_id="313a"/>
<filter original_network_id="0001" transport_stream_id="0436" service_id="7008"/>
<filter original_network_id="0001" transport_stream_id="0436" service_id="7001"/>
</epgfilter>
----

"alle_astra_radios.xml" ist dann natürlich eine Datei im epgfilter.xml Format die die Filter für alle Radios enthält.

Auf diese Weise können Leute die sich die Mühe gemacht haben sowas zusammenzustellen sowas an einer zentralen Stelle veröffentlichen (Und evtl. updaten wenn nötig) und die Nutzer könnten sich dann die gewünschtne Filterlisten runterladen und in der epgfilter.xml zusammenstellen ohne selber alle PIDs zusammenfummeln zu müssen.

BTW: XML kann sowas AFAIK auch von Haus aus (Also man müsste am Sectionsd nichts ändern). Aber ich vermute mal das das der verwendete XML Parser nicht mitmacht.

Bin auch nicht so der XML könner. Aber so ungefähr sollte das gehen:
---
<?xml version="1.0" encoding="UTF-8"?>
<!ENTITY liste1 SYSTEM "/var/filter/alle_astra_radios.xml">
<epgfilter>
&liste1;
<filter original_network_id="0001" transport_stream_id="0459" service_id="313a"/>
<filter original_network_id="0001" transport_stream_id="0436" service_id="7008"/>
<filter original_network_id="0001" transport_stream_id="0436" service_id="7001"/>
</epgfilter>
---

cu
usul

Beitrag von **PT-1** » Freitag 29. Dezember 2006, 17:46

Ich habe mich eh schon lange gefragt warum es hier keine zentrale Stelle gibt um z.B. einzelne Staedte und deren Kabellisten anzubieten.

Webspace habe ich z.B. oder es gibt auch sicher jemanden anderen ;-)

Beitrag von **Tommy** » Freitag 29. Dezember 2006, 17:56

Klasse Idee. Anderseits kann man ja auch Passagen- / Blockweise per copy/paste arbeiten

Anderer Vorschlag:

Die Dateiendung XML ist ja sicher nicht zwingend nötig. Also was spricht gegen eine sammlung von *.noepg Dateien (Premiere_Radio.noepg). Nirvana (besser gesagt sein sectionsd) müßte nur alle *.noepg Dateien durchgehen und die Filter entsprechend setzen.

Mal noch ne Zusatzfrage:

kann man noch ein Tag einfügen one das der sectionsd durcheinanderkommt? zB. desc="Jump Radio"
Das würde das Editieren der Filterdateien erheblich vereinfachen ;-)

Beitrag von **Tommy** » Freitag 29. Dezember 2006, 18:35

Also zusätzliche Tags gehen. Es ist eine echte Mühsal alles von hand zu editieren.

Hier mal meine aktuelle Datei:

Code: Alles auswählen

<?xml version="1.0" encoding="UTF-8"?>
<epgfilter>
	<filter name="" original_network_id="0001" transport_stream_id="0445" service_id="0000"/>
	<filter name="" original_network_id="0035" transport_stream_id="0000" service_id="0000"/>
	<filter name="" original_network_id="0085" transport_stream_id="0005" service_id="0000"/>
	<filter name="" original_network_id="0001" transport_stream_id="0454" service_id="0000"/>
	
	<filter name="Bayern 4 Klassik" original_network_id="0001" transport_stream_id="0431" service_id="6e35"/>
	<filter name="WDR 5" original_network_id="0001" transport_stream_id="0431" service_id="6e38"/>
	<filter name="WDR 3" original_network_id="0001" transport_stream_id="0431" service_id="6e37"/>
	<filter name="SWR2" original_network_id="0001" transport_stream_id="0431" service_id="6e36"/>
	<filter name="SPUTNIK" original_network_id="0001" transport_stream_id="0431" service_id="6e34"/>
	<filter name="hr2" original_network_id="0001" transport_stream_id="0431" service_id="6e32"/>
	<filter name="MDR INFO" original_network_id="0001" transport_stream_id="0431" service_id="6e33"/>
	<filter name="MDR FIGARO" original_network_id="0001" transport_stream_id="0431" service_id="6e30"/>
	<filter name="NDR Kultur" original_network_id="0001" transport_stream_id="0431" service_id="6e2f"/>
	<filter name="ANTENNE BAYERN" original_network_id="0085" transport_stream_id="0007" service_id="00aa"/>
	<filter name="ERF Radio" original_network_id="0085" transport_stream_id="0007" service_id="00a1"/>
	<filter name="DLF" original_network_id="0001" transport_stream_id="0437" service_id="6d6d"/>
	<filter name="DKULTUR" original_network_id="0001" transport_stream_id="0437" service_id="6d6c"/>
	<filter name="HIT RADIO FFH" original_network_id="0001" transport_stream_id="0459" service_id="3174"/>
	<filter name="planet radio" original_network_id="0001" transport_stream_id="0459" service_id="3175"/>
	<filter name="harmony.fm" original_network_id="0001" transport_stream_id="0459" service_id="3176"/>

</epgfilter>

Damit sind die deutschen Radios glaube ich alle raus.

Beitrag von **Token** » Freitag 29. Dezember 2006, 18:41

... also fuer das jtg-ide 2.2.2 vom 12.11.06 gibts auch erstmal eine OK - meldung !
... hier im KD-cable ist natuerlich das filtern etwas fleissarbeit, da TV und Radio zumindest bei ARD und Premiere teilweise identische service-id's nutzen !
... hier wuerde ich tommy's idee, service-typ="02" oder epg=0 als flag optimal finden.
cu token

p.s.:
tommy, ich hab hier noch das xtramusic-paket zu editieren, und das premiere-radio ..... das ist dann richtiger stress (oder fleiss)

Beitrag von **Tommy** » Freitag 29. Dezember 2006, 18:47

Die Premiere Radios:

Code: Alles auswählen

	<filter name="P-UK HITS" original_network_id="0085" transport_stream_id="0004" service_id="0096"/>
	<filter name="P-CLASSIC ROCK" original_network_id="0085" transport_stream_id="0004" service_id="009b"/>
	<filter name="P-ROCK HYMNEN" original_network_id="0085" transport_stream_id="0004" service_id="00a3"/>
	<filter name="P-HARD ROCK" original_network_id="0085" transport_stream_id="0004" service_id="0098"/>
	<filter name="P-DEUTSCHE CHARTS" original_network_id="0085" transport_stream_id="0004" service_id="0097"/>
	<filter name="P-SCHLAGER" original_network_id="0085" transport_stream_id="0004" service_id="00a2"/>
	<filter name="P-ROCK N ROLL" original_network_id="0085" transport_stream_id="0004" service_id="009a"/>
	<filter name="P-70ER" original_network_id="0085" transport_stream_id="0004" service_id="00a6"/>
	<filter name="P-80ER" original_network_id="0085" transport_stream_id="0004" service_id="00a7"/>
	<filter name="P-90ER" original_network_id="0085" transport_stream_id="0004" service_id="00a4"/>
	<filter name="P-LOVE SONGS" original_network_id="0085" transport_stream_id="0004" service_id="009c"/>
	<filter name="P-JAZZ" original_network_id="0085" transport_stream_id="0004" service_id="0094"/>
	<filter name="P-DINNER PARTY" original_network_id="0085" transport_stream_id="0004" service_id="0092"/>
	<filter name="P-KLASSIK" original_network_id="0085" transport_stream_id="0004" service_id="0093"/>
	<filter name="P-COUNTRY" original_network_id="0085" transport_stream_id="0004" service_id="0095"/>
	<filter name="P-SOUL CLASSICS" original_network_id="0085" transport_stream_id="0004" service_id="0099"/>
	<filter name="P-BLUES" original_network_id="0085" transport_stream_id="0004" service_id="0091"/>
	<filter name="P-REGGAE" original_network_id="0085" transport_stream_id="0004" service_id="009d"/>
	<filter name="P-R&B/HIP HOP" original_network_id="0085" transport_stream_id="0004" service_id="009f"/>
	<filter name="P-DANCE" original_network_id="0085" transport_stream_id="0004" service_id="00a5"/>
	<filter name="P-SPECIAL EVENT" original_network_id="0085" transport_stream_id="0004" service_id="009e"/>

Beitrag von **Nirvana** » Freitag 29. Dezember 2006, 18:49

2 Erweiterungen in der xml - Datei:

1. Man kann sagen, ob die Filterliste eine Positiv- oder Negativliste ist.
2. Und dann kann man current_next Events generell von der Filterung ausnehmen.

XML:
http://download.yousendit.com/9179738B313A9733

Source:
http://download.yousendit.com/E5CF48EF55886713

Sectionsd:
http://download.yousendit.com/0F2DB6A609386635

Wenn keine Bugs auftreten, habe ich keine weiteren Pläne zu dem Thema.

Beitrag von **PT-1** » Freitag 29. Dezember 2006, 18:57

Und hier fuer laenger als 7 Tage:

http://www.pt-1.net/Diffs/Nirvana_29_12 ... tionsd.txt (Binary)
http://www.pt-1.net/Diffs/Nirvana_29_12 ... filter.xml

http://www.pt-1.net/Diffs/Nirvana_29_12 ... tionsd.cpp

Tuxbox-Board

EPG-Filter

EPG-Filter

Re: EPG-Filter