Jugendschutz im SportPortal!?!?

[rasc]

@rasc
was ist denn das mit den 10(oder11) EIT Filtern?
was bedeutet dass, wofür wird das benutzt?
muss man das machen?

Gib mal die Code Zeile (ca.) und das Modul, damit ich nicht wuehlen muss ;-)

ich habe mal getestet

Code: Alles auswählen

gezappt #events #gemallokt
RTL       240 events    155000 Bytes
+Premiere1    705       661000
+Premiere2   764      739000
[...]

Mhh, ca. 500 Bytes pro Event? das geht ja eigentlich noch...

[Houdini]

code ist im sectionsd.cpp eitThread()

[rasc]

Die Sections 0x4E bis 0x6F sind die möglichen Table-IDs fuer den EIT.

Warum allerdings die Filter fast einzeln gesetzt werden, weiss ich im Moment auch nicht.

Code: Alles auswählen

	//dmxEIT.addfilter( 0x4e, (0xff) );
	//dmxEIT.addfilter( 0x4f, (0xff) );
	dmxEIT.addfilter( 0x4e, (0xff - 0x01) );
	dmxEIT.addfilter( 0x50, (0xff) );
	dmxEIT.addfilter( 0x51, (0xff) );
	dmxEIT.addfilter( 0x52, (0xff - 0x01) );
	dmxEIT.addfilter( 0x54, (0xff - 0x03) );
	dmxEIT.addfilter( 0x58, (0xff - 0x03) );
	dmxEIT.addfilter( 0x5c, (0xff - 0x03) );
	dmxEIT.addfilter( 0x60, (0xff - 0x03) );
	dmxEIT.addfilter( 0x64, (0xff - 0x03) );
	dmxEIT.addfilter( 0x68, (0xff - 0x03) );
	dmxEIT.addfilter( 0x6c, (0xff - 0x03) );

wuerde ich so schreiben:

Code: Alles auswählen

	dmxEIT.addfilter( 0x4e, 0xfe );
	dmxEIT.addfilter( 0x50, 0xf0 );
	dmxEIT.addfilter( 0x60, 0xf0 );

oder
dmxEIT.addfilter( 0x50, 0xe0 );
und die 0x60 auch noch weglassen.

[Router-Fan]

oder
dmxEIT.addfilter( 0x50, 0xe0 );
und die 0x60 auch noch weglassen.

damit kriege ich überhaupt kein EPG mehr

[Houdini]

bei mir gehts

[mb405]

@Houdini
ich hab da mal einen ansatz zur problemlösung des speicher zur neuge gehens.
ich habe im telnet eingegeben
top -d 2
und die ausgaben betrachtet. bei einen freien speicher von 1000kb und sectionsd von 14,7mb habe ich eine imagedatei (egal welche) nach /tmp kopiert, und danach wieder gelöscht.
und was sehe ich da ?? free:12,2mb sectionsd 14,7mb.
kann mir einer das erklären ??

PS mal ne andere idee. bis zur fehlerlösung kann man doch die "flash without bootloader" parition nach /tmp extrahieren, und dann wieder löschen ?

[Nico 77]

Ne das funkt nur in deinem Beispiel, wenn die Box ein paar Tage läuft und das machst kriegste zwar das Image noch in tmp aber die Box wird lahm und fährt runter. Irgendwann kann die Box anscheinend nicht mehr genug Speicher frei geben.

Ich weiß das daher weil ich ab und zu rootupdates mache und wenn die Box 2 Wochen am Stück lief fehlt da Speicher zum Freigeben und Box verabschiedet sich zu dem sie kaum noch bedienbar ist.

Ich glaube die einzige Möglichkeit ist wenn man dem sectionsd nur noch einen gewissen Speicherbereich frei gibt, aber ob das so gut ist ka.
Besser wer wenn dieser selbständig nicht gebrauchte Daten besser verwaltet.

[rasc]

... da gibt es eine weitere Gefahr:

- sectionsd holt bzw. gibt immer sehr kleine Speicherbereiche frei.

Da besteht die Gefahr der Speicher Fragmentierung.
Wenn die Segmente verstreut sind, kann das Betriebsystem diese nicht wieder zu groesseren Speicherblocken re-organisieren.

D.h., obwohl man eigentlich Speicher frei hat, bekommt man keine größeren Blöcke mehr vom System...

[Houdini]

gestern im irc war speicherfragmentierung angeblich kein Thema

und was sehe ich da ?? free:12,2mb sectionsd 14,7mb.
kann mir einer das erklären ??

<vermutung>
der freigegebene speicher wandert erstmal in den cache Bereich, dieser ist zwar nicht frei aber wohl benutzbar. Wenn der freie Speicher dann zur neige geht, wird Speicher aus dem cache Bereich zu freiem umgewandelt
</vermutung>

[rasc]

gestern im irc war speicherfragmentierung angeblich kein Thema

Ähh, du hattest was anderes gefragt...

... naemlich ob Linux den Speicher wieder reorganisieren kann.
und das kann es, wenn die freigegebenen Speicherblöcke wieder zu einem größeren Block zusammengefuehrt werden können (ggf. ueber MMU).

Aber bei einem echten Schweizer Kaese im Speicher duerfte auch Linux ein kleines Problem haben.

[JtG-Riker]

Hier mal was bei mir, ist doch schon erschreckend....

Code: Alles auswählen

~ > uptime
 14:16:32 up 3 days, 18:47, load average: 0.00, 0.00, 0.00
~ > free
              total         used         free       shared      buffers
  Mem:        30972        30120          852            0          688
 Swap:            0            0            0
Total:        30972        30120          852
~ > killall sectionsd
killall: Could not kill pid '97': No such process
killall: Could not kill pid '98': No such process
killall: Could not kill pid '99': No such process
killall: Could not kill pid '100': No such process

~ > free
              total         used         free       shared      buffers
  Mem:        30972        17380        13592            0          688
 Swap:            0            0            0
Total:        30972        17380        13592
~ >

[Innuendo]

@riker

und wie bereits geschrieben ist das unabhängig davon, was bei

static long secondsToCache = 7*24*60L*60L;
static long oldEventsAre = 120*60L;

eingetragen ist. allerdings muss die box mehr als 24h (bei mir zumindest) laufen bevor ich ähnliche free werte bekomme.

regards
Innu

[lollyxy]

Ich habe das Problem das die Box mit der Zeit lahmer wird erst seit etwa ca. 2 Monaten. Die Images davor liefen ohne Probleme. Den genauen Zeitpunkt kann ich aber nicht nennen. Habe noch das CVS vom 29.5 auf der Platte u. damit habe ich das Problem nicht.

[Houdini]

Houdini's back:

oder
dmxEIT.addfilter( 0x50, 0xe0 );
und die 0x60 auch noch weglassen.

Hab rasc's Idee mal umgesetzt und gleich noch einen Bug gefunden:
http://home.arcor.de/houdini/dbox/secti ... 18.diff.gz

- ein paar debugprints abgeändert
- die Anzahl der Tabellenfilter von 10 auf 2 reduziert -> events sollten deutlich schneller da sein
- dabei Bugfix dass nach dem Threadtimeouts sofort auf den 2. Filter umgeschaltet worden ist (Aufruf von dmxEIT.change( 0 ); muss nach dmxEIT.real_unpause(); erfolgen )

@Imagebauer, Bitte erstmal einen Snapshot machen bevor was eingecheckt wird

Gruß
Houdini

[mb405]

@Houdini
werde es morgen mal einbauen, bericht folgt dann gegen 17:00

[JtG-Riker]

Im aktuellen JTG Snapshot ist der Fix drin

Happy testing - die Doppelevents sind aber noch nicht angerührt ?

Riker

[Hollo]

könnte eventuell die sectiond mit den aktuellen Fixes hier angehangen werden, zwecks testing

edit: ok, hab ich

[PauleFoul]

@Houdini

Macht soweit einen guten Eindruck. Daten werden recht fix ausgelesen.


Gruß
____Paule

[Nirvana]

Ist es eigentlich ein Bug oder Feature, dass nur Events der beiden Hauptsportkanäle in der Gesamtliste im Sportportal auftauchen?

Also wenn man auf der Portalseite rot - rot drückt, sind so weit ich sehen kann, keine Einzelfussballspiele gelistet. Erst wenn ich auf die durch myservices abgespeicherten Einzelfeeds gehe, sehe ich dann z.B. Hannover gegen Wolfsburg.

Gruß

[PT-1]

@Houdini

wie schon mal am Anfang dieses Postes berichtet hatte ein Programmierer hier in England ein aehnliches Problem. Er wollte die zapit und sectionsd fuer UK Kabel Netzwerke optimieren und hatte am Anfang auch mit diesen Memoryproblemen gekaempft.

Ich habe hier mal die Diff's von Ihm hochgeladen.

Ich hoffe dies hilft euch dies besser zu verstehen und evetuell die Scan bzw. EPG Funktionen in Neutrino fest zu uebernehmen.

Ich habe dem Programmierer (Cydine) auch schon den Link zu dieser Diskussion gesendet nur er hat leider seine ganze HDD verloren und die Diff's waren im Forum gesichert...

Danke&Ciao

PT-1

[AudioSlyer]

@PT-1:

Die Zapitsachen enthalten bösen Source, aber einige Sachen in der Sectionsd scheinen sinnvoll zu sein.
Dort ist auch schon was an den Filtern gemacht worden LOL
Vielleicht hätten man da schon vorher mal reinschauen sollen.

[PT-1]

Wie meinst du boese Sachen... Fangen die eventuell mit E an und hoeren mit U auf...?

Wenn ja, dann ist das nicht beabsichtigt und soll ja auch hier im Forum nicht gefoerdert werden.

Mir ging es ja nur von Anfang an darum den Programmierer (Cydine) dazu zu bewegen sich mit euch Sourcen Verstehern in Verbindung zu setzten da es ja keinen Sinn macht das Rad 2 mal zu erfinden. Leider habe ich erst gestern von Ihm gehoert und er hat saemtlich Daten auf seiner Platte durch einen HDD Crash verloren.

Die Diff's waren zum Glueck wo anders gespeichert ;-)

Es gin hier in England darum mit der zapit die Scan Fahigkeit Neutrinos zu optimieren da man je nach Anbieter (NTL oder Telewest) keine Resultate oder nicht alle Sender bekam.

Nur zur Erinnerung alle BBC Kanaele sind OHNE !!! Karte frei im Englischen Kabel zu empfangen. Dann wurde in der Sectionsd noch was zur Sendernamen Erkennung (NVOD) und diverse EPG Optimierungen gemacht.

Wenn's hilft kann ich ja mal eine unserer Cables.XML und auch eine Services.XML hochladen damit man sieht welche Frequenzen hier im UK Kabel genutzt werden.

Es sind so ca. 300 Programme oder mehr eingespeist.

Enigma hatte keine Probleme beim scannen

[Houdini]

Ist es eigentlich ein Bug oder Feature, dass nur Events der beiden Hauptsportkanäle in der Gesamtliste im Sportportal auftauchen?

Jenachdem wie man es sieht, der Algorithmus (wenn jemand was besseres hat her damit ) ist folgender.
1. alle events anzeigen vom portal (das sind die 2 "faulen)
2. alle event von der channelid anzeigen, die im linkagedescriptor des portalevents aufgeführt sind.
Ist ziemlich billig und man brauch auch nix von zapit dafür.

Das funktioniert aktuell für einen Tag ganz gut aber für sendungen in einigen Tagen mit vielen optionen nicht.

Ich schau mir den 'bösen'Patch mal an

[AudioSlyer]

musst dir nur die sectionsd.cpp anschauen, der rest ist zu böse für unsere augen und auch uninteressant.

[PT-1]

musst dir nur die sectionsd.cpp anschauen, der rest ist zu böse für unsere augen und auch uninteressant.

Bestuende denn die Chance die Scan Funktion von Neutrino mit hilfe dieser Dateien bzw. neuere Versionen zu optimieren...?

Wenn man bestimmte Sachen aus der Zapit rauslaesst da diese eventuell fuer anderere Anwendungen optimiert wurde. Diese beeintraechtigen jedoch die scan funktionen nicht und diese wuerden hier und eventuell in anderen "europaeischen" Kabelnetzwerken gebraucht.

Wer weiss, eventuell bringt es auch etwas bei den Privaten Netzanbietern hier in Deutschland