Stiftung: Stabiler sectionsd

Das Original Benutzerinterface Neutrino-SD incl. zapit, sectionsd, yWeb etc...
Metallica
Einsteiger
Einsteiger
Beiträge: 191
Registriert: Dienstag 30. Dezember 2003, 01:49

Beitrag von Metallica »

Mir schwebt da eine Maximalgrenze von Events vor...
Ich denke das würde jetzt sinn machen.
Ich hab dein sectionsd seit gestern laufen und neutrino wird nur bei der log ausgabe langsam.
NID: 0001 TSID: 0445 SID: 6f0c Prov: ARD MDR Name: MDR1 SACHSEN actual: 0
ONID: 0001 TSID: 0445 SID: 6f0d Prov: ARD MDR Name: MDR1 S-ANHALT actual: 0
ONID: 0001 TSID: 0445 SID: 6f0e Prov: ARD MDR Name: MDR1 TH..RINGEN actual: 0
ONID: 0001 TSID: 0445 SID: 6f0f Prov: ARD MDR Name: MDR FIGARO actual: 0
Mem: 31465472 29663232 1802240 0 0 4583424
13:26:18 up 13:44, load average: 0.02, 0.16, 0.18
total size of memory occupied by chunks handed out by malloc: 15686992
total bytes memory allocated with `sbrk' by malloc, in bytes: 15867600 (15495kb, 15.13MB)
Houdini
Developer
Beiträge: 2183
Registriert: Mittwoch 10. Dezember 2003, 07:59

Beitrag von Houdini »

@Nirvana & Metallica

Bevor ihr euch da ins Zeug legt, ich habe schon eine Version fertig, bei der die "HoursToCache" konfigurierbar ist.
Das ist zwar nicht die Anzahl der events aber zumindest lässt sich damit die Anzahl der Events und damit der Speicherverbrauch per Neutrino steuern.
Die kann ich heute abend mal online stellen.

Houdini
MOhlmann
Einsteiger
Einsteiger
Beiträge: 205
Registriert: Montag 19. April 2004, 21:09

Beitrag von MOhlmann »

Da es ja probleme mit dem speicher gibt, dachte ich mir das ich einfach im standby den sectionsd kille und danch wieder starte. Soweit ging das auch.
Aber beim beenden den sectionsd ist mir aufgefallen das der speicher nicht komplett freigegeben wird.

Code: Alles auswählen

~ > free
              total         used         free       shared      buffers
  Mem:        30916        18236        12680            0         2524
 Swap:            0            0            0
Total:        30916        18236        12680


~ > free
              total         used         free       shared      buffers
  Mem:        30916        18316        12600            0         2540
 Swap:            0            0            0
Total:        30916        18316        12600


~ > free
              total         used         free       shared      buffers
  Mem:        30916        18320        12596            0         2540
 Swap:            0            0            0
Total:        30916        18320        12596
Je länger die box läuft, umso weniger speicher wird wieder freigegeben.

Gruß Michael
gmo18t
Erleuchteter
Erleuchteter
Beiträge: 553
Registriert: Freitag 27. Februar 2004, 14:30

Beitrag von gmo18t »

... na ja, nachdem jetzt nun schon soviel Wirbel um den 'sectionsd' gemacht wird, hab ich auch mal in die Sourcen reingeschaut,
um mich mit dem Gedanken des "Neuschreibens" vertraut zu machen :) .

Mitunter ist aber aus den Sourcen nicht rauszubringen, wie der ganze SI-Kram zusammenhängt - da kommt man ohne Hilfe eines DVB-Experten nicht groß weiter ...

Gesehen hab ich aber ne Menge Redundanz bei dem Coding, wobei Listenhandling (Sortieren/Hinzufügen u. Löschen)
ja in großem Stil und ordentlich verwurschtelt vorkommt.

Da wäre natürlich der Entwurf eines generisches Klassensystems als Basis,
welches diese Funktionalität "objektallgemein" implementiert, gut angebracht.
Sinnvoll wäre dazu auch die Überlegung,
welche Hilfsmittel ( außer std:: Funktionen) das Leben einfacher machen könnten.
Aber dazu ist das genaue Verständnis der Materie unabdingbar.

Auch sollte soviel als möglich in diesen Klassen "versteckt" werden, u.a. auch evtl. eine eigene Speicherverwaltung,aber in jedem Fall
müßte alles so gekapselt sein, daß vorgefertigte Sachen wie "std::maps" und "std::set" o.ä. (falls das wieder zum Einsatz käme) hinter
einem Interface verschwinden.

Das erleichtert dann später den Austausch solcher Dinge ungemein, wenn sie nicht optimal arbeiten sollten.
Man muß ja in jedem Fall damit rechnen, daß nach dem Neuschreiben auch noch nicht alles ganz toll aussieht,
dann aber wenigsten eine vernünftige Erweiter- und Änderbarkeit gegeben ist.

jetzt aber genug gesponnen ...

Weiterhin hab ich mir überlegt, wie man den vorhandene sectionsd besser "durchleuchten" könnte. Mich persönlich stört erst mal am
Meisten, daß er auf der Box getestet werden muß.

Wäre doch besser, wenn dies auf nem normalen PC möglich wäre: Dazu müßte man eben den um Video- und Audiostreams erleichterten
Transponderstream doch nur z.B. als File (per nfs) auf dem PC speichern (dann kann man später auch das Verhalten unter gleichen Bedingungen
nachfahren !) und im sectionsd die Streamdaten aus diesem File anstelle der DVB devices auslesen.

Soweit sollten sich die Sourcen doch anpassen lassen ?!
... aber ich weiß nicht inwieweit noch andere Box-Programme zum Testen nötig wären - also, inwieweit zapit, neutrino und co. auch unbedingt auf einen
so modifizierten sectionsd einhämmern müssen, damit er (un)vernünftig läuft.

Wollt halt meine Gedanken hier zur Diskussion bringen, ob dieser Weg überhaupt was bringen würde, denn die Möglichkeiten zur Fehlersuche auf nem
Linux PC sind ja doch erheblich besser als auf der DBox ...

- GMo -
Zuletzt geändert von gmo18t am Freitag 9. Dezember 2005, 14:10, insgesamt 4-mal geändert.
Metallica
Einsteiger
Einsteiger
Beiträge: 191
Registriert: Dienstag 30. Dezember 2003, 01:49

Beitrag von Metallica »

Bei starten von Aplikationen die mehr Speicher benötigen (direkt steam usw.) ,müsste man auch, wenn zu wenig Speicher bei sectionsd Speicher abgreifen.
Metallica
Einsteiger
Einsteiger
Beiträge: 191
Registriert: Dienstag 30. Dezember 2003, 01:49

Beitrag von Metallica »

gmo18t hat geschrieben:Wäre doch besser, wenn dies auf nem normalen PC möglich wäre: Dazu müßte man eben den um Video- und Audiostreams erleichterten
Also zapit und sectionsd laufen hier auf PC +dvb-s karte ohne probs.
gmo18t
Erleuchteter
Erleuchteter
Beiträge: 553
Registriert: Freitag 27. Februar 2004, 14:30

Beitrag von gmo18t »

Metallica hat geschrieben:
gmo18t hat geschrieben:Wäre doch besser, wenn dies auf nem normalen PC möglich wäre: Dazu müßte man eben den um Video- und Audiostreams erleichterten
Also zapit und sectionsd laufen hier auf PC +dvb-s karte ohne probs.
umso besser (wußte ich ja auch) ...
aber leider hab ich kein SAT geschweige denn DVB-Karte im PC :cry:

- GMo -
Sagem 1x Kabel, AVIA600_vb028, cam-alpha 01_02_105D, int. ucode, .sp_ts + .hw_sections
Nirvana
Erleuchteter
Erleuchteter
Beiträge: 646
Registriert: Mittwoch 16. April 2003, 14:12

Beitrag von Nirvana »

@GMO

Also wir kriegen ja so wie es aussieht langsam Dreh an die Sache. Meine jetzige Version läuft m.E. schon echt gut. Die kann ich nur schocken, wenn ich von 3 Satelliten wirklich alle Events in den Speicher kloppe.

Wenn der sectionsd dann zur Zufriedenheit aller läuft, können wir uns gerne über einen Neuentwurf unterhalten. Dabei wäre mir vor allen Dingen eine Integration von zapit wichtig, denn es stört mich, dass PAT und PMT von zapit gehandelt werden und der Rest von sectionsd. So kann man nicht einfach den Premiere EPG oder den Astra SDT implementieren ohne die PIDs hardzucoden.
Was für mich auch wichtig wäre, wäre auch eine Abkehr von den sections hin zu den Tables. Ich würde eigentlich lieber ein Filter-Interface haben, dem ich sage: Gib mir die Table XY von PID XYZ. Und dann melde dich bitte erst wieder wenn sich die Table ändert. So hat sich das DVB nämlich eigentlich gedacht.
Torsten73
Erleuchteter
Erleuchteter
Beiträge: 547
Registriert: Mittwoch 30. Juni 2004, 16:06

Beitrag von Torsten73 »

Hi,
Zitat:
Mir schwebt da eine Maximalgrenze von Events vor...

Ich denke das würde jetzt sinn machen.
Ich hab dein sectionsd seit gestern laufen und neutrino wird nur bei der log ausgabe langsam.
Ich denke auch das es nicht möglich ist alle events zu speichern. Der Speicher ist halt nur begrenzt. Und lieber nur eine Vorschau auf 3-5 Tage und der Sectionsd stürzt nicht ab, als jeden 2. Tag die Box neustarten zu müssen.

Außerdem denkt doch mal weiter, wenn nicht nur ARD und ZDF eine vorschau von 7 Tagen macht, sondern der Rest der Sender auch noch dann Platzt ja alles aus den Nähten, wo wollt Ihr da noch hin, es muß also eine Grenze geben.

Idealerweise wäre es eine am freien Speicher geknüpfte max.Eventsize zu erstellen.

Aber das alles ändert nichts am Problem des geringer werdenen Speichers durch die Fragmentation. Aber dann wären wir schon mal wieder bei einer Uptime von mehr als max 2 Tage.

Übrigens lief als letztes ein Image mit CVS vom 4.10. bei mir auf meiner Schwiegermutter Nokia Avia 500 Sat über 9 Tage, das war Record, den bei Ihr hat bisher selten was länger als 5 Tage durchgehalten.

Momentan läuft der JTG 8.12. mal abwarten ... aber nach eifrigem Datensammeln, ist auch hier nach kurzer Zeit nur noch 1,2MB frei. Ob das zu einem Problem führt wird sich zeigen.

Cu
Torsten
petgun
Tuxboxer
Tuxboxer
Beiträge: 5001
Registriert: Montag 11. November 2002, 15:26

Beitrag von petgun »

..bloede Frage:kann man nicht die sicher langen Inhaltsbeschreibungen der Sendungen, nur auf Anforderung (human getriggert, bei/vor Aufnahme/wenn Timer vorhanden) in einem kleinen begrenzten Speicher ablegen der staendig ueberschrieben wird? Wird das schon so gemacht...oder liegen die Inhaltsbeschreibungen aller per EPG verfuegbaren Sendungen permanent im Speicher? Ich pers. haette nix gegen 'full EPG on demand only' auch wenn das nicht so komfortabel ist und man uU. ein paar Sekunden warten muesste.
Zuletzt geändert von petgun am Freitag 9. Dezember 2005, 15:27, insgesamt 1-mal geändert.
Metallica
Einsteiger
Einsteiger
Beiträge: 191
Registriert: Dienstag 30. Dezember 2003, 01:49

Beitrag von Metallica »

petgun hat geschrieben:...oder liegen die Inhaltsbeschreibungen aller per EPG verfuegbaren Sendungen permanent im Speicher?
So ist es , kannst du auch mit "2x? <>" sehen .
petgun
Tuxboxer
Tuxboxer
Beiträge: 5001
Registriert: Montag 11. November 2002, 15:26

Beitrag von petgun »

jau, ich hab's mir gedacht...wie gross waere die Verzoegerung bei 'full EPG on demand only' bzw. laesst sich sowas ueberhaupt realisieren?
Ich habe noch so einen billigen Aldi-DVB-S Receiver....da muss ich auch immer einige Sekunden warten bis nach '?' die volle Sendungsbeschreibung kommt....ich nehme mal an, dass es bei dem Teil (vielleicht auch wegen Speichermangel?) so geloest ist.
Der Speicher auf der Box ist nun mal begrenzt und daran wird sich nix aendern...mit 'full EPG on demand only' koennte ich pers. gut leben...besser als auf ein generell auf 2 Tage im voraus verkuerztes gesamtes EPG.
Zuletzt geändert von petgun am Freitag 9. Dezember 2005, 15:40, insgesamt 1-mal geändert.
Houdini
Developer
Beiträge: 2183
Registriert: Mittwoch 10. Dezember 2003, 07:59

Beitrag von Houdini »

ich habe so in Erinnerung das zumindest Premiere nur relativ aktuelle Events mit voller Beschreibung ausstrahlt
und die weiter entfernten nur mir kurzer Beschreibung oder nur mit Titel.
petgun
Tuxboxer
Tuxboxer
Beiträge: 5001
Registriert: Montag 11. November 2002, 15:26

Beitrag von petgun »

..habe noch mal drueber nachgedacht und bin zu dem Schluss gekommen dass besagter billig Receiver von Aldi und auch der Bose-Zenega Receiver 'nur' dieses 'full EPG on demand only' beherrschen...ich muss _vorher_ auf den Sender zappen um die komplette (verzoegerte) Sendungsbeschreibung zu bekommen! Das ist ja bei der Dbox nicht noetig...Komfort hat halt seinen Preis!
Innuendo
Einsteiger
Einsteiger
Beiträge: 281
Registriert: Mittwoch 8. Dezember 2004, 21:45

Beitrag von Innuendo »

Torsten73 hat geschrieben:Und lieber nur eine Vorschau auf 3-5 Tage und der Sectionsd stürzt nicht ab, als jeden 2. Tag die Box neustarten zu müssen.
das verhindert das problem leider auch nicht. ich hab irgendwo hier im forum meine sectiosnd änderung hinterlegt, mit der man eventstocache und oldeventsare konfigurieren kann.
selbst wenn ich oldeventsare auf 2 minuten und eventstocache auf 24 stunden einstelle, muss man nur querbeet rumzappen und genügend epg sammeln, um vor dem selben problem wie mit 21 tagen cache ohne viel zappen zu stehen.
eine feste maxgrenze für eventstocache (am besten noch konfigurierbar) und ein first in first out der gecachten signale. darauf warten bis ein event false == goodtimefound hat, um platz zu schaffen reicht offensichtlich nicht aus.

innu
petgun
Tuxboxer
Tuxboxer
Beiträge: 5001
Registriert: Montag 11. November 2002, 15:26

Beitrag von petgun »

@all
was haltet Ihr davon, zu Gunsten von Stabilitaet/'ewig' haltendem EPG (nur Sendungstitel mit Uhrzeiten) auf den Komfort der sofortigen Sendungsbeschreibungen zu verzichten? Diese Verzoegrungszeiten fuer die Sendungsbeschreibung halten sich in Grenzen und liegen <10 Sekunden bei den beschriebenen Billigreceivern.
Das Problem mit zu wenig Speicher wird imo immer (es sei denn man lagert aus) bestehen bleiben...stellt Euch vor, ploetzlich gibt es epische lange Sendungsbeschreibungen zu jedem Event...dann _muss_ der EPG in der Zeit begrenzt werden.
Zuletzt geändert von petgun am Freitag 9. Dezember 2005, 16:40, insgesamt 1-mal geändert.
Innuendo
Einsteiger
Einsteiger
Beiträge: 281
Registriert: Mittwoch 8. Dezember 2004, 21:45

Beitrag von Innuendo »

petgun hat geschrieben:@all
was haltet Ihr davon, zu Gunsten von Stabilitaet/'ewig' haltendem EPG (nur Sendungstitel mit Uhrzeiten) auf den Komfort der sofortigen Sendungsbeschreibungen zu verzichten? Diese Verzoegrungszeiten fuer die Sendungsbeschreibung halten sich in Grenzen und liegen <10 Sekunden bei den beschriebenen Billigreceivern.
finde die idee gut, benutze die EPG Info eh sehr selten. befürchte aber, dass die jtg streaming software user da einiges vermissen werden.
saruman
Erleuchteter
Erleuchteter
Beiträge: 682
Registriert: Samstag 13. Juli 2002, 10:05

Beitrag von saruman »

Evtl. wäre das ja vielleicht konfigurierbar? *naivfrag*
petgun
Tuxboxer
Tuxboxer
Beiträge: 5001
Registriert: Montag 11. November 2002, 15:26

Beitrag von petgun »

Innuendo hat geschrieben:befürchte aber, dass die jtg streaming software user da einiges vermissen werden.
...ja, stimmt...vielleicht gibt's dafuer ja auch intelligente Moeglichkeiten...'Full-EPG-Favoritenflag'...bessere Infos bekommt man ja eh durch diverse kostenlose Angebote im Internet...
Zuletzt geändert von petgun am Freitag 9. Dezember 2005, 16:48, insgesamt 1-mal geändert.
jmittelst
Tuxboxer
Tuxboxer
Beiträge: 6044
Registriert: Montag 17. November 2003, 06:48

Beitrag von jmittelst »

Innuendo hat geschrieben:
petgun hat geschrieben:@all
was haltet Ihr davon, zu Gunsten von Stabilitaet/'ewig' haltendem EPG (nur Sendungstitel mit Uhrzeiten) auf den Komfort der sofortigen Sendungsbeschreibungen zu verzichten? Diese Verzoegrungszeiten fuer die Sendungsbeschreibung halten sich in Grenzen und liegen <10 Sekunden bei den beschriebenen Billigreceivern.
finde die idee gut, benutze die EPG Info eh sehr selten. befürchte aber, dass die jtg streaming software user da einiges vermissen werden.
Ich denke da eher, das die glücklich sind, wenn sich die Box nicht mehr wenige Minuten vor der Aufnahme abschmiert. Zumal viele Streamer, wie auch JtG, mit dem Premiere Movie Guide und notfalls sogar (bei JtG u.a. mit Sherlock) mit Online-EPGs (wie http://www.klack.de oder http://www.tvinfo.de )arbeiten können.

cu
Jens
Tommy
Tuxboxer
Tuxboxer
Beiträge: 4332
Registriert: Dienstag 7. Mai 2002, 17:04

Beitrag von Tommy »

Notfalls kann man ja 32MB nachstecken -> Ebay Artikelnummer: 6829017858

18EUR tun ja nich soooo wehhh :lol:
---------------------------
Alle weiteren Infos findest Du im WIKI
Bitte vor dem posten Boardregeln lesen und verstehen!
Wie erstelle ich ein Bootlog? Wo finde ich die FAQ?
petgun
Tuxboxer
Tuxboxer
Beiträge: 5001
Registriert: Montag 11. November 2002, 15:26

Beitrag von petgun »

Tommy hat geschrieben:Notfalls kann man ja 32MB nachstecken..
..mag bei einer Nokia funktionieren...geht das auch bei einer Philips/Sagem?
DrStoned
Tuxboxer
Tuxboxer
Beiträge: 2614
Registriert: Montag 20. Mai 2002, 10:49
Image: JTG-Image [IDE] Version 2.4.4
Image: (7025SS) Merlin

Beitrag von DrStoned »

petgun hat geschrieben:
Tommy hat geschrieben:Notfalls kann man ja 32MB nachstecken..
..mag bei einer Nokia funktionieren...geht das auch bei einer Philips/Sagem?
Das funktioniert mit diesen Speichern nur bei der Sagem.

Greetz von DrStoned :lol: :lol: :lol:
Greetz von DrStoned :lol: :lol: :lol:
InTheCliringSt&sTheDB
Interessierter
Interessierter
Beiträge: 64
Registriert: Montag 15. Dezember 2003, 11:16

Beitrag von InTheCliringSt&sTheDB »

Ach und die Kanalsuche spielt vorerst nicht mit. Also bitte auf aus.
@Nirvana: Ist das (noch) so?

Hab jetzt den aktuellen JtG-Snap vom 8.12. 21:03 Uhr, also noch vor Houdinis Fix drauf, und ein bißchen getestet. Mir ist aufgefallen, dass ein sectionsd-Prozeß nach jedem umschalten erst mal etwa 1:05 min am rödeln ist, durchschnittliche CPU-Last etwa 70% - 95%. Was läuft da? Ist das das Sammeln von EPG-Informationen oder prüft er, ob neue Sender vorhanden sind? Das Feature steht zwar auf "aus", aber scheinbar zieht die Einstellung noch nicht? Weiter ist mir aufgefallen, dass das Einschalten der HW-Sections keinen Unterschied macht, der sectionsd-Prozeß wird nicht merklich entlastet. Das spricht auch für die Kanalsuche. Muß das bei jedem Umschalten sein, oder reichts auch, wenn das bei Transponderwechsel stattfindet.
Nirvana
Erleuchteter
Erleuchteter
Beiträge: 646
Registriert: Mittwoch 16. April 2003, 14:12

Beitrag von Nirvana »

Jein, das ist das Sammeln der EPG Infos. Verglichen und geupdatet hat er nichts.

Wobei du aber auch ein wenig Recht hast, denn der SDT-Thread schlief nicht vollständig. Er hat schon den SDT ausgewertet. Das war aber schon immer so. In der neuen Version habe ich es erstmalig geändert und wenn der Scan aus ist, schläft auch der SDT-thread. Ich habe da ein paar Bauchschmerzen mit, denn ich denke wenn der SDT-Thread permanent schläft, werden Sachen wie NVOD Services nicht funktionieren. Aber weil hier schon mehrfach angemerkt wurde, dass die Meldungen über neue Services irritieren habe ich es nun geändert. NVOD gibts in Deutschland nicht und wir können uns besser auf den EPG konzentrieren.

http://s7.yousendit.com/d.aspx?id=3VDA8 ... 4RBJ4IYAZ9

- SDT/NIT verschlankt (korrektes remove z.Z. nur bei last_section =0)
- EIT weckt NIT, dieser weckt SDT
- SDT und NIT nur aktiv, wenn auto_scanning > 0

@Houdini
Da ist jetzt meine removeOldEvents drin. Wenn du deine wieder willst, kein Problem....