ggrab: Neue Version (0.20) mit neuen Features!

[Gandalfx]

So als kleines Weihnachtsgeschenk ;-) :

So, da ich das Innenleben von ggrab nochmal komplett überarbeitet und einiges neu eingebaut habe, erlaube ich mir einen kleinen Versionssprung und einen neuen Thread....

Lauffähig sollte es sein mindestens unter:
- Linux
- Windows(cygwin)
- Sun Solaris
- Mac OS X

Die Features:
- Streamen von 1 Video + N Audio Streams
- Streamen von 1 Video + N Audio ungemuxten PES-Streams
- Streamen von N raw Audio MPEG Frames (Radio)
- Streaming mit AC3
- Streaming per UDP (experimentell, aber läuft prima)
- alles weitere im readme

Da wirklich innen alles neu ist, gebt mir bitte Feedback

- Unter cygwin produziert das Programm bei manchen Rechnern (leider nicht bei mir) nur kaputte Streams. Eine Minimalinstallation von cygwin (http://www.cygwin.com) behebt (manchmal/meist) das Problem . Wer hierzu eine Idee hat, bitte melden!

Download: http://www.menzebach.de
______________________
Gruß
Gandalfx

[Trigan]

da kann man sich nach langer Zeit wieder mal der Box widmen und sieht - auch linux wird endlich adaequat mit streaming-tools versorgt

Also ich habe im Vergleich zum orginal-grab nur Positives zu berichten.

mit meinem 'mini-glotz-script'
---
#!/bin/sh
nice -20 /home/foo/ggrab-0.20/ggrab -host dbox -port 31338 -p `GET http://dbox/control/zapto?getpids | perl -ne 'print sprintf("%#X",$_)." "'` -o - | mplayer -quiet -framedrop -forceidx -forcexv -nobps -double -mc 5 -vo xvidix -
---
kann ich jetzt z.B. schon 3-5 min bei nahezu jedem Sender ueber laptop-wavelan fernsehen.

Dann bricht es zwar relativ regelmaessig ab mit
----
003:30 rt:2503 rt:0115
SearchStreamId: timeout wait for data
---
aber ich schreibe das auch nur fuer den Fall dass du direkt eine Idee hast wie - "ach das ist puffer 'xyz' oder race-condition 'abc'".

Auf jeden Fall - klasse tool !!!
Danke fuer dein Engagement !

[Gandalfx]

mhhhh......,
die Fehlermeldung kommt normalerweise nur, wenn die Box das Senden der Daten einstellt. Ist das nur bei WL so, sonst start mal mit -debug und pipe stderr in eine Datei. Im Readme stehen die Bedeutungen der Zahlen. Interessant sind hier Receive Buffer, sollte immer < 64k sein, und Ring-Buffer, bei Video muß der deutlich < 4 Meg und bei Audio < 400k sein.
Bei mir brichts nur ab, wenn die Datenraten-Peaks zu hoch sind.

Alternativer Fehler:
Beim Mutex-Locking hab ich irgendwo n deadlock. Ich bin ein selbstsicherer Programmierer, also der Fehler ist woanders ;-)

Halt mich auf dem laufenden!

_____________
Gruß
Gandalfx

[ARpheTon]

Hi Gandalfx,

hab unter Windows wieder auf allen Rechnern die gleichen Fehler.
Unter Linux funktioniert es sogar auf dem 450er super!!

Da ich ja drei verschiedene Windows-Versionen getestet habe, ist es doch recht seltsam, das es bei Dir so gut läuft.

[Trigan]

Ist das nur bei WL so

stimmt - auf dem server laeuft es prima !
na ja - da sich in der maschine nicht gerade die
creme de la creme der neusten Hardware trifft wird das wohl eher am weg zwischen kernel->isa-pcmcia->wavelankarte liegen.

in jedem fall ist ggrab und mplayer nun mein traum-duo !

danke und Gruesse
Trigan

[MarkusS]

Nabend,
wollte mich mal für das prima Proggi bedanken.
Das ganze läuft hier auf einem P133 mit 64 MB und ner 100mBit PCI-Karte. Alles unter Suse 7.2. Ich hab ne durchschnittliche Prozessor Auslastung von knapp 55%.

Bis jetzt schkuckt er wirklich soweit alles.
Echt spitze. Naja, mit AC3 hat er dann auf Pro7 schon etwas seine Probleme, aber das schiebe ich eher auf die Box bzw. den Datenraten.

Njaj, mal UDP testen.

Also, danke nochmal für dieses spitzen Programm.

CU Markus

[Ge0rG]

Hi, beim antesten unter Linux sind mir zwei Problemchen aufgefallen:

Code: Alles auswählen

g++  -DREENTRANT -D_LARGEFILE64_SOURCE  -Wall -Wshadow -W    -c -o ggrab.o ggrab.cpp
In file included from ggrab.cpp:36:
pesstream.h:56: field `m_last_time' has incomplete type
make: *** [ggrab.o] Error 1

Vermutlich liegt das nur an meinem "alten" 2.95.3er GCC. Aber es lässt sich leicht beheben, indem man oben in die pesstream.h folgende Zeile einfügt:

Code: Alles auswählen

#include <sys/time.h>

Das andere taucht dann beim "make install" auf:

Code: Alles auswählen

install -m755 ggrab sserver   /usr/local /bin 
install: `/usr/local' is a directory
make: *** [install] Error 1

Die Ursache ist ein Leerzeichen im Makefile am Ende der DESTDIR-Zeile.

Ansonsten ist das tool aber supergenial

Gruss,
Ge0rG

[esetorp]

So als kleines Weihnachtsgeschenk ;-) :

--SCHNIPP-----

Die Features:
- Streamen von 1 Video + N Audio Streams
- Streamen von 1 Video + N Audio ungemuxten PES-Streams
- Streamen von N raw Audio MPEG Frames (Radio)
- Streaming mit AC3
- Streaming per UDP (experimentell, aber läuft prima)
- alles weitere im readme

Hay Gandalfx

Das hört sich ja schon wieder hervorragen an!
Aber ich sehe das richtig, das diese Features nur nutzbar sind wenn man ggrab direkt (ohne Streamserver) aufruft.
Auf meinem Linux Server (AMD K6/3-400) läuf nähmlich als dauer-Deamon der sserver0.10 sehr zufriedenstellen.
Aber ich bekommen natürlich den Hals nicht voll.
(Mal ganz abgesehen davon das ich mein Streams noch nicht auf SVDC gebrannt bekomme)

Aber Streamen hat sein dem sserver/ggrab0.10 klasse Komfort !
Dank für deine Mühe!!

Ist schon geklärt ob deine udp-Erweiterung in den Standart-Quellbaum mit einfliessen wird?


Froschfest

Ese

[Hopper2304]

Die UDP-Erweiterung ist doch bereits im CVS drin, genauso wie ggrab. Jetzt muss man nur noch bis zur nächsten cdk.cramfs warten, oder selbst das cdk bauen.

[esetorp]

Die UDP-Erweiterung ist doch bereits im CVS drin, genauso wie ggrab. Jetzt muss man nur noch bis zur nächsten cdk.cramfs warten, oder selbst das cdk bauen.

Da hab ich mich ja mal wieder als doofer User geoutet!!

T'schau Ese

[Gandalfx]

... im CVS

Hallo zusammen, nicht ganz richtig. Ich habe den File zwar eingecheckt, aber er ist zur Zeit *nicht* als neue streampes-Version. Ich werde noch ein bischen testen, und BSE will es auch integrieren. Wenn wir meinen, daß es wirklich genug bringt, werden wir die verantwortlichen Devs ansprechen, es in den Mainstream hineinzunehmen.

[UnixRookie]

Hallo Gandalfx,

hab versucht die neueste Version von ggrab nach OS X zu übersetzen. Leider weiss ich nicht was da in dem makefile zu ändern ist damits klappt.

README: "Bei Mac OS X muss im Makefile das Define __MACOSX__ gesetzt werden"
hilft mir nicht weiter.

Gruss
UnixRookie

[vdfilters]

Hi,

mal eine ganz blöde Frage: da es sicher nicht jedem (mich eingeschlossen) so liegt, ein neues cdk.cramfs zu erstellen, wäre es nicht möglich eine fertig modifizierte zum Download zur Verfügung zu stellen ? Sollte es am Webspace dafür mangeln, kann ich da gerne aushelfen !

Bye
VDFilters

[Gandalfx]

@UnixRookie
Ändere im Makefile die Zeile
CPPFLAGS= -DREENTRANT -D_LARGEFILE64_SOURCE -Wall -Wshadow -W
in
CPPFLAGS= -DREENTRANT -D_LARGEFILE64_SOURCE -D __MACOSX__

und versuch mal, make aufzurufen....

@vdfilters
mal schauen, ich stell im neuen Jahr ein ins Web....

[UnixRookie]

Hallo,

die Änderung im Makefile hat leider nichts bewirkt.

Statt

g++ -DREENTRANT -D_LARGEFILE64_SOURCE -Wall -Wshadow -W -c -o list.o list.cpp
make: g++: Kommando nicht gefunden.
make: *** [list.o] Fehler 127


bekomme ich nach der Änderung:

g++ -DREENTRANT -D_LARGEFILE64_SOURCE -D __MACOSX__ -c -o list.o list.cpp
make: g++: Kommando nicht gefunden.
make: *** [list.o] Fehler 127

[andy.321]

@all
wollte nur kurz Kund tun dass ggrab 0.20 erfolgreich unter FreeBSD 4.6-STABLE übersetzt wurde (nennt sich __FreeBSD__)!

Läuft auf einem PI mit 133MHz und 64MByte sehr zufriedenstellend (als Server). Etwa 30% CPU... unter AMD1500+ ohne minimal Cygwin allerdings nicht, ist aber nicht so schlimm ;-)

Code: Alles auswählen

c++  -O -pipe  -fmemoize-lookups -fsave-memoized -c list.cpp
c++  -O -pipe  -fmemoize-lookups -fsave-memoized -c cbuffer.cpp
c++  -O -pipe  -fmemoize-lookups -fsave-memoized -c tools.cpp
c++  -O -pipe  -fmemoize-lookups -fsave-memoized -c ggrab.cpp
c++  -O -pipe  -fmemoize-lookups -fsave-memoized -c pesstream.cpp
c++ -O -pipe  -DREENTRANT -D_LARGEFILE64_SOURCE  -Wall -Wshadow -W -s -static -o ggrab list.o cbuffer.o tools.o ggrab.o pesstream.o -lc_r
c++  -O -pipe  -fmemoize-lookups -fsave-memoized -c sserver.cpp
c++ -O -pipe  -DREENTRANT -D_LARGEFILE64_SOURCE  -Wall -Wshadow -W -s -static sserver.cpp -o sserver -lc_r
In file included from sserver.cpp:27:
/usr/include/sys/wait.h:154: warning: `pid_t wait(int *)' hides constructor for `union wait'
In file included from sserver.cpp:30:
/usr/include/signal.h:57: warning: `int sigaction(int, const sigaction *, sigaction *)' hides constructor for `struct sigaction'
/usr/include/signal.h:80: warning: `int sigaltstack(const stack_t *, stack_t *)' hides constructor for `struct sigaltstack'
/usr/include/signal.h:86: warning: `int sigstack(const sigstack *, sigstack *)' hides constructor for `struct sigstack'
/usr/include/signal.h:87: warning: `int sigvec(int, sigvec *, sigvec *)' hides constructor for `struct sigvec'

ich weiß, Warnungen sind auch nur Solche, aber vielleicht könnte das doch jemand kommentieren ;-)

Änderungen:

Code: Alles auswählen

diff -c ggrab-0.20.orig/Makefile ggrab-0.20/Makefile
*** ggrab-0.20.orig/Makefile	Fri Dec 20 20:30:45 2002
--- ggrab-0.20/Makefile	Wed Dec 25 22:05:35 2002
***************
*** 24,30 ****
  
  GG_INCS=list.h tools.h cbuffer.h pesstream.h Makefile
  GG_OBJS=list.o cbuffer.o tools.o ggrab.o pesstream.o 
! GG_LIBS=-lpthread  
  
  all: $(TARGETS) 
  
--- 24,30 ----
  
  GG_INCS=list.h tools.h cbuffer.h pesstream.h Makefile
  GG_OBJS=list.o cbuffer.o tools.o ggrab.o pesstream.o 
! GG_LIBS=-lc_r  
  
  all: $(TARGETS) 
  
diff -c ggrab-0.20.orig/Makefile.am ggrab-0.20/Makefile.am
*** ggrab-0.20.orig/Makefile.am	Fri Dec 20 20:30:45 2002
--- ggrab-0.20/Makefile.am	Wed Dec 25 22:05:39 2002
***************
*** 12,16 ****
  EXTRA_DIST = cbuffer.h list.h sserver.h tools.h pesstream.h
  
  ggrab_SOURCES = cbuffer.cpp ggrab.cpp list.cpp tools.cpp pesstream.cpp
! ggrab_LDADD = -lpthread -lnsl
  sserver_SOURCES = sserver.cpp
--- 12,16 ----
  EXTRA_DIST = cbuffer.h list.h sserver.h tools.h pesstream.h
  
  ggrab_SOURCES = cbuffer.cpp ggrab.cpp list.cpp tools.cpp pesstream.cpp
! ggrab_LDADD = -lc_r -lnsl
  sserver_SOURCES = sserver.cpp

@UnixRookie

make: g++: Kommando nicht gefunden.

Dir fehlt der cpp...

[UnixRookie]

Der cpp fehlt?
Na wenn das so ist kauf ich ihn für enen Dollar.

Jetzt im ernst. WAS ist der cpp und WARUM fehlt der?
Bzw. was kann ich tun um das ganze unter MacOS X zu kompilieren. Muss dazu sagen dass ich von programmieren überhaupt keine Ahnung hab.

[vdfilters]

Hi,

wenn ich Streams mit ggrab 0.20 aufnehme (ältere Versionen habe ich leider nicht getestet), so sind diese anschließend so gut wie unbrauchbar Wenn ich die Streams z.B. direkt in ein DVD Authoring Programm lade, so bricht dieses ab, weil es Fehler im MPeg Stream gefunden hat.

Deswegen muss ich die Streams erst durch PVAStrumento korrigieren lassen, das log dabei sieht aber alles andere als gut aus:

Code: Alles auswählen

Syncing: Cutting video.
Syncing: Cutting audio.
No integer frame match for A/V.
ALERT> video frame missing at 00:03:19.159
No integer frame match for A/V.
Syncing: Cutting audio.
No integer frame match for A/V.
ALERT> 2 video frames missing at 00:08:51.320
No integer frame match for A/V.
Syncing: Cutting audio.
ALERT> 6 video frames missing at 00:00:00.000
No integer frame match for A/V.
Syncing: Cutting audio.
ALERT> 6 video frames missing at 00:00:00.000
No integer frame match for A/V.
Syncing: Cutting audio.
ALERT> 2 video frames missing at 00:00:00.000
No integer frame match for A/V.
Syncing: Cutting audio.
ALERT> 3 video frames missing at 00:00:00.000
No integer frame match for A/V.

...und so geht das dann weiter (das gesammte log ist über 27kB groß)... gelegentlich kommt es auch zu dem Fehler

Code: Alles auswählen

ALERT> Temporal structure wrong in GOP - dropping

der ist aber "nur" 10* (also vergleichsweise selten) in dem Log. Ausserdem gibt es genau ein mal den Fehler:

Code: Alles auswählen

ALERT> PTS less than NofP (439 ms < 480 ms) at 00:00:00.000

Leider scheint PVAStrumento auch einen kleinen Bug zu haben, denn er stellt die Timecodes immer wieder auf 0:00:00.000 zurück bei einem Fehler, aber das ist ein anderes Thema ...

Wenn ich mir den Stream direkt von der Festplatte aus anschaue mit z.B. WinDVD, so ist die Datei eigentlich komplett abspielbar, aber an diversen Stellen gibt es starke Ruckler und "Verpixelungen".

Wenn ich statt mit ggrab mit ngrab streame, so habe ich zwar den einen oder anderen resync, aber der Stream ist ansonsten fehlerfrei aufgezeichnet.

Mache ich da irgend etwas falsch ? Oder können andere dieses Problem bestätigen ?

Bye
VDFilters

[Gandalfx]

@vdfilters

mhhh, so gehäufte Fehler hab ich noch nicht gehabt. Bei PVAstrumento kommt bei mir nur öfters der Fehler daß ein Audio Frame fehlt, oder No integer frame match for A/V, wobei ich noch nciht herausbekommen habe, was dort nicht passt, bei den anderen Sachen sieht es so aus, als würden Sachen bei der Übertragung von der Box fehlen -> ngrab macht da einen Resync. Die Fälle hab ich eigentlich sehr selten...

Gib mir bitte eine Rückmeldung, wenn diese Sache mit der 0.11 wesentlich besser ist, dann ist da noch ein Bug....

@UnixRookie
Die fehlt wohl die komplette Entwicklungsumgebung und der GNU C++ Compiler. Wenn du auf der Ebene noch nicht gemacht hast, ist das eine etwas umfangreiche Sache. Prinzipiell bekommst du den Compiler auf http://www.gnu.org. Ich kenn leider den Mac nicht so, daß ich dir wesentlich bei der Installation weiterhelfen kann.

[vdfilters]

Hi,

@Gandalfx: leider habe ich die Windows 0.11er Version nicht hier Kannst Du die evtl. zum testen bitte noch mal auf Deine Seite legen, oder mir per Mail zuschicken (vdfilters@videoxone.de) ? Das wäre klasse, dann könnte ich das mit der alten Version noch mal testen und dann entsprechend berichten.

Btw. ich habe heute Nachmittag intensiv mit WinGrab(E) und ggrab herumprobiert, die Streams von ggrab sind leider alle ähnlich fehlerhaft, wie oben beschrieben, mit WinGrab gibt es solche Fehler nicht, dafür aber eben leider gelegentliche resyncs (besonders z.B. beim WDR, bei Premiere deutlich weniger).

Bye
VDFilters

[vdfilters]

Hi,

so, ich habe jetzt die Version 0.10 getestet, leider mit dem gleichen Ergebnis Die mit ggrab gestreamte Datei ist zwar in z.B. WinDVD (fast) problemlos abspielbar (nur ganz selten mal leichte verpixelungen), aber in PVAStrumento gibt es hunderte von Fehlermeldungen.

Was mir bei den Streams aus WinGrab(Z) aufgefallen ist, ist die Meldung

Code: Alles auswählen

[ Found a GOP with more than 15 pics.
  See summary for total number at end. ]

(...)

DVD (un)compliance:
   1063 GOPS with more than 15 frames

Bei den Streams mit ggrab gibt es _diesen_ Fehler nicht, da die Anzahl aber fast ebenso hoch ist, wie die der Fehler mit ggrab _könnte_ da ganz evtl. ein Zusammenhang bestehen ?!?!

Bye
VDFilters

[mabuse]

Hallo alle Miteinander,

der Streamingserver läuft hier fast ohne Probleme.
Aussetzer finden sich lediglich dann im Log, wenn parallel dazu auf einen anderen Stream des Transponders umgeschaltet wird um parallel was anderes zu sehen. Allerdings habe ich immer wieder Abbrüche kurz vor Ende des Films (da fehlen dann die letzten 2-5 Minuten), fast unabhängig davon, ob der Film 90 oder 120 Minuten läuft.

Möglicherweise liegts ja auch am Timer von Neutrino, nachdem ich hier erst seit einer Woche die Box mit Linux betreibe, hab ich da ja vielleicht noch einen anderen Wurm/Denkfehler drin.

[andy.321]

@UnixRookie
Du brauchst eine komplette C/C++ Entwicklungsumgebung. Da MacOSX auf FreeBSD aufsetzt, könnte ich Dir vielleicht mein Binary schicken. Geh' mal in die Shell und tippe "uname -a"

Ich weiß jetzt nicht, ob Dir der Link hilft... ansonsten googeln...
http://developer.apple.com/techpubs/mac ... /gcc3/gcc/

@vdfilters
Du verwendest den ggrab unter Windows ohne die Cygwin Minimalumgebung? Das Problem hatte ich auch...

[vdfilters]

Hi,

@vdfilters
Du verwendest den ggrab unter Windows ohne die Cygwin Minimalumgebung? Das Problem hatte ich auch...

ja und nein... also es ist richtig, ich verwende den ggrab unter Windows, allerdings habe ich Cygwin installiert, denn ohne eine Installation von Cygwin hatte ich diverse bunte Streifen/Pixel im Bild (wie ja auch oft schon hier diskutiert wurde), diese sind jetzt nicht mehr vorhanden. Wie ja auch weiter oben schon gesagt, rein optisch sind die Streams eigentlich ok, nur meckern (fast) alle Tools zur Weiterbearbeitung an den Dateien herum

Bye
VDFilters

[Gandalfx]

@vdfilters
GOP with more than 15 pics... -> liegt am aufgezeichneten Film. Kommt so vom Satellit. Wird bestimmt in beiden Programmen bei gleichem Film identisch sein. Hat auch keinerlei Auswirkungen...

Die einzigen Fehler, die sichtbare Auswirkung haben ist das "missing video frame". Da mußt du je nach Authoring-Programm einfach mit pvastrumento korrigieren...