Korrektur fehlerhafter Indexdateien IDX/RAP

Eisha · 1. März 2010, 10:36

Eisha schrieb:

Spulen mit den Cursor-Tasten (Links/Rechts) funktioniert nur bedingt
Bei einigen (nicht allen) Aufnahmen wird beim Spulen mit den Cursor-Tasten immer auf bestimmte Position vor- bzw zurückgesprungen.
Die bei der Aufnahmen mit erzeugten Indexdateien (idx, rap) enthalten einen fehlerhaften Timecode.
Bei Verwendung der normalen Spultasten oder genügend weites Überspulen der Position oder durch Löschen der Indexdateien (Aufnahme < 4GB) kann das Problem umgangen werden.

Da dies Problem auch in der V10794 vorhanden ist gab von maxodil den Vorschlag ein Plugin zu erstellen mit dem Aufnahmen korrigiert werden.
Da ein Weglöschen, wie ilchegu herausgefunden hat, der IDX/RAP nur für TS-Dateien < 4 GB funktioniert benötigen man ein Binary welches die IDX/RAP neu ohne Zeitsprünge schreibt.
Ich habe dazu mit Unterstützung von maxodil das Tool "ForIdx" angefangen zu entwickeln. Es erlaubt erstmal den Test von IDX/RAP auf Zeitsprünge.

Quellcode

ForIdx <idx> [ ([ -N ] [ -fix ]) | -text ]
<idx> Check Idx/Rap by 2000 ms
<idx> -N Check Idx/Rap by N ms
<idx> -text Output Idx/Rap as text
<idx> -fix Output fixed Idx/Rap as *.fixed

Der Returncode gibt die Anzahl der gefundenen Zeitsprünge an bzw. 255 bei anderen Fehlern. Des weiteren erfolgt ein Ausgabe der notwendigen Korrekturmaßnahmen.

Quellcode

D:\Octagon\Aufnahme\Indexfehler>ForIdx.exe Goetter.idx
Index time jump at
00:05:05.366 B380C
00:23:18.126 B3872
==> CurDelta: Time= 1092760 Pack= 66
==> AvgDelta: Time= 100 Pack= F3
==> new Corr: Time= 1092660 ms (00:18:12.660)
Index time jump at
00:25:13.160 F98D0
00:36:47.575 FA000
==> CurDelta: Time= 694415 Pack= 730
==> AvgDelta: Time= 100 Pack= F5
==> new Corr: Time= 1786975 ms (00:29:46.975)
D:\Octagon\Aufnahme\Indexfehler>echo %errorlevel%
2

Alles anzeigen

Für IDX-Dateien die fortlaufen alle 100 ms einen Eintrag erzeugen kann mit der Option "-fix" bereits eine korrigierte Datei "*.idx.fixed" ausgegeben werden.
Es geht auch so für RAP-Dateien. Bei diesen ist aber der gemittelte Korrekturwert für den Zeitsprung nicht korrekt. Des wegen würde ich die Korrektur gemeinsam für IDX und RAP vornehmen wollen um die Info aus der IDX-Korrektur für die RAP zu verwenden.

Wer möchte kann es gerne mit testen.
Im Anhang findet ihr:
- ein Binary "ForIdx" für STLinux. Nach "/var/" kopieren und mit "chmod 755 ForIdx" ausführbar machen.
- ein VS2005-Excutable "ForIdx.exe" für den Vorabtest unter Windows
- den Quellcode mit Kommentaren

Eisha · 1. März 2010, 17:01

Bei diesen ist aber der gemittelte Korrekturwert für den Zeitsprung nicht korrekt. Des wegen würde ich die Korrektur gemeinsam für IDX und RAP vornehmen wollen um die Info aus der IDX-Korrektur für die RAP zu verwenden.

erledigt

Quellcode

ForIdx <idx/rap> [ -N | -text ]
<idx/rap> Check Idx or Rap by 2000 ms
<idx/rap> -N Check Idx or Rap by N ms
<idx/rap> -text Output Idx or Rap as text
ForIdx -fix <idx> [ -N ]
-fix <idx> Output fixed Idx and Rap as *.fixed

ilchegu · 1. März 2010, 17:36

Habs gerade mit einer Aufnahme von gestern getestet. Da war ein grosser Sprung drinnen:

Quellcode

Index time jump at
00:38:00.347 C442CE
01:41:15.761 C44454
==> CurDelta: Time= 3795414 Pack= 186
==> AvgDelta: Time= 110 Pack= 271
==> new Corr: Time= 3795304 ms (01:03:15.304)

Nach dem Fix lässt sich die Aufmahe normal spulen :thumbup:

Werde es jetzt an meiner 5 Stunden langen Start-Trek Aufnahme testen. Dabei ist das Programm ja beim ersten Test abgestürzt.

ilchegu · 1. März 2010, 17:56

Das hat nun auch geklappt:

Quellcode

Index time jump at
02:14:53.030 D0CE53
03:18:08.444 D0CF17
==> CurDelta: Time= 3795414 Pack= C4
==> AvgDelta: Time= 102 Pack= AC
==> new Corr: Time= 3795312 ms (01:03:15.312)

Konnte nun auch endlich 6 Sprungmarken setzen. Nach der fehlerhaften Stelle ließen sich vorher keine Sprungmarken mehr setzen.

Jetzt stellt sich noch die Frage, wie man das nun am besten realisiert, dass man seine Aufnahmen damit schnell und einfach reparieren kann.

Eisha · 1. März 2010, 19:25

Jetzt stellt sich noch die Frage, wie man das nun am besten realisiert, dass man seine Aufnahmen damit schnell und einfach reparieren kann.

Ich sehe z.Zt. nur folgenden Plugin-Ansatze:
Unterordner "/STORAGE/HDD/ForIdx" in den die betroffenen Aufnahme verschoben "Gehe zum Ordner" ( "Verschieben nach" hätte es auch getan ) wird. Danach wird über Plugin ein Shellskript aufgerufen welches die darin befindlichen IDX/RAP fixt, die Originale löscht und die Fixes umbenennt.
Vorteil ist ein relativ einfaches Skript und die anwendergesteuerte Eingrenzung auf bestimmte Aufnahmen.
Nachteil es geht nicht vollautomatisch. Dies wäre über das Auswerten des Datums zwar machbar und geht auch relativ schnell, gefällt mir aber nicht wirklich.

Eisha · 1. März 2010, 19:28

ilchegu schrieb:

Werde es jetzt an meiner 5 Stunden langen Start-Trek Aufnahme testen. Dabei ist das Programm ja beim ersten Test abgestürzt.

Das Programm nicht :ironie:

Quellcode

/var # ./ForIdx /STORAGE/HDD/Dominik/Die\ Liga\ der\ au▀ergew÷hnlichen\ Gentlemen.idx -fix
Index time jump at
00:43:46.739 6EDCDA
01:47:02.153 6EDE30
==> CurDelta: Time= 3795414 Pack= 156
==> AvgDelta: Time= 101 Pack= 11A
==> new Corr: Time= 3795313 ms (01:03:15.313)

Was will uns der Zeitsprung der 3 Aufnahmen wohl sagen? Hmm....

ilchegu · 1. März 2010, 19:32

Das mit dem Verschieben ist imo schon recht aufwendig. Da wüde ich die Variante mit dem Datum bevorzugen, wobei klar ist, dass das auch Nachteile hat. Aber wenn die idx-Dateien zuerst auf Fehler überprüft und nur bei Fehlren repariert werden, sollte das doch machbar sein?

Eisha · 1. März 2010, 20:11

Naja, ist schon ein etwas komplexeres Skript, insbesondere bei rekursiven Unterordnern. Denke später mal drüber nach.

Hat den Fehler nun schon jemand mit der V10794 in freier Wildbahn wieder gehabt?
Mein Verhalten ( Post #1 ) war ziemlich krass.

ilchegu · 1. März 2010, 20:18

Rekursive Unterordner sind aus meiner Sicht nicht nötig. Ich möchte nur die neuen Aufnahmen im Hautpverzeichnis per FB reparieren können.

Der Fehler bei der Aufnahme von gestern war unter V10794.

itz4mie · 1. März 2010, 22:25

Eisha schrieb:

Hat den Fehler nun schon jemand mit der V10794 in freier Wildbahn wieder gehabt?

Ja. Heute Aufnahme zeitversetzt geschaut, Wiedergabe wurde dann vom Receiver kurz vor Schluss abgebrochen, wollte nach Neustart wieder hinspulen und rabäh!!! der blöde Fehler war wieder da.

Eisha · 1. März 2010, 23:48

Anbei ein Bündel zum testen. Diesmal:
- STLinux binary ==> "ForIdx <idx> -fix" ersetzt jetzt IDX/RAP am Ende, nicht mehr "*.idx.fixed" wegen Restmüll
- VS2005 Exe
- Quellcode
- Shellskript zum Test nach "/var/" kopieren, mit "sh ForIdx.sh" aufrufen, arbeitet vorläufig mit "/STORAGE/HDD/Temp/"

Ob das Binary z.B. eher unter "/var/usr/bin/" kommt hab ihr durch die CAM's bestimmt mehr Ahnung.
Das Skript muss dann ja unter "/var/bin" ohne sh-Erweiterung mit einem klangvollen namen.
Unter "/var/" werden z.Zt. eine Log-Datei und eine LastRun-Datei abgelegt. Ort ist verhandelbar

ilchegu · 2. März 2010, 10:12

Komme heute Abend wieder zum testen, aber das schaut ja schon sehr gut aus.

Ich habe das bei mir der Übersichtlichkeit halber so organisiert, dass unter /var keine Dateien sondern nur Verzeichnisse liegen. Die Binaries ForTS und ForIdx liegen bei mir unter /var/bin/tools.

Das Logfile könnte man auch nach /tmp legen, was dann halt zur Folge hätte, dass es beim Ausschalten (Deep Standby) gelöscht wird. Ich glaube, das würde nicht witklich stören?

Die Lastrun-Datei könnte man z.B. als versteckte Datei .ForIdx_lastrun in das jeweilige Arbeitsverzeichnis (hier also /STORAGE/HDD/Temp) speichern. Das hätte gleich mehrere Vorteile. Zum einen habe ich dann für verschiedene Verzeichnisse verschiedene lastrun-Dateien, was ja durchaus sinnvoll sein kann. Zum anderen bleiben die lastrun-Dateine auch erhalten, wenn der /var-Bereich mal gelöscht wird z.B. durch Formatieren der Userdate nach FW-Upgrade, was oft empfohlen wird.

Ein Arbeitsverzeichnis wäre also fix eingestellt, bei mir z.B. /STORAGE/HDD. Über das PlugIn-Menu könnte man damit nun also neue Aufnahmen mittels FB in diesem Verzeichnis reparieren. Sinnvoll wäre vielleicht auch die Möglichkeit, bei Aufruf des Scripts über die Shell einen Parameter $1 übergeben zu können, der das Arbeitsverzeichnis überschreibt. So könnte man dann zusätzlich über die Shell verschiedenen Verzeichnisse schnell und einfach reparieren.

Was haltet ihr davon?

Eisha · 2. März 2010, 13:27

Klingt soweit gut, insbesondere "/var/bin/tools/" gefällt mir.

Shell-Script

#!/bin/sh
if [ -d $1 ] ; then
cd $1
else
cd /STORAGE/HDD/Temp
fi
VFD=""
LOG=/tmp/ForIdx.log
LRN=.ForIdx_lastrun
date > $LOG
vfd_display "ForIdx start"
for i in *.idx ; do
if [ "$i" != "_timeshift.idx" ] ; then # ignore TMS
if [ ! -f $LRN -o "$i" -nt $LRN ] ; then # lastrun exists and idx is newer
if /var/bin/tools/ForIdx "$i" ; then # idx is io
echo "nofix "$i
else # idx has jumps
echo "tofix "$i
/var/bin/tools/ForIdx "$i" -fix >> $LOG
VFD=$VFD"."
vfd_display "ForIdx $VFD"
fi
else # idx is older than last run
echo "older "$i
fi
fi
done
touch /var/ForIdx.lastrun
vfd_display "ForIdx done"

Alles anzeigen

Obiges ist noch nicht getestet!!!
Mit der ".ForIdx_lastrun" im aktuellen Ordner handeln wir uns dann aber ein, dass man diesen nicht mehr über das Menü löschen kann. Sieh hier letzer Punkt
Ansonsten bliebe nur unter "/var/" eine ".ForIdx_lastrun_(Pfad ohne / )" zu benutzen. Die geht natürlich beim Ablöschen von "/var/" flöten.

ilchegu · 2. März 2010, 20:17

Eisha schrieb:

Mit der ".ForIdx_lastrun" im aktuellen Ordner handeln wir uns dann aber ein, dass man diesen nicht mehr über das Menü löschen kann. Sieh hier letzer Punkt
Ansonsten bliebe nur unter "/var/" eine ".ForIdx_lastrun_(Pfad ohne / )" zu benutzen. Die geht natürlich beim Ablöschen von "/var/" flöten.

Aja, an diesen Fehler hatte ich nicht gedacht. Man könnte die ".ForIdx_lastrun_(Pfad ohne / )" aber auch direkt unter /STORAGE/HDD bzw. /STORAGE/USB1 etc abspeichern, anstatt in /var, dann würden sie nicht mehr flöten gehen. Also so in der Art:

Shell-Script

#!/bin/sh
DEFAULTPATH=/STORAGE/HDD/Temp # standard working directory
LRN_NAME=".ForIdx_lastrun" # base name of lastrun-file
LOG=/tmp/ForIdx.log # logfile
if [ -z "$1" ]; then
WORKINGPATH=$DEFAULTPATH # no argument is given -> standard working directory
else
if [ -d $1 ] ; then
WORKINGPATH=$1 # if first argument is a directory -> working directory
else
echo "ERROR: $1 is not a Directory" # wrong argument
exit 1
fi
fi
#split $WORKINGPATH by slashes (/) and create lastrun-file
#e.g. /STORAGE/HDD/Temp -> /STORAGE/HDD/.ForIdx_lastrun__Temp
LRN="/"`echo $WORKINGPATH | busybox cut -d / -f 2`
LRN=$LRN"/"`echo $WORKINGPATH | busybox cut -d / -f 3`"/"$LRN_NAME
n=4
TMP_LRN=`echo $WORKINGPATH | busybox cut -d / -f $n`
while [ "$TMP_LRN" != "" ]
do
LRN=$LRN"__"$TMP_LRN
let n++
TMP_LRN=`echo $WORKINGPATH | busybox cut -d / -f $n`
done
echo "WORKINGPATH: "$WORKINGPATH
echo "LRN: "$LRN
cd $WORKINGPATH
VFD=""
date > $LOG
vfd_display "ForIdx start"
for i in *.idx ; do
if [ "$i" != "_timeshift.idx" ] ; then # ignore TMS
if [ ! -f $LRN -o "$i" -nt $LRN ] ; then # lastrun exists and idx is newer
if /var/bin/tools/ForIdx "$i" ; then # idx is io
echo "nofix "$i
else # idx has jumps
echo "tofix "$i
/var/bin/tools/ForIdx "$i" -fix >> $LOG
VFD=$VFD"."
vfd_display "ForIdx $VFD"
fi
else # idx is older than last run
echo "older "$i
fi
fi
done
touch $LRN
vfd_display "ForIdx done"

Alles anzeigen

Eisha · 3. März 2010, 00:05

Ich habe es erst mal so als "ForIdx__Korrektur_IDX_RAP" ( no space ) zum Laufen gebracht.
Ob wir lastrun auch für die $1-Ordner brauchen? Eigentlich geht es sehr schnell.

Shell-Script

#!/bin/sh
WORK_DIR=/STORAGE/HDD/Temp # standard working directory
LOG_FILE=/tmp/ForIdx.log # logfile
if [ -z "$1" ] ; then
# no argument is given -> standard working directory
LRN_FILE=.ForIdx_lastrun # path of lastrun-file, only for plugin mode
echo "LRN_FILE= "$LRN_FILE
else
if [ -d $1 ] ; then
WORK_DIR=$1 # if first argument is a directory -> working directory
else
echo "ERROR: $1 is not a Directory" # wrong argument
exit 1
fi
fi
echo "WORK_DIR= "$WORK_DIR
cd $WORK_DIR
date > $LOG_FILE
VFD=""
vfd_display "ForIdx"
chmod 755 /var/bin/tools/ForIdx
for i in *.idx ; do
if [ "$i" != "_timeshift.idx" ] ; then # ignore TMS
if [ ! -f $LRN_FILE -o "$i" -nt $LRN_FILE ] ; then # lastrun exists and idx is newer
if /var/bin/tools/ForIdx "$i" ; then # return 0 ==> idx is io
echo "nofix "$i
else # idx has jumps
echo "tofix "$i
/var/bin/tools/ForIdx -fix "$i" >> $LOG_FILE
VFD="."$VFD
vfd_display "ForIdx "$VFD
fi
else # idx is older than last run
echo "older "$i
fi
fi
done
if [ -z "$VFD" ] ; then
vfd_display "ForIdx done"
fi
if [ -n "$LRN_FILE" ] ; then
touch $LRN_FILE
fi

Alles anzeigen

O ist schon wieder OFF :cursing:

Eisha · 3. März 2010, 07:53

Hi ilchegu, hast du eine Idee, wie man die Anzahl korrigierter IDXen addiert?
Die Fortis-busybox kennt ja 'expr' offenbar nicht.
Möchte gerne noch am Ende die VFD-Ausgabe auf "ForIdx NN ok" (sind 12 Zeichen habe nachgezählt!) verbessern.

ilchegu · 3. März 2010, 08:29

Eisha schrieb:

Ob wir lastrun auch für die $1-Ordner brauchen? Eigentlich geht es sehr schnell.

Stimmt, eigentlich brauchen wir das nicht. 1. geht es schnell und 2. wird man in einem Unterordner nicht oft reparieren.

Eisha schrieb:

Möchte gerne noch am Ende die VFD-Ausgabe auf "ForIdx NN ok" (sind 12 Zeichen habe nachgezählt!) verbessern.

Kann man nicht einfach eine Variable mitzählen lassen und die dann ausgeben, bzw. ich weiss jetzt nicht genau, wo dabei ein Problem auftritt?

Eisha · 3. März 2010, 08:48

Ich kenne Variablen addieren nur so:

Quellcode

TIMEOUT=30
TIMER=0
until test $TIMER -eq $TIMEOUT ; do
sleep 1
echo -n "."
TIMER=`expr $TIMER + 1`
done

und 'expr' kennt er nicht. Naja mal googeln, vielleicht geht es auch anders.

OK, sehe gerade "let n++", wenn das geht hätte es sich erledigt. ==> ist in der bash drin, hab ich irgendwie voll übersehen.

ilchegu · 3. März 2010, 09:38

Aso, geht auch so wie oben in meinem Beispiel:

Quellcode

let n++

Edit: Oh, zu spät. Hat sich ja schon erledigt.

Eisha · 3. März 2010, 11:04

Nun dann sollte es so gehen

Quellcode

date > $LOG_FILE
VFD=0
vfd_display "ForIdx"
chmod 755 /var/bin/tools/ForIdx
for i in *.idx ; do
if [ "$i" != "_timeshift.idx" ] ; then # ignore TMS
if [ ! -f $LRN_FILE -o "$i" -nt $LRN_FILE ] ; then # lastrun exists and idx is newer
if /var/bin/tools/ForIdx "$i" ; then # return 0 ==> idx is io
echo "nofix "$i
else # idx has jumps
echo "tofix "$i
/var/bin/tools/ForIdx "$i" >> $LOG_FILE
let VFD++
vfd_display "ForIdx $VFD .."
fi
else # idx is older than last run
echo "older "$i
fi
fi
done
vfd_display "ForIdx $VFD ok"

Alles anzeigen

So langsam denke ich können wir das wirklich mal als Plugin bauen und veröffentlichen.

Was hälts du von einem zusätzlichen Plugin mit Namen: "ForIdx-Uninstall" mit folgendem Inhalt:

Shell-Script

#!/bin/sh
rm /STORAGE/HDD/.ForIdx_lastrun # ggf. mit if fuer HDD, USB1 und USB2
rm /var/bin/tools/ForIdx
rm /var/bin/ForIdx-Korrektur_IDX_RAP
rm /var/bin/ForIdx-Uninstall
exit 0

Ob sowas Sinn macht?

Korrektur fehlerhafter Indexdateien IDX/RAP

Korrektur fehlerhafter Indexdateien IDX/RAP

Eisha schrieb:

Quellcode

Quellcode

Update bzgl. an IDX-Fix gekoppeltes RAP-Fix

Quellcode

Quellcode

Quellcode

ilchegu schrieb:

Quellcode

Eisha schrieb:

Shell-Script

Eisha schrieb:

Shell-Script

Shell-Script

Rechnen ohne 'expr"

Eisha schrieb:

Eisha schrieb:

Quellcode

Quellcode

Quellcode

Shell-Script

Teilen

Unsere Partnerboards