Chat aus Daten-Backup in HTML konvertieren

Stelle deine Frage öffentlich an die Threema-Forum-Community - über 4.600 Mitglieder helfen dir weiter. > Frage stellen <
  • An den Medien liegt es nicht. Sind sie vorhanden, werden sie einbezogen. Fehlen sie, gibt es einen "Nicht vorhanden"-Eintrag in der HTML.

    Die .csv Datei ist 11 MB? Ich habe von noch keinem Limit etwas mitbekommen. @Miaz bis wie groß hast du getestet? :D

  • So - bin wieder zu Hause...

    Auch nur knappe 2 MB - Gruppemchat seit 2018. Ging Problemlos.

    Auf 11 MB komme ich nie...

    EDIT: Ältere Sachen hatte ich vorher konvertiert und gelöscht - oder direkt gelöscht...

    Einmal editiert, zuletzt von Miaz (23. Dezember 2020 um 15:23)

  • Grüß Euch! Es heißt:

    Zitat


    Derzeit unterstützt das Skript nur Android-Threema-Nutzer (Daten-Backup) mit einem Windows System (PowerShell).

    Da wollte ich nochmals nachfragen: Vom iPhone lässt sich kein passendes Backup (input-file) für das Skript exportieren ?

    Danke und feiert schön ! chris

  • Hallo zusammen,

    mir gefällt die beschriebene Lösung sehr. So etwas habe ich schon länger gesucht und erst jetzt gefunden. Leider läuft sie bei mir nicht.

    Bei mir ist die Windows Powershell Version 5.1.14409.1005 installiert. Ich erhalte immer die Fehlermeldung: Nicht alle "ballot"-Dateien gefunden! Ich habe es bei mehreren Sicherungen ausprobiert.

    Wo liegt der Fehler? Was muss ich verändern?

    5 Mal editiert, zuletzt von Stefan82 (18. Januar 2021 um 22:53)

  • Hallo Stefan82,

    die Meldung kommt, wenn beim Start des Skripts die Dateien für die Umfragen nicht gefunden wurden.

    Hast du ein Daten Backup erstellt und daraus alle Dateien entpackt? Erst mit allen Dateien (ballot, contacts, groups,...) kann das Skript laufen. Oder hast du eventuell den einen betroffenen Chat verschoben und somit die einzelne Datei versucht zu konvertieren?

  • Hallo JnL,

    Danke für das spezielle Skript (2020-05-19). Ich muss einen Fehler mitteilen:

    Fotos ab Ende 2020 werden nicht vom entpackten Verzeichnis in das Medienverzeichnis des

    Chats "id_XYZ12345" kopiert und werden dann als "Bild nicht gefunden" in der html Datei vermerkt
    und im Browser angezeigt.

    Die fehlenden Foto Dateien befinden sich aber als *.jpg im entpackten Verzeichnis.

    Der Fehler tritt bei mehreren Chats auf,

    z.B. Chat vom 29.04.2020 bis 03.09.2021, 21 Fotos ok, 78 fehlen (die neueren!)

    Offenbar verhalten sich neuere Fotos anders und werden dann nicht verschoben?!?!

    Eine Prüfung und Korrektur wäre super toll!!

    Herzlichen Dank im Voraus!

  • Hallo svenml,

    Danke für die Meldung und die genaueren Informationen.

    Ich bin bisher nicht dazu gekommen, mir das genauer anzusehen. Seit der Version 4.5 werde jegliche Medien als Dateien mit Verweis auf ihren Typen versendet. Das habe ich bisher nicht so implementiert gehabt, da Bilder zuvor als Bild versandt wurden.

    Ich hoffe, dass ich irgendwann mal dazu komme. Wer sonst Zeit dazu hat, gerne anpassen und teilen! :)

    Viele Grüße

  • Hallo jnL,

    zunächst einmal vielen Dank für die tolle Arbeit. Das Script hat bei mir grundsätzlich sehr gut funktioniert und ist genau das was ich benötige, beim angestrebten Wechsel von Android zu IOS.

    Ich habe für meinen Export insbesondere einen großen Familienchat seit 2016 im Visier. Die .csv-Datei ist 2,65 MB groß. Das Backup hatte knapp 8 GB.

    Leider habe ich nun auch die gleichen Probleme, dass in jüngeren Chats die Medien nicht immer gefunden werden. Manchmal seltsamerweise schon. Außerdem werden bei mir die ältere Sprachnachrichten durchweg nicht angezeigt. Es gibt dann nur ein leeres Feld mit dem Zeitstemple. Weder Sender/in der Sprachnachricht wird ausgegeben noch gibt es eine Fehlermeldung, dass die Datei nicht gefunden wurde.

    Ich poste das hier mal, vielleicht hilft es Dir oder jemand anderem bei der Überarbeitung. Ich würde mich sehr freuen wenn das Script wieder vollständig funktionieren würde.

    Viele Grüße

  • Hallo,

    wie jedes Jahr möchte ich mein Backup im Archiv konservieren, und auch per Skript die schönsten Erinnerungen und Fotos zur html Version konvertieren.

    Gibt es Neuigkeiten bzgl. der angesprochenen Fotos/Medien Problematik? Kann ich evtl. helfen (testen o.Ä.)?

    VIele Grüße

  • Hallo Interessierte,

    hier haben schon ein paar nachgefragt und auch wenn ich per PN geantwortet hatte, dass ich keine Zeit habe (die ich wirklich nicht habe :D ), bin ich trotzdem kurz dazu gekommen, mir anzusehen, was da schief läuft und/oder angepasst werden muss/sollte.

    Kommen wir zum ersten Punkt:

    [Skript Version] 2020-05-19 [...] Ich muss einen Fehler mitteilen:


    Fotos ab Ende 2020 werden nicht vom entpackten Verzeichnis in das Medienverzeichnis des

    Chats "id_XYZ12345" kopiert und werden dann als "Bild nicht gefunden" in der html Datei vermerkt
    und im Browser angezeigt.

    Die fehlenden Foto Dateien befinden sich aber als *.jpg im entpackten Verzeichnis.

    Da hatte ich wohl einen schönen Gedanken, dass ab Zeile 170 bekannte Medien um ihre entsprechende Dateiendung erweitere, dies läuft ab etwa Ende 2020 auch noch durch, wird in den Zeilen ab 279 aber nicht mehr berücksichtigt.

    In Zeile 279ff. wird geschaut, ob das Medium ein bekanntes ist (Bild, Video, Audio) und wenn ja, dann soll nach dessen jeweiligem Schema die Implementierung in der HTML stattfinden.

    Das klappt auch gut, aber die Änderung zu Ende 2020, dass z. B. Bilder nicht mehr als IMAGE, sondern als FILE mit Image-Bezug gesendet werden, hat den Teil ab Zeile 170 überflüssig gemacht. In der neuen Version nehme ich die Funktion heraus.

    Das "Fehlerbild" ist genau das beschriebene: du hast die z. B. *.jpg Bilder im entpackten Verzeichnis, aber nicht im id-Ordner und auch nicht in der HTML verlinkt.

    Punkt zwei:

    Seit der Version 4.5 werde[n] jegliche Medien als Dateien mit Verweis auf ihren Typen versendet. Das habe ich bisher nicht so implementiert gehabt, da Bilder zuvor als Bild versandt wurden.

    Diese Aussage muss ich etwas revidieren. Ich habe es implementiert gehabt, aber aufgrund der "Dateiendungsanhängung" lief es nicht so wie geplant.

    Punkt drei:

    Probleme, dass in jüngeren Chats die Medien nicht immer gefunden werden. Manchmal seltsamerweise schon.

    Hast du nicht gefundene Medien ggf. noch im entpackten Ordner? Wenn sie manchmal schon gefunden werden, dann wurden sie entweder aufgrund obiger Problematik nicht verschoben und eingebunden oder aber sie existieren im Backup einfach nicht (mehr).

    Punkt vier:

    Außerdem werden bei mir die ältere Sprachnachrichten durchweg nicht angezeigt. Es gibt dann nur ein leeres Feld mit dem Zeitstemple. Weder Sender/in der Sprachnachricht wird ausgegeben noch gibt es eine Fehlermeldung, dass die Datei nicht gefunden wurde.

    Kannst du mir dazu mal einen Auszug aus der HTML und der CSV Datei zukommen lassen?

    Natürlich kannst du jegliche Bezüge zu dir und deinem Kontakt entfernen bzw. durch Schwachsinn ersetzen. Wenn es ein Einzelchat ist (keine Gruppe), kannst du die betroffene Zeile der CSV unverändert senden, da kein Personenbezug enthalten ist - nur die Zeiten des Empfangs und des Anhörens.

    Aktuell kann ich das Problem nicht nachvollziehen und nicht nachstellen.

    Punkt fünf:

    Gibt es Neuigkeiten bzgl. der angesprochenen Fotos/Medien Problematik?

    Ja! Siehe obige Punkte ;)

    Fazit:

    Ich lade eine neue Version gleich im ersten Beitrag hoch.

  • Herzlichen Danke jnL ! Es läuft - das ist super. Ich konnte meine Chats (aus 7/2020 - 12/2021) erfolgreich in html konvertieren. Ein kurzer Konsistenzcheck hat keine Probleme hinsichtlich Medien ergeben. Sowohl Fotos, Videos, Tonaufnahmen scheinen vorhanden. (Das größte Test-Problem war mal wieder Win10, die kaputte Dateisuche und Indexer).

    Als reine Threema-Bkp Frage stellte sich mir, ob Medien grundsätzlich in voller Auflösung vorhanden sind, oder down-sized. Das war für mich schon beim Erstellen des backups nicht ganz klar geworden - ich erinnerte mich früher gab es eine backup-Option diesbezüglich - heute wohl nicht mehr.

  • Dann bin ich im html doch zufällig auf einen seltsamen Fall gestoßen.

    Evtl. ist es ein Einzelfall, aber weitere user könnten Ihre html-files auf Reihenfolge der Datums-Überschriften prüfen (oder auch allgemein die Reihenfolge der Nachrichten und Medien-posts). Und evtl. hier berichten.

    Angemerkt, die Auswirkung scheint minimal und vernachlässigbar. Danke nochmal an jnL und alle Helfer.

    ---------------------------------------------

    Folgend alle Details für die Interessierten:

    Als ich große Fotos im BKP.zip rauspickte, um sie html zu verifizieren. Datei: gc_xxx/group_message_media_xx-x-x-x ("foto1").

    Sie ist im BKP.zip und html-Ordner (gc_xxx) vorhanden. Ich öffne das html im Browser (FF), Debugger "inspector"), und kann die Datei finden. Bei genauerem hinsehen: ist sie im (chronologisch geordneten) DOM seltsam eingeordnet: 03.Sep - 04.Sept - 03.Sept.

    Keine Ahnung, ob das bei der Konvertierung entstand, oder beim Threema Quelle/BKP. Leider ist meine Chat-Historie nun schon gelöscht, ich kann das nicht mehr prüfen.