Datenfeed-Probleme durch unsichtbare Steuerzeichen lösen – So geht es

Ein Datenfeed enthält strukturierte Informationen, oft in Form von Zeilen und Spalten, die zwischen Systemen automatisiert übertragen werden. Häufig handelt es sich um Produktdaten für Suchmaschinen-Dienste wie Google Shopping, Adwords oder Affiliate-Programme. Der große Vorteil von Datenfeeds liegt darin, dass durch diese Technik auch eine Übertragung von größeren Datenbeständen möglich ist. Allerdings schleichen sich in den Datenfeed auch immer wieder blinde Passagiere ein, die verschiedene Probleme auslösen können: Steuerzeichen! Sie landen aus unterschiedlichsten Gründen in unseren Datenfeeds und bleiben dort auch so lange unerkannt, bis man sie mit einem technischen Hilfsmittel (z.B. einem HEX-Editor) sichtbar macht. Zum Beispiel ist die sogenannte BOM (Byte-Order-Mark) ein solches Steuerzeichen, das Probleme beim Einlesen oder Verarbeiten macht - d.h. Sie sollten diese unsichtbaren Steuerzeichen identifizieren und entfernen. Das ist nicht immer einfach, da man diese Zeichen eben nicht sehen kann.

Wie entstehen Steuerzeichen in Datenfeeds?

Für die Entstehung von Steuerzeichen im Datenfeed gibt es unterschiedliche Gründe. Eine häufige Ursache sind externe Quellen. Werden die Daten von beispielsweise Lieferanten übermittelt oder per Copy&Paste aus einer Word- oder Excel-Datei in die eigenen Systeme übertragen, können beim Kopieren über die Zwischenablage unsichtbare Zeichen übernommen werden. Unsichtbar deswegen, weil sie nach dem Einfügen vom Browser nicht dargestellt werden. Es scheint demnach so, als wären keine weiteren Zeichen übertragen worden. Sucht der Betrachter nicht explizit nach diesen, bleiben sie unerkannt und können unter anderem für String-Vergleiche und Abgleiche zwischen Systemen sehr störend sein.

Häufige Probleme durch unsichtbare Steuerzeichen im Datenfeed

Problem 1: Unsichtbares Zeichen im Dateinamen

Beispiel: „meineproduktDatei.xls“ wird per Copy&Paste aus einer externen Word-Datei in den Datenfeed eingefügt.

• Ein unsichtbares Zeichen befindet sich am Anfang oder Ende des Dateinamens
• Beim Download wird versucht, eine Datei mit diesem unsichtbaren Zeichen zu finden
• Diese Datei existiert jedoch nicht, da nur der Name ohne das unsichtbare Zeichen existiert

-Ergebnis: Fehlermeldung und Schwierigkeiten bei der Fehlersuche, da das Zeichen im Datenfeed nicht sichtbar ist.

Problem 2: Unsichtbares Zeichen in Artikelnummern

Beispiel: Artikelnummer „ABC[komischesZeichen]123“

• Beim Lesen wird nur „ABC123“ angezeigt
• Sucht man mit „Strg+F“ nach „ABC123“, wird kein Treffer gefunden
• Das unsichtbare Zeichen bleibt unbemerkt und erschwert die Suche

Weitere betroffene Komponenten

• Neben Dateinamen und Artikelnummern können auch Bestellnummern, Kundennamen und andere Datenfelder betroffen sein

Folgeprobleme

• Steuerzeichen führen zu Fehlermeldungen, die leicht zu beheben, aber schwer zu erkennen sind
• Diese Probleme verursachen oft Chaos und sind schwer zu diagnostizieren

Tipp: In Excel unsichtbare Zeichen anzeigen zu lassen, kann helfen, diese Probleme zu identifizieren, bevor sie beim Import in andere Systeme Fehler verursachen.

Steuerzeichen im Datenfeed entfernen

Sollten Sie derartige Probleme feststellen, empfiehlt es sich bei allen ID- bzw. Identifier-Felder wie Artikelnummern, Auftragsnummern, EANs usw. potentiell vorhandene Steuerzeichen über die sogenannte RegEx - Funktion zu entfernen. Wie genau das funktioniert, erfahren Sie in unserem Cookbook Wie entferne ich steuerzeichen wie borm-byte-order-mark aus werten?

Fazit

Steuerzeichen im Datenfeed stellen ein kniffliges Problem bei der Datenverarbeitung dar. Die Zeichen sind nämlich „unsichtbar", aber dennoch da. Insbesondere durch Copy&Paste Aktionen aus Word- oder Excel-Dateien gelangen diese versehentlich in unseren Datenfeed und sorgen dort für ordentlich Chaos.

Um dieses zu vermeiden, sollte man im Zweifel alle Daten von unsichtbaren Zeichen befreien, bevor man sie weiterverarbeitet. Möglich ist dies mit Hilfe von RegularExpressions in Kombination mit der “Suchen & Ersetzen Funktion” oder dem Freemarker Replace Skript. Diese können z.B. mit dem Mapper-Step auf Datenfeeds anwenden.

Haben Sie noch Fragen zu unsichtbaren Steuerzeichen in Datenfeeds? Kontaktieren Sie unsoder lesen Sie unser ausführliches Cookbook zum Thema!