Import Limit 1000 im Hilfsarchiv

Guten Tag,

für verschiedene Auswahlliste fülle ich ein Hilfsarchiv mit externen Beständen. In der Datenquelle liegen ca. 10.000 Datensätze. Da über den Autoindex nur 1.000 Datensätze importiert werden können, wurden mehrere Autoindex-Jobs mit Filterregeln angelegt.

Leider muss ich bei diesen Filterregeln mit festen Strings arbeiten. Ein "Beginnt nicht mit" fehlt hier ganz. Selbst mit arithmetischen Formeln komme ich bei diesem Vergleich nicht weiter. Dann es gibt keine Möglichkeit, bei dem Vergleich auf der "linken" Seite einen solchen Ausdruck zu verwenden.
Nötig wäre hier:   Left(Lieferant,1)     Ist Gleich     "A" : "B" : "C" .... (Liste, oder auch >= "A" bis <= "C")

Hilfreich wäre auf jeden Fall ein Wiederholungslauf eines einzigen Jobs ohne Filterung. Dieser sollte möglichst in der Ziel-DB nach einem Datensatz suchen, vorhandene Daten überspringen und neue ergänzhen. So wäre - in meinem Beispiel - der Import nach 10 Durchläufen vollständig abgeschlossen.

Wie lösen Sie das Problem? Welche Alternativen gibt es?

Bin auf Rückmeldungen gespannt.

Viele Grüße
Helmut Holtstiege

PS: Wenn es derzeit keine Lösung gibt, bitte ich den Support zur Aufnahme eines "Feature-Request" :-)
Dann bitte auch gleich die Option, die Filterung als Baustein abzulegen, damit ggf. an mehreren Stellen drauf referenziert werden kann.
 

Also ich habe erst neulich (innerhalb einer Cloudumgebung), mit nur einem einzigen Autoindex-Durchlauf, ein solches Stammdatenhilfsarchiv mit insgesamt knapp 5000 Datensätzen vollständig befüllen können. Woher stammt die Info oder Erkenntnis, dass dies nur mit 1000 Datensätzen geht bzw. gehen soll?
Wenn es sich hierbei um einen einmaligen Import handelt, und man wirklich auf eine Limitierung stößt, könnte man sich ja auch mehrere einzelne (gleichnamige) CSV-Dateien erstellen (bspw. Datei 1 - Datensätze 1-5000 und Datei 2 - Datensätze 5001-10000), die man dann der Reihe nach jeweils einzeln hochlädt und mittels des Autoindex importiert.
Viele Grüße
Frank Meyer

Servus Zusammen,

Ich kann Frank hier nur beipflichten.
Hilfsarchive mit einer Initialen Befüllung aus einer csv mit 10k-5000k sind ein normales Doing. Eine Beschränkung hier wäre mir ebenfalls nicht bekannt.

Aber ebenfalls wäre ein wiederholungslauf unproblematisch über die Zeitsteuerung zu gewährleisten. Hier müsste halt der Matchcode im Hilfsarchiv nicht vorhanden sein und dann geht es weiter.
Oder der AutoIndex löscht die verarbeiteten Datensätze in der Datei.
Oder Frank seine Lösung mit der Ablage mehrerer Dateien mit gleichem Bamen nach Verarbeitung der ersten/zweiten.

Viele Grüße
Martin

Leider gibt es wesentliche Unterschiede beim Import in die Cloud

a) Bei Verwendung einer CSV-Datei funktioniert es ohne Limit.
b) Beim Datenabruf einer SQL-Quelle können pro Autoindex nur max. 1000 Datensätze übertragen werden.

Der beiliegende Screenshot ist sicherlich abschreckend. Aber wir wollen die Inhalte dynamisch anpassen und keinen CSV-Export dazwischen schalten.

Viele Grüße
Helmut Holtstiege

Hallo Helmut Holtstiege,

nachdem es nicht um CSV-Dateien geht, kann es eigentlich nur um eine direkte Abfrage über den Local Data Connector in eine SQL-Datenbank gehen. Hier gibt es aus Performance und Stabilitätsgründen tatsächlich ein Limit, um Timeouts zu vermeiden.

Haben Sie vielleicht die Möglichkeit in die externe Datenbank in eine Spalte einen Wert zurückzuschreiben? Dann könnten Sie diese Spalte in Ihren Filter aufnehmen und erhalten dann mit jedem Lauf 1000 neue Datensätze.

Viele Grüße
Tobias Getz
Team Leader Product Management

Hallo Tobias Getz,

vielen Dank für die Rückmeldung. Die Idee ist grundsätzlich gut. Jedoch ist ein externer Schreibzugriff auf die SQL-Quelle nicht gewünscht.
Daher muss ich weiter mit z. Zt. 12 Autoindex-Jobs leben.

Erschwerend kommt hinzu, dass es hierbei keine Änderungssynchronisation gibt. Damit eine Lieferanten-Nr. nach einer Namensänderung o.ä. nicht doppelt vorkommt, muss ich vor dem Lauf der 12 Jobs den Bestand des Vortages vollständig löschen.
Das ich somit täglich 10.000 Datensätze neu importiere (und andere Kunden auch?) wird sich auf Dauer möglicherweise auch bei der Performance bemerkbar machen.

Viele Grüße
Helmut Holtstiege

Hallo Helmut Holtstiege,

ja, dann ist mein Vorschlag natürlich nicht möglich. 

Viele Grüße
Tobias Getz
Team Leader Product Management