csv von externem server automatisch in mysql-db laden

Beitrag von **schorsch** » 16.06.2005, 13:39

also ich habe eine csv-datei mit ca. 20mb größe. diese liegt natürlich auf einem anderen server und ich möchte gerne ein automatisches update einrichten.

bisher habe ich disen befehl verwendet:

Code: Alles auswählen

$sql = "LOAD DATA LOCAL INFILE '$db_File' REPLACE INTO TABLE ".$db_Table." FIELDS TERMINATED BY '$db_Terminated'";

leider geht der nur, wenn die datei auf dem server leigt.
kann man den befehl so umschreiben, dass er auch mit externen dateien funktioniert?
oder wie kann man die datei am besten selbst mit nem php script erst downloaden und dann den obigen befehl verwenden?

hab das auch schon mit copy() probiert, aber dann kam die fehlermeldung
"Maximale Ausführungszeit erreicht - Script wurde abgebrochen."
wahrscheinlich ist die datei mit 20mb zu groß.

wer kann mir helfen?

gruss

schorsch

von **Anzeige von ABAKUS** »

Beitrag von **auftragslinker** » 17.06.2005, 08:49

hast du zugriff auf cronjobs? dann würde ich nen cronjobs einrichten,
der täglich um z.B. 17:55
wget https://username:passwort@www.csv-serve ... ur/csv.csv
um die datei rüberzuziehen und dann um 18:00
php /home/www/benutzerpfad/sql_einbinden.php
mit dem von dir genannten befehl.

das passwort für die csv einfach per htaccess einrichten. wenn windows-server: selber schuld

edit: ups hab übersehen, dass die file 20MB groß ist. Vielleicht solltest du 10 Min Pause dazwischen lassen

Beitrag von **schorsch** » 17.06.2005, 10:42

ok danke. nur irgendwas stimmt da nicht. es funktioniert zwar jetzt mit dem wget befehl eine datei in der größ runterzuladen, aber ich will mir die von affilinet holen und da sieht der automatische downloadlink leider etwas anders aus. es kommt immer eine fast leere datei mit dem inhalt "<br>Credentials not OK." an. mien befehl sieht so aus:

<? system("wget -t 1 -P /home/blabla/ -O /home/blabla/datei.csv - https://partners.affili.net/partners/as ... listID=xxx"); ?>

mache ich zb einen befehl der art:

wget https://www.domain.de/datei.csv
dann bekomme ich diese in sekundenschnelle

weiss jemand wie man das problem lösen kann.
ich werde ja nicht der einzige sein der sich von affilinet ne csv holt

gruss

schorsch

Beitrag von **auftragslinker** » 17.06.2005, 13:41

affilinet selber bietet eine lösung an:
https://faq.affili.net/partners/index.p ... ng=de&ref=

Beitrag von **schorsch** » 18.06.2005, 04:03

hilft mir leider nicht weiter. ich nutze schon diesen automatischen downloadlink aber er funzt leider nicht

gruss

schorsch

Beitrag von **800XE** » 18.06.2005, 06:40

schorsch hat geschrieben: hab das auch schon mit copy() probiert, aber dann kam die fehlermeldung
"Maximale Ausführungszeit erreicht - Script wurde abgebrochen."
wahrscheinlich ist die datei mit 20mb zu groß.

wie automatisch machst du das?
macht es dein Server ganz allaeine oder ruft du eine deiner Seiten auf die das dann anstöst?

Also das mit dem Timeout, wenn du es manuell anstöst ...
... hatte ich auch.
Ich hatte ein kleines Formular wo ich die Affili URL reinkopiert habe und dann auf meinen Spcae gepostet, danach hat ein Script bei mir die Datei bei Affili geladen
Also kein Download und bei mir upload

Das problem mit dem Timeout ist nicht unser Webserver sondern der Browser der denkt das die Verbindung weg ist.
Deswegen keinen copy, sondern stückschenweise kopieren und zwischendrin immer einen Space an den Browser senden, dann klappt es

Code: Alles auswählen

if &#40; $_POST&#91;doit&#93;=="csv UpDate" &#41;
&#123;
  $shop  = $REQUEST_FOLDER = $_POST&#91;shop&#93;;
  $csvsrc=                   $_POST&#91;src&#93;;
  echo&#40;"<br>#download csv<br>#$_POST&#91;src&#93;#<br>"&#41;;
  $handle_src=fopen&#40; $_POST&#91;src&#93;, "rb"&#41;;
  $handle_des=fopen&#40;"update.csv", "wb"&#41;;
  $size=$len=1;$ts_start=time&#40;&#41;;
  while&#40;$size&#41;
  &#123;
    $buf  = fread &#40;$handle_src, 800000&#41;;
            fwrite&#40;$handle_des, $buf&#41;;
    $size = strlen&#40;$buf&#41;; $len+=$size;
    echo&#40;"_"&#41;; // hier etwas für den Browser gegen den Timeout
  &#125;
  fclose&#40;$handle_des&#41;;
  fclose&#40;$handle_src&#41;;
  echo&#40;"<br>#".&#40;int&#41;&#40;$len/1024&#41;." KBytes Updatet in ".&#40;time&#40;&#41;-$ts_start&#41;." secunden"&#41;;
&#125;

Beitrag von **Enipak** » 20.06.2005, 11:14

Leider bin ich in php nicht sehr versiert. Habt ihr jetzt einen Lösung um eine
Affili URL auf einem Webserver abzulegen ?

Wenn ja könnt ihr mal das ganze Script posten und beschreiben wie man es anpasst ?

Gruß Eni

Beitrag von **schorsch** » 20.06.2005, 13:25

also bei mir funktioniert es jetzt in der form:
<? system("wget -t 1 -P /home/blabla/ -O /home/blabla/datei.csv 'https://partners.affili.net/partners/as ... listID=xxx'"); ?>
zumindest um die datei auf den server zu bekommen.

Beitrag von **auftragslinker** » 20.06.2005, 13:39

also haben nur die ' gefehlt? wie ich sowas hasse

da sucht man stundenlang nach dem fehler, nur um festzustellen, dass eine klammer oder ein häkchen fehlt...

Beitrag von **schorsch** » 20.06.2005, 23:35

ja ich habe auch ewig gesucht bis mir aufgefallen ist, dass da doch noch was fehlt

naja hauptsache es funktioniert jetzt

gruss

schorsch