[Postgres] API do importu duzych danych
mechcinski@tlen.pl - 07-07-2007 00:02
[Postgres] API do importu duzych danych
Witam,
może moglibyście mi coś podpowiedzieć przy projektowaniu api do
importu dużych paczek danych w formie plików z excela - takich
powiedzmy po 100k rekordów...
Strategiczne wymaganie - unikalne rekordy po jednej z kolumn (kod)...
Na chwilę obecną użytkownik uploaduje na serwer pliki, przez www
odpala skrypt który modyfikuje tego xlsa, zapisuje jako csv i
importuje przez COPY..... na kolumnie 'kod' - jest ograniczenie
"unikalny"...
Takie rozwiązanie jest bardzo wydajne ale wykłada się jeśli w csv
znajdzie sie rekord "dublujący"...
Sprawdzać każdy rekord przed dodaniem- nie sądzę będzie się cały dzień
robiło...
Dublować i usuwać duplikaty na koniec ? Nie wiem ...
Co myślicie ?
mechcinski
hubert depesz lubaczewski - 08-07-2007 00:03
On 2007-07-06, mechcinski@tlen.pl <mechcinski@tlen.pl> wrote:
> Co myślicie ?
ładować do tabeli tymczasowej, usuwać duplikaty kopiować do głównej.
depesz
--
quicksil1er: "postgres is excellent, but like any DB it requires a
highly paid DBA. here's my CV!" :)
http://www.depesz.com/ - blog dla ciebie (i moje CV)
mechcinski@tlen.pl - 08-07-2007 00:03
> ładować do tabeli tymczasowej, usuwać duplikaty kopiować do głównej.
no przecież..:)
dzięki depesz
zanotowane.pldoc.pisz.plpdf.pisz.pleffulla.pev.pl
|
[PostgreSQL] - jak =?ISO-8859-2?Q?zabezpieczy=E6_interesy_tw?==?ISO-8859-2?Q?=F3rcy_systemu_=3F=3F=3F?=
postgresql - int/int
[MSSQL2000] Problem z =?ISO-8859-2?Q?tabel=B1/indeksem/zapytanie?==?ISO-8859-2?Q?m_czy_b=B3=B1d_w_bazie_danych=2E=2E=2E?=
postgresql Select count(*) czy raczej Select count(ID)
[PostgreSQL] jak =?ISO-8859-2?Q?pobra=E6_warto=B6=E6_zwracan?==?ISO-8859-2?Q?=B1_przez_funkcj=EA=3F?=
[postgresql] INSERT OR UPDATE - jak =?ISO-8859-2?Q?b=EAdzie_na?==?ISO-8859-2?Q?jlepiej=3F?=
[postgresql] kilka =?ISO-8859-2?Q?rekord=F3w_subquery_jako_?==?ISO-8859-2?Q?string?=
[PostgreSQL] Jak =?ISO-8859-2?Q?po=B3=B1czy=E6_funkcje_z_w?==?ISO-8859-2?Q?idokiem?=
Postgres - replikcja master-master
Dopasowanie do "najlepszego" dopasowania :) [ PostgreSQL]
zanotowane.pldoc.pisz.plpdf.pisz.pllisinski.htw.pl
Cytat
Decede mihi sole - nie zasłaniaj mi słonca.
Gdy kogoś kochasz, jesteś jak stworzyciel świata - na cokolwiek spojrzysz, nabiera to kształtu, wypełnia się barwą, światłem. Powietrze przytula się do ciebie, choćby był mróz, a ty masz w sobie tyle radości, że musisz ją rozdawać wokoło, bo się w tobie nie mieści
Hoc fac - tak czyń.
A tergo - od tyłu; z tyłu.
I czarne włosy posiwieją. Safona |
|
