Wielkie bazy danych MYSQL na serwerach HOME.pl
Yukiko - 12-08-2006 01:33
Wielkie bazy danych MYSQL na serwerach HOME.pl
Witam od kilku dni walcze ze "specjalistami z HOME.pl
problem dotyczy transferu kilkunastu sporych baz danych
lokalny server mysql -> home.pl server mysql
ok 4-5 milionow rekordow kazda (rozmiar od 28 do 55 MB)
do tej pory robilem to przy pomocy NAVICAT ale niestety tu pojawil sie pewien problem - zanim aplikacja przygotuje porcje danych do dumpowania na server dostaje od operatora TIME-OUT (5 min). niestety aplikacja dziala w watku ktory nie lapie sie na konfiguracje autorekonekta (jest taka konfiguracja w aplikacji)
no i co tu poczac ??
poradzicie cos medrcy ???
pozdrawiam
keczerad - 12-08-2006 01:33
Yukiko napisał(a):
> poradzicie cos medrcy ???
tak glupcze ;), mysql administrator z lokalnego kompa do home.pl
http://www.mysql.com/products/tools/administrator/
Ps. z tym sporymi bazami to dales czadu :)
--
keczerad
http://www.e-mo.com.pl sklep w (X)HTML
Lukasz Rzanek - 12-08-2006 01:33
Yukiko napisał(a): > problem dotyczy transferu kilkunastu sporych baz danych ok 4-5 > milionow rekordow kazda (rozmiar od 28 do 55 MB) Tzn. każda "tabela"? Bo jeśli "baza", to maleństwo ;-)
-- Lukasz Rzanek, Radical Group
Yukiko - 12-08-2006 01:33
Użytkownik "Lukasz Rzanek" <lukasz@radical.com.pl> napisał w wiadomości news:933.44da1b2b.80319@localhost.localdomain... Yukiko napisał(a): > problem dotyczy transferu kilkunastu sporych baz danych ok 4-5 > milionow rekordow kazda (rozmiar od 28 do 55 MB) Tzn. każda "tabela"? Bo jeśli "baza", to maleństwo ;-)
oczywiscie - 60 tabel z czego 60% to takie wielkoludy
Yukiko - 12-08-2006 01:33
Użytkownik "keczerad" <keczerad@poczta.fm> napisał w wiadomości news:ebd58h$g32$1@nemesis.news.tpi.pl... > Yukiko napisał(a): > >> poradzicie cos medrcy ??? > > tak glupcze ;), mysql administrator z lokalnego kompa do home.pl > > http://www.mysql.com/products/tools/administrator/ > > Ps. z tym sporymi bazami to dales czadu :) > > HA
glupiec ma straszne cisnienie bo w piatek urlop sie zaczyna a czas plynie strasznie....
co do wielkosci baz danych to - no wlasnie co - uwazasz ze sa male :O)))
dobra zarty na bok - mozesz rozwinacz temat mysql administratora pls...
czas czas czas czas
pozdrawiam
keczerad - 12-08-2006 01:33
Yukiko napisał(a):
> dobra zarty na bok - mozesz rozwinacz temat mysql administratora pls...
1. sciagasz oprogramowanie 2. instalujesz oprogrmaowanie 3. konfigurujesz polaczenie do serwer home.pl 4. otwierasz plik bazy z lokalnego dysku ladujesz do administratora 5. sprawdzasz porpawnosc pliku check costam 6. opjca run czy jakos tak 7. czekasz az sie skonczy 8. jedziesz na urlop ;), nie pozostaje mi nic innego tylko zyczyc lepszej pogody niz jest.
--
keczerad
http://www.e-mo.com.pl sklep w (X)HTML
Yukiko - 13-08-2006 00:21
Użytkownik "keczerad" <keczerad@poczta.fm> napisał w wiadomości news:ebd879$sso$1@atlantis.news.tpi.pl... > Yukiko napisał(a): > >> dobra zarty na bok - mozesz rozwinacz temat mysql administratora pls... > > 1. sciagasz oprogramowanie > 2. instalujesz oprogrmaowanie > 3. konfigurujesz polaczenie do serwer home.pl > 4. otwierasz plik bazy z lokalnego dysku ladujesz do administratora > 5. sprawdzasz porpawnosc pliku check costam > 6. opjca run czy jakos tak > 7. czekasz az sie skonczy > 8. jedziesz na urlop ;), nie pozostaje mi nic innego tylko zyczyc lepszej > pogody niz jest. > > > > -- No witam ponownie
mysql administrator sie nadaje - ale do zawracania wisly :O))) kolega z pewnoscia nie testowal narzedzia na duzych tabelach.
jestem tego pewien - raczej
przepchanie tego na serwer publiczny trwalo by ok 1 miesiaca :O)) bo jak oceniam jedna tabela to ok 4 -6 godzin. nie wiem jak jest to realizowane przez mysqladmina ale na pewno mechanizmy te powielane sa w wielu aplikacjach i daltego wydajnosc jest TRAGICZNA !
byc moze nie jest wykorzystywana skladnia "extended insert" (ups)
tak czy siak po 3 tygodniach walki i przetestowaniu kilkunastu aplikacji znalazlem rozwiazanie ( ha :O)) ) aha i zapomnialem o 40 mailach z administratorem home.pl - swoja droga - zal mi tego czlowieka.
rozwiazanie: a) mysqldymp koniecznie z "-e" bo inaczej dupa - ja dodaje sobie jeszcze -t i -v bo lubie :O)) - no oczywiscie zobaczcie jaki rozmiar pliku bez -e sie robi ! b) ftp na server c) php oraz system("mysql....... bla bla bla < bla bla :O)
calosc operacji importu po zaladowaniu pliku na server ok 2 - 3 minut ( ha)
jedyna aplikacja ktora radzila sobie z mniejszymi tabelami ( post wyzej) to NaviCat - ale oczywiscie pamietajcie o -e - koniecznie
NO panowie MEDRCY
jak to mowia - kiedy glupek wskazywal na ksiezyc - medrcy patrzyli na palec
pozdrawiam JA
aha - jak znajde czas to napisze w php narzedzie do importu dla "lamerow" - zeby sobie nie mysleli w tym "homie.pl" ze klient nie da rady........
keczerad - 13-08-2006 00:21
Yukiko napisał(a):
> mysql administrator sie nadaje - ale do zawracania wisly :O))) > kolega z pewnoscia nie testowal narzedzia na duzych tabelach. > > jestem tego pewien - raczej >
300MB poszlo w 2-3godziny to raczej zalezy nie od wydajnosci a od lacza.
> aha i zapomnialem o 40 mailach z administratorem home.pl - swoja droga - zal > mi tego czlowieka.
dziwne ze nie zproponowal (admin) tego twojego rozwiazania, jakis nie kumaty albo lubi odpisywac na maile ;).
--
keczerad
http://www.e-mo.com.pl sklep w (X)HTML
zanotowane.pldoc.pisz.plpdf.pisz.pleffulla.pev.pl
|
[mysql] =?ISO-8859-2?Q?Za=E6mienie=2E=2E=2E_jak_wy=B6wietli=E6?==?ISO-8859-2?Q?=2E=2E=2E?=
[MySQL] =?ISO-8859-2?Q?Wy=B6wietlenie_kolejnej_pozycji=2C_?==?ISO-8859-2?Q?jak=B1_mia=B3by_dany_rekord=2C_gdybym_czyta=B3 _?==?ISO-8859-2?Q?wg_konkretnych_kryteri=F3w=2E_Da_si=EA_=3F?=
[mysql 4.0.x] przenoszenie kolum =?ISO-8859-2?Q?mi=EAdzy_bazam?==?ISO-8859-2?Q?i_cd_=2E=2E=2E_?=
[MySQL] =?ISO-8859-2?Q?z=B3=B1czenie_tabeli_u=BFytkownik_i?==?ISO-8859-2?Q?_zdj=EAcia_z_wyborem_zdj=EAcia_domy=B6lnego?=
[MySQL] Jak =?ISO-8859-2?Q?wpisa=E6_do_tabeli_pozycje_dl?==?ISO-8859-2?Q?a_wierszy_gdybym_te_wiersze_wybiera=B3_w_ok?== ?ISO-8859-2?Q?re=B6lonej_kolejno=B6ci_=3F?=
Gdzie MySQL 4.1, a gdzie 5.0?
[MySQL 4.0...4.1] zabezpieczenie przed =?ISO-8859-2?Q?jednoczesn?==?ISO-8859-2?Q?=B1_edycj=B1?=
[MS SQL] "set names" (mySQL) w MS SQL
[mysql 5.x] jak =?ISO-8859-2?Q?zrealizowa=E6_zapytanie=3F_cz?==?ISO-8859-2?Q?yli_podzapytanie_i_wi=EAcej_ni=BF_jeden_rz=B1? ==?ISO-8859-2?Q?d_wynik=F3w?=
MySQL - jak =?ISO-8859-2?Q?wyeksportowa=E6_zawarto=B6=E6_wie?==?ISO-8859-2?Q?lkiej_tabeli?=
zanotowane.pldoc.pisz.plpdf.pisz.plwawa19wwa91.pev.pl
Cytat
Decede mihi sole - nie zasłaniaj mi słonca. Gdy kogoś kochasz, jesteś jak stworzyciel świata - na cokolwiek spojrzysz, nabiera to kształtu, wypełnia się barwą, światłem. Powietrze przytula się do ciebie, choćby był mróz, a ty masz w sobie tyle radości, że musisz ją rozdawać wokoło, bo się w tobie nie mieści Hoc fac - tak czyń. A tergo - od tyłu; z tyłu. I czarne włosy posiwieją. Safona |
|