[ORACLE] 10g RAC - mrozenia systemu
Piotr Biel - 08-09-2006 01:53
[ORACLE] 10g RAC - mrozenia systemu
Witam,
Moze tytulem wstepu ;
Baza :
Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
With the Partitioning, Real Application Clusters, OLAP and Data Mining
options
Pliki stosowne zalegaja na OCFS ( ocfs 1.2 )
System :
Red Hat Enterprise Linux 3
Maszyna pracuje jako node w klastrze 2 wezlowym.
Problem :
Co 5 minut dokladnie ( no, czasami +/- kilka sekund ) obserwuje mrozenie
calego systemu. Nie da sie zalogowac, ruch sieciowy calkowicie zanika,
wszystkie aplikacje pracujace w userspace nie przejawiaja objaw zycia..
Po okolo 8 sekundach wszystko wraca do normy! Ach, no moze nie do normy
- load oczywiscie podniesiony ( zakolejkowane polaczenia/zadania
zaczynaja masowe laczenie/wykonywanie/itd. ). Zarowno czas pomiedzy
mrozeniami jak i czas trwania tychze nie jest uwarunkowany obciazeniem
samego systemu czy bazy.
Warto oczywiscie nadmienic, iz po "polozeniu" instancji caly problem znika..
Probowalem juz na rozne sposoby podchodzic do w/w :
- ogolne debugowanie procesow
- debug ocfs
- oradebug
- wieeeele innych rzeczy..
Niestety, nie udalo mi sie nic interesujacego odnalezc. Aplikacje
monitorujace zwykle pracuja w userspace, aktywnosc ktorego zanika na
czas trwania mrozenia. Ostatnia rzecza na ktora wpadlem to napisanie
modulu do jadra monitorujacego ( kernelspace ) wybrane fragmenty
systemu. W chwili obecnej koncze "produkcje" tegoz modulu - moze przy
pomocy jego uda sie cokolwiek znalezc?!
Czy ktos z grupowiczow spotkal sie z podobnym problemem?
A moze ktos ma jakis pomysl, jaki proces wewnatrz-bazodanowy wykonuje
sie defaultowo idealnie co 5 minut ( jakas synchronizacja? )?
Oczywiscie bede wdzieczny za WSZELKIE informacje/pomysly/przypuszczenia
mogace naprowadzic mnie na trop i pozbyc sie "mroznego garba" :-)
P.S. W Metalinku niewiele udalo mi sie odnalezc na ten temat.. ;(
Pozdrawiam,
--
p.
c97 - 08-09-2006 01:53
> Oczywiscie bede wdzieczny za WSZELKIE informacje/pomysly/przypuszczenia
> mogace naprowadzic mnie na trop i pozbyc sie "mroznego garba" :-)
moze to cos sprzetowego? zapchany bufor dysku lub cos w ten desen?
C
Marcin 'goral' Goralski - 08-09-2006 01:53
Piotr Biel wrote:
> Czy ktos z grupowiczow spotkal sie z podobnym problemem?
> A moze ktos ma jakis pomysl, jaki proces wewnatrz-bazodanowy wykonuje
Nie spotkalem sie. Sprawdz, czy nie masz jakiegos joba, odpalanego
zarowno z jobow oraclowych, jak rowniez z crona.
Sprobuj, o ile mozesz, puscic STATSPACKa, na kilka godzin co najmniej,
moze on cos wychwyci.
Masz tam jakies zmaterializowane widoki, z automatycznym odswiezaniem ?
I na koniec ... monitorowales przyrost bazy ostatnio ? Np dokladanie
nowych extentow i to jak/gdzie/jakie sa dokladane ?
marcin
Lucyna Witkowska - 08-09-2006 01:53
Piotr Biel <ble@ble.ble> napisał:
> Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
Pomysl nad upgradem.
> Co 5 minut dokladnie ( no, czasami +/- kilka sekund ) obserwuje mrozenie
> calego systemu. Nie da sie zalogowac, ruch sieciowy calkowicie zanika,
> wszystkie aplikacje pracujace w userspace nie przejawiaja objaw zycia..
Jaki proces jest wtedy na top?
> Po okolo 8 sekundach wszystko wraca do normy! Ach, no moze nie do normy
> - load oczywiscie podniesiony ( zakolejkowane polaczenia/zadania
> zaczynaja masowe laczenie/wykonywanie/itd. ). Zarowno czas pomiedzy
> mrozeniami jak i czas trwania tychze nie jest uwarunkowany obciazeniem
> samego systemu czy bazy.
> Warto oczywiscie nadmienic, iz po "polozeniu" instancji caly problem znika..
> Czy ktos z grupowiczow spotkal sie z podobnym problemem?
Nie.
> A moze ktos ma jakis pomysl, jaki proces wewnatrz-bazodanowy wykonuje
> sie defaultowo idealnie co 5 minut ( jakas synchronizacja? )?
Sprawdz dba_jobs, dba_scheduler_jobs
Pozdrowienia,
LW
Piotr Biel - 08-09-2006 01:53
c97 wrote:
>> Oczywiscie bede wdzieczny za WSZELKIE
>> informacje/pomysly/przypuszczenia mogace naprowadzic mnie na trop i
>> pozbyc sie "mroznego garba" :-)
>
> moze to cos sprzetowego? zapchany bufor dysku lub cos w ten desen?
Nie wyglada to na problem sprzetowy. Mrozenie objawia sie na OBU wezlach
klastra! ( no, chyba.. ze problemy sprzetowe jednego wezla destabilizuja
calosc.. hm.. ).
--
p.
Piotr Biel - 08-09-2006 01:53
Marcin 'goral' Goralski wrote:
> Nie spotkalem sie. Sprawdz, czy nie masz jakiegos joba, odpalanego
> zarowno z jobow oraclowych, jak rowniez z crona.
Wszystko przeszukalem - nic nie ma. ;(
> Sprobuj, o ile mozesz, puscic STATSPACKa, na kilka godzin co najmniej,
> moze on cos wychwyci.
Znaczy AWR - brak interesujacych wynikow ;(
To samo oradebug..
> Masz tam jakies zmaterializowane widoki, z automatycznym odswiezaniem ?
Hm, posprawdzam dokladnie i napisze.
> I na koniec ... monitorowales przyrost bazy ostatnio ? Np dokladanie
> nowych extentow i to jak/gdzie/jakie sa dokladane ?
Wszystkie pliki bazy leza na osobno wydzielonych partycjach ocfs i sa
wspoldzielone w klastrze. Osobno pliki danych, osobno redo logi itd..
--
p.
Marcin 'goral' Goralski - 08-09-2006 01:53
Piotr Biel wrote:
> Wszystkie pliki bazy leza na osobno wydzielonych partycjach ocfs i sa
> wspoldzielone w klastrze. Osobno pliki danych, osobno redo logi itd..
Ok. ale chodzilo mi o przyrost danych i w konskwencji powiekszanie
fizycznego rozmiaru plikow nalezaych do danych przestrzeni tablic. Przy
naprawde duzym przyroscie danych, i malym rozmiarze extentow, Oracle
potrafi sie na chwile zamulic, zanim sie "poszerzy". Przynajmniej takie
cos obserwowalem w 8 i 9. 10 nie mam na produkcji.
Jak wyglada aktywnosc procesow Oracle w momencie zwisu ? Glownie tych,
ktore pisza/czytaja ze storage ?
marcin
Piotr Biel - 08-09-2006 01:54
Lucyna Witkowska wrote:
> Piotr Biel <ble@ble.ble> napisał:
>> Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
>
> Pomysl nad upgradem.
Oczywiscie planuje wykonanie upgrade zarowno OS jak i samej bazy.
Ciekawe czy to pomoze na moje mrozenia - nigdzie nie doczytalem by ktos
spotkal sie z podobnym problemem i by Oracle naprawialo jakiekolwiek
bug'i zwiazane z czyms chocby podobnym..
>> Co 5 minut dokladnie ( no, czasami +/- kilka sekund ) obserwuje mrozenie
>> calego systemu. Nie da sie zalogowac, ruch sieciowy calkowicie zanika,
>> wszystkie aplikacje pracujace w userspace nie przejawiaja objaw zycia..
>
> Jaki proces jest wtedy na top?
No wlasnie ;)
Problem w tym, ze zarowno przed jak i po mrozeniu calosc wyglada w miare
normalnie. A co sie dzieje w trakcie? Ciezko powiedziec.. nic, co
pracuje w userspace nie dziala. Odpadaja zatem narzedzia typu vmstat,
top, sar itd. Dzisiaj przeprowadze proby z napisanym przez siebie
modulem do jadra, a sluzacym do prostej analizy procesow zyciowych ;)
Moze uda sie cos "wyprintkowac" w trakcie przebywania bazy w niebycie..
>> A moze ktos ma jakis pomysl, jaki proces wewnatrz-bazodanowy wykonuje
>> sie defaultowo idealnie co 5 minut ( jakas synchronizacja? )?
>
> Sprawdz dba_jobs, dba_scheduler_jobs
dba_jobs - nie mam nic co 5 minut
dba_scheduler_jobs - to samo.
Jakies inne pomysly?
--
p.
Piotr Biel - 08-09-2006 01:54
Marcin 'goral' Goralski wrote:
> Ok. ale chodzilo mi o przyrost danych i w konskwencji powiekszanie
> fizycznego rozmiaru plikow nalezaych do danych przestrzeni tablic. Przy
> naprawde duzym przyroscie danych, i malym rozmiarze extentow, Oracle
> potrafi sie na chwile zamulic, zanim sie "poszerzy". Przynajmniej takie
> cos obserwowalem w 8 i 9. 10 nie mam na produkcji.
Przyrost nie jest maly, ale nie jest tez potwornie duzy. Zastanawiam sie
tylko, czy gdyby "poszerzanie" bylo przyczyna odbywalo by sie idealnie
co 5 min +/- 5s? Przyrost bazy jest zmienny w funkcji czasu - mrozenia
nie. Wystepuja niezaleznie od obciazenia bazy..
> Jak wyglada aktywnosc procesow Oracle w momencie zwisu ? Glownie tych,
> ktore pisza/czytaja ze storage ?
To jeszcze bede musial zweryfikowac. Jak pisalem, ciezko sie bedzie
dobrac od strony node'ow bazodanowych ale wlasnie wpadlem na pomysl, by
podgladnac ruch po drugiej stronie swiatlowodu - na storage. Napisze
oczywiscie co ciekawego odkrylem.
--
p.
Marcin 'goral' Goralski - 08-09-2006 01:54
Piotr Biel wrote:
>> Jak wyglada aktywnosc procesow Oracle w momencie zwisu ? Glownie
>> tych, ktore pisza/czytaja ze storage ?
> To jeszcze bede musial zweryfikowac. Jak pisalem, ciezko sie bedzie
> dobrac od strony node'ow bazodanowych ale wlasnie wpadlem na pomysl, by
> podgladnac ruch po drugiej stronie swiatlowodu - na storage. Napisze
> oczywiscie co ciekawego odkrylem.
Nic sie samo w przyrodzie nie dzieje :-). Skoro to regularny problem,
to i przyczyna powinna byc regularna.
Wykluczyles procesy crona, i joby z bazy. A masz laczy sie tam moze cos
zewnetrznego ? Jakis iAS, lub ktorys z jego komponentow ? Reports ?
Wlasne joby iASa ?
Hmmmm, a co z segmentami wycofania ? Jak one sie zachowuja ? Moze cos
w konfiguracji redo ? Za malo grup (ze zbyt duzymi plikami) ?
marcin
dap - 10-09-2006 00:16
Hardware to HP 530 G3?
dap
--
,= ,-_-. =. gnu.org
((_/)o o(\_)) polanski.biz
`-'(. .)`-' xoops.pl
\_/
zanotowane.pldoc.pisz.plpdf.pisz.pleffulla.pev.pl
|
Oracle, SQL, PL/SQL. Jak =?ISO-8859-2?Q?napisa=E6_zapytanie=2C?==?ISO-8859-2?Q?_kt=F3re_zwr=F3ci_nazw=EA_atrybutu=2C_kt=F3reg o?==?ISO-8859-2?Q?_warto=B6ci_spe=B3niaj=B1_zadany_warunek?=
Oracle 19g +Insert +Insert +Insert...
[oracle] zapytanie dynamiczne z =?ISO-8859-2?Q?=22dynamiczn=B1_?==?ISO-8859-2?Q?nazw=B1_tabeli=22?=
[Oracle] jak =?ISO-8859-2?Q?ograniczy=E6_pami=EA=E6_dla_se?==?ISO-8859-2?Q?rwera=3F?=
=?ISO-8859-2?Q?=5BOT=5D_Zdany_egzamin_Oracle_1Z0-007_a?==?ISO-8859-2?Q?_brak_informacji_na_stronie_Prometric_-_czy?==?ISO-8859-2?Q?_co=B6_nie_tak=3F?=
[oracle] czy da =?ISO-8859-2?Q?si=EA_z_poziomu_procedury_?==?ISO-8859-2?Q?zrobi=E6_kopi=EA_zapasow=B1=3F?=
MSSQL Express czy Oracle Express
=?iso-8859-2?q?[oracle]_Jak_sprawdzi=E6_wielko=B6=E6_tabeli_=3F=3F?=
=?ISO-8859-2?Q?Poszukjue_ksi=B1=BFki_"Oracle_?= =?ISO-8859-2?Q?optymalizacja_wydajno=B6ci"..?=
[Oracle] =?ISO-8859-2?Q?=A3=B1czenie_wierszy_z_zapytania_?==?ISO-8859-2?Q?w_jeden_string?=
zanotowane.pldoc.pisz.plpdf.pisz.plmarcelq.xlx.pl
Cytat
Decede mihi sole - nie zasłaniaj mi słonca.
Gdy kogoś kochasz, jesteś jak stworzyciel świata - na cokolwiek spojrzysz, nabiera to kształtu, wypełnia się barwą, światłem. Powietrze przytula się do ciebie, choćby był mróz, a ty masz w sobie tyle radości, że musisz ją rozdawać wokoło, bo się w tobie nie mieści
Hoc fac - tak czyń.
A tergo - od tyłu; z tyłu.
I czarne włosy posiwieją. Safona |
|
