Výpadky Fóra

Mnohí z vás približne od obeda 27.1.2007 počas surfovania Fóra natrafili na túto hlášku:

Doplnené (31.1.2007): FSP Fórum za tieto výpadky nemôže. Je síce pravda že naše Fórum je trochu náročnejšie na chod servera, ale problém je čisto na strane providera, ktorý hostuje tieto stránky. Tento problém ma viacero trochu náročnejších webov, ktoré hostuje tento provider. Stačí keď dáte do Google vyhľadať slová "Aplikácia prekročila pridelený limit" a dostanete viac výsledkov. Provider nemá dostatok prostriedkov na to aby hostoval takýto web. Je možné že sa to bude riešiť odchodom na iné servery, ale to je zatiaľ hudba budúcnosti (ja mám trpezlivosť).

Keď nastane takýto výpadok na našich stránkach tak počkajte 1-2 minúty, potom by malo byť všetko v poriadku.

(Pokrač. 27.1.2007) Skontaktoval som sa s providerom, ktorý mi príliš nepomohol. Problém bude pravdepodobne vo vysokej návštevnosti Fóra (názor providera), čo si myslím že je nezmysel, pretože Fórum pravidlene navšetevuje do 25 ľudí a je absolútne neprípustné aby 25 ľudí zaťažovalo celý server.

Problém budú mať viac na svedomí tzv. "Search Spideri" res. "Boti" to sú "užívatelia" ako napr. Morfeo.cz, Yahoo.com alebo Google.com ktorí sa objavujú v online zozname.

Najmä Morfeo.cz, ktorý indexuje stránky fóra do vyhľadávačom Centrum.sk a Centrum.cz narobil za Január 2007 vysoký transfer, niečo cez 5 GB (keď uvážime že pred pol rokom transfer 5 GB urobili všetcia ľudia na Fóre dokopy tak je to naoznaj dosť).

Napriek tomu si nemyslím že toto bol dôvod výpadkov Fóra. Skutočný problém vidím v providerovi a v slabej konfigurácii servera. Mám názor, že náš provider používa nie práve vhodný hardware na prevádzku www stránok.

Zatiaľ nemám v úmysle meniť providera (v budúcnosti to nevylučujem), ale pristúpil som na niekoľko opatrení:

V prvom rade som vypol logovanie prístupov Search Spiderov (v databáze logy botov zaberali niečo cez 12 MB, čo je pri súčasnej veľkosti databázy 49 MB skutočne dosť), čím sa databáza bude torchu "šetriť".

Pre Botov som vytvoril nový skin (vidia ho iba Boti), ktorý je odľahčenou verziou originálneho skinu (nie sú tm add-ony ako Google vyhľadávanie, skriptá TopListu a pod.), z toho skinu som odstránil obrázky (ikony ako DELETE, REPLY a pod.) čo by mohlo znížiť transfer.

Do zdrojáku Fóra som zapísal menší kód, ktorý by mal spôsobiť že Boti toto Fórum navštívia len raz za 3 dni (takže napr. ak Google.com indexuje dnes, ďalšie indexovanie by mal robiť o 3 dni). Či to bude mať nejaký účinnok to sa uvidí až za pár dní.

Pár dní to takto nechám, ak sa transfer zníži (a tým aj zaťaženosť servera vraj spôsobovaná Fórom) tak to nechám takto natrvalo.

Ak by sa to viditeľne neznížilo tak mám v zálohe ešte niekoľko vecí navyše, čo by mohli tiež vyriešiť zníženie transferu.

Pre porovanie uvádzam návštevnosť Fóra za mesiace August a September 2006 kedy Fórum malo vysokú návštevnosť a napísalo sa najviac príspevkov. Všiminite si najmä žlté a oranžové stĺpce, tie sú podstatné:

Na tomto linku si môžete pozrieť návštevnosť za celý rok 2006

Návštevnosť za Január 2007 prudko stúpla, viním za to Morfeo.cz a možno aj iní Boti sa tu premávajú:

Na tomto linku si môžete pozrieť návštevnosť za celý rok 2007

Všimnite si transfer za včerajší deň (to je ten červený "stĺpček" na čísle 27) - v tabuľke pri ňom visí hodnota 566,42 MB, takže za včerajší deň sa prenieslo vyše pol GB dát, čo je nehorázne veľa, zatiaľ najviac za Január.

Neviem či je to náhoda, ale pred chvíľou fórum zase nešlo a ke´d naskočilo tak som išiel pozrieť na úvodnú stranu, kto všetko je prihlásený

- no a moje tušenie sa ukázalo ako pravdivé

zase nešlo

Vyhodilo bielu obrazovku o preťaženom serveri?

OK, zablokoval som Morfeo.cz cez .htaccess

snáď to pomôže.

aj mne vyhodilo...dnes 2krat zatial :lol: to iste co vcera

Morfeo.cz dostal ban.

Pracovníkom Centrumu pošlem diplomatickú nótu, kde budem žiadať vysvetlenie prečo ich bot tak neúmerne preťažuje server a vyrobil trafik 5 GB za január (čo je polovica celého transferu).

Samozrejme ešte počkáme či ten ban čo som dal Morfeu splní účel. Možno aj iný bot sa na tom podieľa, najviac Yahoo, ale ten doteraz nikdy nerobil problémy.

No čo ako???

zaznamenal niekto tú bielu obrazovku odvtedy ako dal Axel morfeo-vi stopáčika???

tomassi, ja viem, že morfea velice nemáš rád ... :lol:

ale raz sa objavila ... :)

U mňa dva krát

Mne tiež teraz par krát vyhodilo chybu.

Toto už nemôže byť spôsobované týmto webom. Obmedzil som všetko čo sa dalo. Skôr si myslím že provider porobil nejaké zmeny na serveri, ktoré nie sú zlučiteľné s chodom tohto webu.

a mňa vyhodilo práve teraz..... :lol:

dneska to facha v pohode

Obmedzil som search botov, aby videli len sekcie a kategórie, uvidia aj zoznam tém, ale keď kliknú na nejakú tému tak im vyhodí chybu, že nemajú prístup. Malo by to znížiť transfer, takže uvidíme či to pomôže.

Ak problémy budú pretrvávať tak s providerom to chlapsky preberieme.

zatiaľ mi to dnes vyhodilo len jediný krát poobede

No ale teraz mi všetko ide úplne svižne. Asi sem budem chodiť iba v noci.

Od 23:07:58 po 0:41:50 mám tu v http logu 1922 pokusov ako sa Morfeo.cz snaží dostať na tento web.

Na to sa ani Google s Yahoo nechytajú.

Všiminite si červený stĺpček na č. 28. Transfer sa podarilo stiahnúť na 284,5 MB (a to Morfea.cz som blokol až poobede). A aj tak je to výrazný pokles oproti 566,5 MB ktorý sa spravil deň predtým.

od posledného oznamu o preťažení servera / celý deň nič, večer pár krát / ani jeden oznam až doteraz

/ a červený stĺpček 29. je malinkatý /

/ toto zmažem, len je to poznačené, aby som nezabudla /

Toto s transferom nemá nič. Problém je niekde úplne inde a neviem kde.

Drahy Axel, prave vecer to tu blblo, presnejsie okolo 23:00 a neskor, vtedy to padlo, takze ani vecerne hodiny nie su pred padom iste....

Ono to blbne od soboty.

Provider mi povedal akurát len to že súbor forums/index.php využíva výkon procesora na 25-30%

Odstránil som zo zdrojáku fóra všetky skripty (nechal som len jeden na meranie návštevnosti, ktorý je tam už od apríla 2006) ale moc to nepomohlo.

V HTTP_error logu mám veľa takýchto záznamov:

[Tue Jan 30 14:46:22 2007][error] [client 213.29.7.12] Request exceeded the limit of 10 internal redirects due to probable configuration error. Use 'LimitInternalRecursion' to increase the limit if necessary. Use 'LogLevel debug' to get a backtrace.

IP adresa odkazuje na server centrum.cz

Pravdepodobne vyhľadávací robot "holmes" ktorý patrí full-textovému vyhľadávaču morfeo.centrum.cz posiela na toto Fórum príliš veľa requestov, ktoré zaťažujú celý server. Nezdá sa mi to, ale je to jediné vysvetlenie. Bude sa to riešiť (možno aj s centrum.cz)

Trochu som googlil. Tento problém nemáme iba my. Biele stránky s hláškami "Aplikácia prekročila povolený limit BLA BLA" má viacerovo webov ktoré hostujú u toho istého providera ako my. Takže problém nie je s týmito stránkami FSP Portálu, ale priamo u toho kto tieto stránky hostuje.

Axel

ako na to pozerám buď pokúšaš šťastie alebo si ten problém aspom z časti vyriešil

inak si totiž Morfeovú prítomnosť vysvetliť neviem

Morfea som sem pred chvíľou pustil. Morfeo s tým nič nemá. Keď sa tu preháňa od Vianoc a doteraz nerobil problém tak nemôže byť za problémami, ktoré sa tu dejú za posledné 4 dni.

Chyba nie je u nás, ale u providera

len tomassi Morfea.cz veľmi nemá rád / a akosi nakazil aj mňa :lol: /

ja viem, áno

:)