MySql - Fino a quanto lo spingete?

[Dragone67]

E se fossero le query non ottimizzate ?

Comunque io ho fatto la prova di mettere le connessioni permanenti ed ho dovuto toglierle subito perchè consumavano una marea di memoria.

Hai mai ottimizzato le tabelle ?

Byez.

Forum calcio

[Bukowski]

quote:Originally posted by Startx

Bukowski, le connessioni di MySQL o di Apache non corrispondono agli utenti online. Difficilmente gli utenti online interrogano il database TUTTI contemporaneamente perché dopo aver eseguito le query spesso si soffermano a leggere il risultato. Quindi 500 connessioni contemporanee sono sicuramente molto più di 500 utenti online...
Apache poi è molto flessibile riguardo questi parametri, infatti se disabiliti "keep alive" le connessioni si aprono e si chiudono continuamente ad ogni oggetto richiesto, così le connessioni contemporanee scendono ma ovviamente le prestazioni decadono. Anche abbassare il timeout riduce il numero di connessioni contemporanee a parità di utenti online...
E' importante analizzare i log per capire come ottimizzare, spesso si possono fare miracoli cambiando un parametro...

Spetta spetta .. lo so ma ti ringrazio comunque per la spiegazione che sicuramente servirà a chi passerà di qui.
Startx, cmq i miei complimenti per la tua ottima preparazione, ne sai veramente parecchio, complimenti ancora!

Chiedo scusa perchè mi sono espresso con sufficienza

L'Apache per quanto configurabile ha dei limiti e se non disponi di altri IP sulla stessa macchina è un pò un casino in quanto non hai la possibilità di installarne altri, come spesso faccio io.
Insieme al mio collega (che per queste robe è 100.000 volte più pratico di me) provammo vari settaggi dell'Apache, compreso abbassare il timeout ma notammo un incremento sostanziale circa le richieste andate fallite. Perchè sinceramente non lo so.
Quello che so per esperienza è che oltre le 500 su Apache non puoi andare, che il MySql ciuccia un casino di CPU.
Credo che la difficoltà sta nel capire quand'è che le cose possono migliorare grazie a certi settaggi e stabilire invece quand'è che più di cosi non si può spingere. Ecco, questa è la mia paura e il Topic nasce proprio da questa.

In questo periodo sto testando il thttpd che è una sorta di APACHE più appropriato per immagini, swf e file da downloadare, i risultati sono discreti.

Perchè uso Maxthon?

[444523]

quote:
Spetta spetta .. lo so ma ti ringrazio comunque per la spiegazione che sicuramente servirà a chi passerà di qui.
Startx, cmq i miei complimenti per la tua ottima preparazione, ne sai veramente parecchio, complimenti ancora!

Chiedo scusa perchè mi sono espresso con sufficienza

L'Apache per quanto configurabile ha dei limiti e se non disponi di altri IP sulla stessa macchina è un pò un casino in quanto non hai la possibilità di installarne altri, come spesso faccio io.
Insieme al mio collega (che per queste robe è 100.000 volte più pratico di me) provammo vari settaggi dell'Apache, compreso abbassare il timeout ma notammo un incremento sostanziale circa le richieste andate fallite. Perchè sinceramente non lo so.
Quello che so per esperienza è che oltre le 500 su Apache non puoi andare, che il MySql ciuccia un casino di CPU.
Credo che la difficoltà sta nel capire quand'è che le cose possono migliorare grazie a certi settaggi e stabilire invece quand'è che più di cosi non si può spingere. Ecco, questa è la mia paura e il Topic nasce proprio da questa.

In questo periodo sto testando il thttpd che è una sorta di APACHE più appropriato per immagini, swf e file da downloadare, i risultati sono discreti.

Perchè uso Maxthon?

Potresti provare ad aumentare ad 1 Gb di ram, perchè davvero 512Mb sono pochi.
Ad ogni modo ti dò l'hardware usato da Gaioline:
Hardware: 40+ web servers, 11 database servers (4 dedicated to forums), 1 memory cache server
Qual'è il succo del discorso? E' che forse dovrai incominciare a pensare a dei server cluster...

ad esempio ques'altro forum: http://forums.offtopic.com/ che mediamente ha 600-700 utenti online con punte di mille ha questa configurazione:
Hardware: 5 Web Servers each with Dual Xeon 3.0 Ghz Processors, 2GB Ram, Ultra 320 15k SCSI Drive
Forse è un po' eccessivo per il loro carico attuale, ma probabilmente contano di espandersi ancora di più e soprattutto a rendere sempre veloce il sito con qualsiasi carico...

[Startx]

Bukowski, ti ringrazio per i complimenti e non è necessario che ti scusi... però spero ti faccia piacere sapere che in realtà il limite di 500 si può superare facilmente... Il problema risiede nel numero di File Descriptors con cui è compilato Apache; questo numero indica il numero massimo di file che Apache può aprire contemporaneamente. Di default, a seconda del sistema operativo, viene compilato con un numero di FD ridicolo (1024 o in certi casi addirittura 256...), ecco perché non riesci ad andare oltre 500... Io lo ricompilo sempre con 32768 File Descriptors e va che è una meraviglia... Ma il problema è che ci vuole molta memoria... 512 MB non bastano.

Su FreeBSD c'è poi un altro problema che è il numero di semafori che di default è molto basso... non sono pratico di FreeBSD ma credo si debba ricompilare il Kernel. Su Linux questo problema non è rilevante.

Nell'esempio tuo, quando hai abbassato il timeout sono aumentati gli errori perché gli utenti con connessioni più lente non riuscivano a visualizzare gli oggetti entro il tempo che avevi definito. Fino a 45-60 secondi è accettabile, meno non è consigliabile.

Thttpd è ottimo, ma non provare a compilarlo con PHP perché gestisce le richieste serializzandole, questo significa (semplificando molto...) che finchè non completa una cosa non può farne un'altra... va bene per lo statico ma sul dinamico diventa una rovina...

[Bukowski]

@Startx ... sono dei consigli preziosissimi .. mi metto subito al lavoro!!
Grazie mille

Perchè uso Maxthon?

[Bukowski]

[u]Giovedi 16 Giugno</u>
Rinnovo la mia richiesta d'aiuto a StartX e 444 ...
i miei problemi con MySql sembrano non finire mai

Vi spiego subito l'arcano.
Nei momenti di intenso traffico il MySql (portato a 350max connection) va in saturazione.
Come mio solito fare in questo caso è di spegnere 20sec APACHE, lasciare che si svuoti un pò il server e farlo ripartire. Generalmente questa operazione in 3 anni ha sempre funzionato.

Ora invece mi accade che anche se spengo APACHE, non solo il MYSQL e tutti i suoi 350 processi (che strano, veramente strano!) non si svuotano, ma facendo un "TOP" nell'ssh il MYSQL arriva ad occupare il 100% delle risorse della macchina (2.4GHz Celeron - 1024MB RAM ).

Sono 2 settimane che monitorizzo questa cosa ma non ne vengo a capo, eppure i settaggi sono gli stessi che ho in altre macchine.
Certo, questo MySql arriva a 80query al secondo di media, non è poco, ma non è neanche tantissimo.

Ovviamente se apro di più il rubinetto delle max_connection la saturazione avviene addirittura prima del tempo classico e non si svuota neanche morto.

Avete idee?

Grazie mille

Perchè uso Maxthon?

[sauda]

80 query/secondo? Folle direi! Un database non è fatto per questo genere di cose. A questi livelli vanno usati spazi di memoria RAM condivisa e accessibile da tutte le pagine e sessioni di pagine.

Comunque i prodotti linusari opensource sotto stress hanno quasi sempre malfunzionamenti incomprensibili che portano ad un uso di risorse macchine erroneamente alto o addirittura totale (l'ho visto succedere su iptables, apache e mysql).

Ma nessun linusaro lo ammetterà mai.

Anzi loro spergiurano che va sempre tutto bene.
Ma quando li metti davanti a macchine come una che ho dovuto gestire io e che doveva elaborare 200.000 pagine php al giorno allora vedi i linusari impegnati nel loro sport che più temono: l'arrampicata sugli specchi nel tentativo di difendere linux anche quando è indifendibile.

P.S.
Detto questo preciso che certamente preferisco linux a windows, ma io almeno ho le p...e per ammettere che linux ha le sue (grosse) carenze e non è Dio in terra.

[Daniele80]

non sono un sistemista, però se hai tutto questo traffico e non puoi passare a sql server o ad oracle l'unica cosa che puoi fare è aumentare le risorse hardware

un bel processore 3Ghz dual processor, + ram e gestirti il sito tramite load balancing

in questo modo vedrai che le prestazioni aumenteranno notevolmente visto che i processi saranno smistati da + CPU

[seflow]

Ciao Bukowski,
se ti interessa ancora ho scritto per i miei clienti un brevissimo tutorial su come ottimizzare le prestazioni del MySQL. Questi parametri sono ottimizzati in base al setup che facciamo di default alle macchine, ma non credo ci sia molta differenza dal tuo.

Ti lascio il link: http://assistenza.seflow.net/forum/v...ic.php?p=33#33

Matteo Berlonghi - matteob@seflow.net WebFarm Manager http://www.SeFlow.net Shared & Dedicated Professional Hosting

[Bukowski]

Comincio col ringraziare vivamente tutti e 3 per i consigli cosi preziosi.

@sauda
Sei sicuro che 80query al sec. siano troppe? Io ne ho fatte girare un 100inaio quasi senza problemi su una macchina praticamente identica.
E poi, non so se è un dato rilevante visto che parli di 200k di pagine php, il mio apache ne processa 1mln e mezzo al giorno .. sto a esagerà?
Io sono per le cose che vanno meglio, la 'marca' non la guardo proprio

@Daniele80
Quindi l'unica sarebbe rafforzare la macchina. Ok.

@Seflow
Ho letto il tuo cnf però ogni MySql dovrebbe avere un setup a sè, considerando le componenti del Server, il tipo di query e il traffico che questo sopporta.
Sarebbe interessante capire quel settaggio fino a quanto sei riuscito a spingere la macchina e di che macchina si trattava.
Le tue caratteristiche magari possono andar bene per un processore Dual (faccio un esempio) con 2GB di Ram .... o chissà che!


Ringrazio tutti per le delucidazioni, non si finisce mai di imparare

Perchè uso Maxthon?