BessiB fyrir 23 árum Fjöldi lestra: 1048

MySQL vs CSV (txt) gagnagrunna

Núna áðan var ég að bera saman þessar tvær gerðir að gagnagrunnum. Ég var með 1000 færslur og 10.000 færslur hver með 6 reitum. Síðan voru fjórir mögulegir flokkar og átti að prenta út einn þeirra. Þetta var allt tímamælt með timer scriptinu hans cre sem ég fann á scriptusíðu cooltech
http://www.cooltech.is/phpresrc.is/view.php?id=15

Síðan bjó ég til venjulegt MySQL script og annað script sem vann úr csv skránni.
MySQL scriptið þarf ekki að skýra út en csv scriptið bygðist upp á því að lesa úr því sem venjulegri textaskrá (sem það vissulega er). Splitta hverri línu í array með explode og síðan nota If setningu til að flokka út nothæfar upplýsingar.

Niðurstöðurnar komu mér verulega á óvart.

1000 færslur
————
MySQL scriptið var um 1.8 í keyrslu
Txt scriptið var aðeins um 0.45 í keyrslu

10.000 færslur
————–
MySQL scriptið var um 12.0 í keyrslu
Txt scriptið var aðeins 4.5 í keyrslu

Þetta finnst mér mjög skrítið því kóðinn fyrir csv scriptið er miklu lengri og flóknari en fyrir MySQL scriptið og MySQL á að vera hraður gagnagrunnur.

En hverjar eru ástæðurnar? Er MySQL gert fyrir meiri gagnaúrvinnslu en hér var gagnaúrvinnslan ekki mikil? Er ástæðan að ég er að keyra þetta á Win98 en MySQL er hannað fyrir Linux? Eða er ég að gera einhverja tóma vitleysu?

E-220
——
Tæknigúrúar mega lesa áfram

P.S ég er með Win 98, 800 mhz, 128 mb vinnsluminni, Apache 1.3.12 og MySQL 3.22.21 (held ég).

P.SS Fyrir áhugasama þá koma kóðarnir hér að neðan (nenni ekki að skýra þetta út og veit ekki hvort þetta virkar því ég hef aldrei sent inn svona kóða áður)

MySQL
——
<?php

$data = mysql_connect(“localhost”, “user”,“pass”); 
mysql_select_db (Gestabok); 

?>
<html>

<head>

<title>Tímamæling</title>

</head>

<body bgcolor=“#000000” text=“#FFFFFF” link=“#FFFFFF” vlink=“#FFFFFF” alink=“#FFFFFF”>

<?php

$query = “SELECT * FROM test WHERE Skor = ‘skor 3’ ”; 
$result = mysql_query($query, $data); 

while ($row = mysql_fetch_array ($result)) {

$nr = $row["nr"];
$nafn = $row["nafn"];
$skor = $row["skor"];
$simi = $row["simi"];
$eitthvad = $row["eitthvad"];
$annad = $row["annad"];

# Hér hefst svo útprentunin.
Echo (“$nr $nafn $skor $simi $eitthvad $annad”); 
}

?>
</body>

</html>

TXT
——–
<html>

<head>

<title>Tímamæling</title>

</head>

<body bgcolor=“#000000” text=“#FFFFFF” link=“#FFFFFF” vlink=“#FFFFFF” alink=“#FFFFFF”>

<?php

$filename = “grunnur.txt”; # Nafn skrár
$contents = file($filename); # Öll skráin í einn streng
$lengd = sizeof($contents); # Línufjöldi
$flokkur = “Skor 3”;
$lina = 0;

for ($i = 1; $i <= $lengd;$i++) { # Þetta er endurtekið fyrir hverja línu

$reitir = $contents[$lina]; # Breytan reitir er ein lína í skránni, hún breytist í hvert skipti
$splittad = explode (“;”, $reitir); # Splittar línunni í fjóra (byrjar á núll) hluta (aðskildir með ;)

If ($splittad[2] == $flokkur) {

# Hér hefst svo útprentunin.
Echo ('');
print_r($splittad[0]); 
print_r($splittad[1]); 
print_r($splittad[2]); 
print_r($splittad[3]); 
print_r($splittad[4]); 
print_r($splittad[5]); 
echo ('');
}

$lina = ($lina + 1); # Næsta lína
} # For lýkur
?>
</body>

</html>

Sýnishorn af fjórum færslum í csv gagnagrunni
———
1;Nafn 1;Skor 1;Simi 1;Eitthvað 1; Annað 1
2;Nafn 2;Skor 2;Simi 2;Eitthvað 2; Annað 2
3;Nafn 3;Skor 3;Simi 3;Eitthvað 3; Annað 3
4;Nafn 4;Skor 4;Simi 4;Eitthvað 4; Annað 4

starwars fyrir 23 árum

áhugavert… mikill munur á keyrsluhraðanum!

Fyrra álit

Avatar fyrir 23 árum

MySQL niðurstöðurnar finnst mér mjög furðulegar miðað við tölvuna sem þú ert með. Er MySQL á default uppsetningu eða ertu búinn að stilla það (með my.cnf skrá á rótinni). Það þýðir nefnilega ekkert að nota MySQL með default stillingum ef þú ert með böns af minni því default stillingarnar eru miðað við tölvu með 32MB minni (eins asnalegt og það nú er) og því ertu alls ekki að fá hámarksafköst úr MySQL. Svo skiptir líka miklu máli hvort þú ert með indexa (vísa) á dálkana sem þú ert aðallega að ná í eða raða eftir (munar alveg fáránlega miklu upp á keyrsluhraða).

Fyrra álit

Spirou fyrir 23 árum

Ég held nú líka að MySQL fari ekki að kikka inn fyrr en þú ert kominn með töluvert stærri færslur og lengri lista. Þegar þetta er svona lítið þá snýst þetta aðalega um þægindi við að nota MySQL

Spirou Svalsson

Fyrra álit

Czar fyrir 23 árum

Svo eitt náttturulega, að vinna með sql grunn er töluvert hentugra en texta skrár.

Mér finnst hraða munurinn allveg þess virði.

góð grein samt

_______________________

Fyrra álit

[Notanda eytt] fyrir 23 árum

Byrjarðirðu að mæla tíman þegar áður en þú connectaðir við grunninn og allt. Því það tekur tíma að connecta við mySQL grunninn og Win98 er þar ekki í forustu með hraða.

Svo fynst mér þetta mjög asnalega gert hjá þér:

$nr = $row["nr"];
$nafn = $row["nafn"];
$skor = $row["skor"];
$simi = $row["simi"];
$eitthvad = $row["eitthvad"];
$annad = $row["annad"];

Þetta bæti eiðir upp minni og eikur tíman í keyrstlu. Fljótara hefði verið að nota bara beint $row['...'].

Svo er eitt sem ég sé hjá nær öllum í PHP. Að þeir hafa ekki lesið mikið um strings og muninn á “” og ‘'.
Þegar “..” er notað leitar PHP í gegnum allan streinginn og leitar af \ (esc char) og $variable. Þetta tekur lengri tíman heldur en að nota ’'. Því með '' printar hún bara beint út streinginn.

Fyrra álit

[Notanda eytt] fyrir 23 árum

Digitiality: Samt, undir nákvæmlega þessum kringumstæðum er ekkert líklegra að “” sé hægvirkara en ‘'. Og athugaðu líka að svona virkni er mjög auðveld, jafnvel í assembler, og er því ekkert að breyta neinu gríðarlegu.

Sjálfur nota ég ’ vegna þess að ég vil geta sett HTML kóða inn í streng án þess að nota backslash á gæsalappir, en það er líka eina ástæðan.

Þegar hann er með strengi þar sem ekkert þarf að parsa inni í, skiptir þetta sama og engu máli. Það ætti ekki að vera meira en sirka 3-4 assembler skipanir að athuga hvern staf, og óþarfi er vonandi að taka fram að þú munt aldrei finna hraðamun á ‘ og " á 800MHz vél. Og ég meina aldrei. Það sem skiptir líklega meira máli, er hvort Start-takkinn er uppi eða niðri, eða jafnvel hvar músin er staðsett.

Allavega, nóg um það. Ég er ekki að trúa þessum MySQL-niðurstöðum fyrir fimmaura, vegna þess að ég hef víðtæka reynslu af MySQL, og hún ætti að vera miklu fljótari en 0.14 sekúndur með 1.000 færslur. Ég leggja verulega í vafa umræddar mælingaraðferðir. Það góða við þessa prófun þína er samt sem áður að hún gerir alveg ráð fyrir hversdagsnotandanum. Semsagt, ef ég set ömmu á Win98 (eins ófyrirgefanlegt og það er) og hún setur upp MySQL, veit ég núna að hún ætti kannski frekar að nota bara textaskrár.

En þetta er líka athyglisvert fyrir okkur gúbbana sem vilja hugsanlega fara að nota XML meira. Það þyrfti að prófa svona almennt meira á nothæfum stýrikerfum til að sjá hvenær það er gáfulegra að nota textaskrá.

En svo er annað sem menn mega alls ekki gleyma. Aðalmarkmið gagnagrunna er ekki að vera eins hraðvirkir og þeir mögulega geta. Gagnagrunnar sjá um að halda vel og þétt utan um skrár, bjóða upp á skipulagningarmöguleika (sem er eitthvað sem fæstir MySQL-notendur þekkja alltof vel þar sem MySQL er steingeldur miðað við flest annað, hence the speed), bjóða upp á öryggi, og þá meina ég þannig öryggi að þú getir rifið vélina úr sambandi hvenær sem er, og þá á samt ekkert af gögnum að tapast. Þett’er mjög misjafnt eftir gagnagrunnstegundum og notkun þeirra, en ég tek þetta sem dæmi til að undirstrika að hraði er ekki aðalatriði. Ef svo væri, myndu menn bara nota LDAP. :)

Fyrra álit

jonpall fyrir 23 árum

Hæ Armon.. þú segir “Sjálfur nota ég ‘ vegna þess að ég vil geta sett HTML kóða inn í streng án þess að nota backslash á gæsalappir, en það er líka eina astæðan. ”
… ég nota ávallt “” vegna þess að það þykir standard.. og það er yfirleitt betra ef þú þarft að prenta út HTML kóða að gera ekki t.d “echo ’$bleh' heldur.?> ”>/a

Fyrra álit

jonpall fyrir 23 árum

umm.. andskotans HUGA dæmið strippaði HTML kóðann sem ég skrifaði :( ARGH

Fyrra álit

[Notanda eytt] fyrir 23 árum

Til jonpall:

Ég hef aldrei heyrt um það að “” sé eitthvað meira staðall en ‘'. Reyndar leyfi ég mér að fullyrða hiklaust að svo er ekki. “” og ’' eru notaðir til misjafnra hluta í PHP eins og þú veist. ‘' parsar ekki breytur og slíkt, en “” gerir það hinsvegar. En það að “” sé eitthvað meira standard í einu eða öðru heldur en ’' get ég ekki séð hvernig á að meika nokkurt sense.

Endilega leiðréttu mig samt ef þú getur. :) Og ég hefði áhuga á að sjá restina af svarinu þínu, en Hugi einmitt… parsaði þetta, eins og þú réttilega bentir á. Margir nota þá bara [ í staðinn fyrir <, en þú getur auðvitað notað bara &gt; og &lt; :)

Fyrra álit

izelord fyrir 23 árum

hvernig væri þá að senda inn bætta útgáfu af grunninum?

Það besta sem guð hefur skapað er nýr dagur.

Fyrra álit

IcEEyE fyrir 23 árum

Ég er nú ekkert sértaklega hissa á því að CSV-ið sé hraðvirkara og held ég að það skipti ekki nokkru mál hvaða gagnagrunn þú notar. Skoðum forritin nánar eða nánar tiltekið lykkjuna sem keyrð er 1.000 eða 10.000 sinnum. Skoðum hvernig ein lína er brotin upp í breitur eða ( fields )

—————– CSV - Texta Skrá —————

$splittad = explode(“;”, $reitir);

—————– MySQL - Grunnur —————-

$nr = $row["nr"];
$nafn = $row["nafn"];
$skor = $row["skor"];
$simi = $row["simi"];
$eitthvad = $row["eitthvad"];
$annad = $row["annad"];

Hvort haldið þið nú að sé hraðvirkara? Í hvert sinn sem kallað er á $row["..."]; þarfa að taka strenginn sem kemur inn, bera hann saman við nöfn á þeim fieldum sem til eru í $row. Næst þarf að athuga af hvaða týpu fieldið er, ef það er t.d. tala þarf að breita tölunni í streng og skila honum út. Semsagt ansi flókin aðferð og afar þung miðað við hvað þarf að gera í CSV. explode er líklega gamalgróin skipun og því líklega vel optimized. Eina sem hún þarf að gera er að rúlla í gegnum strenginn, finna ; og afrita strengi. Því er ljóst að þessi partur er miklu hraðvirkari fyrir CSV en SQL eða hvaða gagnagrunn sem er ef því er að skipta.

Reyndar þarf að keyra lykkjuna oftar fyrir CSV því búið er að gera SQL Query. Hvað eru margar færslur af gerðinni Skor 3?

Fyrra álit

IcEEyE fyrir 23 árum

Úpps. Gleymdi tvennu.

Keyrir MySQL keyrir í sér process.
Samskipta mátinn við MySQL er í gegnum interface callað Dispatch sem er sértilfelli af COM.

Þetta er því dálítið mikið spurning um hvernig SQL er set upp. T.d. þegar þú gerir Query færðu þá öll gögnin til baka strax frá MySQL eða þarfti að fara til baka yfir í MySQL processinn í hvert sinn sem þú færir þig í næstu línu?

Einnig gætir þú lent í því að purfa að fara í MySQL processinn í hvert sinn sem þú framkvæmir.

$row["..."];

Einnig má geta þess að script tala við gagnagrunna í gegnum Dispatch Interface sem er sértilfelli af COM. Að kalla á Dispatch fall er afar dýrt miðað við að kalla á venjuleg föll.

Fyrra álit

Augustus fyrir 23 árum

Mér sýnist vera nokkuð augljóst að MySQL grunnurinn var ekki indexaður, það skiptir gríðarlegu máli upp á hraðann

Summum ius summa inuria

Fyrra álit

[Notanda eytt] fyrir 23 árum

Eins og einhver orðaði það þá játa ég það alveg að ég kann álika mikið og amma á MySQL (kannski aðeins meira)
Auk þess er gagnagrunnurinn ekki INDEXaður. Ég skil ekki alveg hvað það á að gera eða hvernig það eykur hraðan. Ég prófaði að Indexa skor en fékk út eftirfarnandi villu (MySQL said: BLOB column ‘skor’ used in key specification without a key length). Þá prófaði ég að setja lengdina en fékk (MySQL said: You have an error in your SQL syntax near ‘(6) not null ’ at line 1). Ég gerði hana null en þá kom /MySQL said: You have an error in your SQL syntax near ‘(6) ’ at line 1) og núna er ég strand. Prófaði bæði að búa til nýjan og breyta.
Þetta sem Avatar talar um vinnsluminnið þá reyndi ég að finna þessa breytu en fann hana ekki.
Síðan breytti ég þessum löngu row array skipunum í $row["..."] en það hafði engin teljandi áhrif.
Færði líka tímamælarann niður fyrir conection setninguna og það flýtti þessu um u.þ.b 1.
Þetta með Dispatch og Com sem IcEEyE og um hvort ég tengist við grunninn við hverja línu hef ég ekki hugmynd um, hvernig athuga ég það?
Skor er nákvæmlega einn fjórði af færslunum, reyndar fjórða hver færsla það ætti varla að skipta máli.

E-220

Fyrra álit

[Notanda eytt] fyrir 23 árum

Þú notar ekki blob í svona :)))

Meðan ég man, fín leið til að sækja gögn úr mysql row set er:

while (list($nr, $nafn, $skor, $simi, $eitthvad, $annad) = mysql_fetch_row($query_result)) {
// Gera eitthvað sneddí hér.
}

Fyrra álit

Avatar fyrir 23 árum

Ekki segja mér að þú hafir stillt alla textadálka á TEXT týpuna. Það áttu nefnilega bara að gera fyrir texta sem er lengri en 255 stafir. Ef þú ert með minna eða jafnt og 255 stafa dálka þá áttu að nota VARCHAR(255), eða eftir því hvað þú vilt hafa dálkana stóra.

Svo er ALGERT grunnatriði að vera með Primary Key á hverri töflu. Þar gefuru hverri röð einkvæmt gildi (þú getur búið til primary key úr mörgum dálkum ef þú vilt það frekar, þá gildir að samsetningarnar á gildunum í dálkunum séu einkvæmar, skoðaðu manualinn fyrir leiðbeiningar um hvernig þetta er gert). Primary Key er nefnilega sjálfkrafa indexaður og ef þú leitar eftir einhverjum gildum í honum verðum þetta miklu hraðvirkara. Athugaðu líka eins ég sagði áðan að þar sem ekki er hægt að setja indexa á TEXT dálka (TEXT eru eiginlega BLOB eða réttara sagt CLOB dálkar, lestu manualinn fyrir frekari skýringar) þá áttu alltaf að nota VARCHAR dálka ef þú getur. Svo að sjálfsögðu áttu að nota INT o.s.frv fyrir þá dálka sem á við. Töfluskipulagið skiptir nefnilega öllu máli upp á hraða.

Sendu inn SQL setninguna sem bjó til töflurnar fyrir þig ásamt útskýringum og ég skal segja þér ef ég sé eitthvað að þeim ásamt því að gefa þér ábendingar um hvernig á að laga þær.

Gangi þér annars vel með MySQL í framtíðinni ef þú ákveður að nota hann. Ég er búinn að nota hann í vefþróun núna í eitt ár og finnst hann tær snilld. Tekur smá tíma að læra almennilega á hann en mér finnst hann sparka alvarlega í rass SQL Server frá MS, þó svo að þeir séu ekki ætlaðir sama markaði reyndar en mér er sama, MySQL kostar ekkert í þróun (og já, ég kann á SQL Server líka áður en þið MS menn verðið æfir yfir þessari yfirlýsingu hjá mér).

Og Hananú!

Fyrra álit

ask fyrir 23 árum

hehe, ég ætla nú ekki að stofna neitt stríð á milli grunna, en ég ætla að leyfa mér að mótmæla því að MySQL taki SQL server í rassgatið :)
- MySQL höndlar ekki flókin relation eins og subqueries (subselects)
- Transaction er eitthvað sem er ekki fully supported í MySQL
- Hvað með foreign Keys í MySQL?
- Stored Procedures og Triggers eru ekki til. (event procedures í Access)
- meira segja access höndlar flókin relation betur en MySQL og getrows í access býður upp að gögn eru sótt hraðar.

Þið sjáið fyrst mun á hraða á Access og MySQL þegar þegar maður er kominn með hundrað þúsunda færslur.

Ég ætla að halda því fram að MS SQL sé betri en MySQL og meira segja Access líka á sumum sviðum :)

Bestu Kveðjur
ask

Fyrra álit

Avatar fyrir 23 árum

Hehe… tók aðeins of stórt upp í mig þarna. Mest af þessu er nú rétt hjá þér en lof mér að bæta smá við þetta.

- Mest af því sem þú telur upp að vanti í MySQL stendur til að bæta inn í það í næstu útgáfu (þ.e. version 4.0, en nú þegar er hægt að nálgast þróunarútgáfu af því á heimasíðunni þeirra). Þar má telja Transactions (eru núna en eru ekki fullkomin), stored procedures, subqueries og foreign keys. Þrátt fyrir allt þetta kemur til með að verða hraðaaukning á MySQL (samkvæmt þróunardeildinni).

- Ég er alls ekki sammála því að Access sé fljótari að sækja gögn en MySQL. Þau fáu skipti sem ég hef notað Access (sem var aðallega í leiðinlegum skólaverkefnum), kom hann hræðilega út hvað varðar hraða. Gaman væri ef þú gætir bent mér á síðu sem sýnir fram á þetta.

- MS SQL er með gjörsamlega ekkert java support (reynda er kominn beta JDBC driver núna fyrir SQL Server 2000 en honum er stórlega ábótavant og vantar mikið upp á að komast nærri góðum driver, t.d eru prepared statements lúshæg). Þetta er reyndar einn stærsti mínusinn í mínum augum varðandi MS SQL því ég þróa vefforrit einungis í java (JSP, servlets og svoleiðis). Sennilega þessvegna sem mér líkar aðallega illa við hann. :)

- Ég gerði prófanir á MySQL um daginn með 100.000 manns í þjóðskráni og gerði nokkrar prófanir m.a. setningar sem náðu í alla sem byrjuðu á “El” og voru í póstnúmerinu 110, ásamt fleiri prófunum og ALDREI fór tíminn sem tók að keyra fyrirspurnina yfir 2 sekúndur.

- Eins og ég hef sagt áður í þessum umræðum, þá skiptir öllu máli að grunnurinn sé rétt hannaður og rétt settur upp. Þ.e. til dæmis hægt að stilla (með my.cnf) hversu mikið minni MySQL notar (þetta er eitthvað sem alltof fáir gera því hann er default stilltur á að taka aðeins 32MB af minni). Þetta munar alveg ótrúlega miklu á úrvinnslutíma fyrirspurna.

Fyrra álit

kjwise fyrir 23 árum

MySQL verður áhugavert tól þegar það er komið með Sprocca support.
Þangað til held ég mig við textagrunn eða MS SQL 7 :)

Fyrra álit

superhuman fyrir 22 árum, 10 mánuðum

DBCinn sem þú ert að nota gæti líka verið vandamálið. Prufaðu að keyra sql skipunina þína á SQL servernum þá getur verið að þú fáir upp allt annan tíma.

Sjálfur hef ég ekki mikla reynslu af MySQL en það sem ég hef notað hann í hefur gengið mjög vel.

Fyrra álit

[Notanda eytt] fyrir 22 árum, 10 mánuðum

MySQL styður foreign keys… hef að vísu litla reynslu af því en stuðningurinn er til staðar, hvort hann sé góður eða ekki hef ég ekki svar við.

Fyrra álit

[Notanda eytt] fyrir 23 árum

Það sem ég giska á er:

a) Þú ert ekki með neina indexa eða vitlausa indexa á töflunni.

b) Mysql á win98 sé vel gallaður :)

Ég hef t.d. verið með þjóðskránna í mysql. Þar tók leit eftir Helgi* ca 0.1 sec minnir mig (ár síðan).

Það er eitthvað að þessu hjá þér :)

Fyrra álit

Giraffi fyrir 23 árum

Allar þessar tölur koma mér mjög á óvart því ég bjóst ekki við svona góðum árangri á FAT32 (eða NTFS?). Það er fyrirliggjandi að MySQL og windows eru ekki góðir vinir… ALLS EKKI góðir vinir. Leymmér að mæla með linux.

Fyrra álit

Avatar fyrir 23 árum

Reyndar eru MySQL og Windows NT (þ.á´m Win2k og WinXP) ágætis vinir (efast um Win9x og ME. Þessi stýrikerfi finnst mér vonlaust að nota í alla þróunarvinnu, alveg sama hvaða). MySQL keyrir sem service og keyrir mjög vel þrátt fyrir að vera á sömu vél og vefserver. Hef reyndar ekki séð hann vinna á Linux en mér líkar hann mjög vel á NT (með NTFS að sjálfsögðu).

Fyrra álit

Vefsíðugerð

Vefsíðugerð

Ofurhugar

Stjórnendur

Hverjir eru inni

Greinar

MySQL vs CSV (txt) gagnagrunna

Dýr

Dægurmál

Fræði

Leikir

Lífið

Lífsstíll

Margmiðlun

Menning

Skjár

Sport

Tónlist

Tækni

Vélar

Hugi