[IAN]Uvodnik o vyhazovani dat

[Jan Skalicky]

Ahoj,
Pokousel jsem se (zatim neuspesne :) zjistit, kdo se skryva pod nickem maud lebowski, ale zminena nechtela byt prozrazena (pze na muj mejl forwardovany od kodla neodpovedela:). jen me zajima, ktery z prednasejicich to byl. ja si totiz zadneho takoveho nevybavuju... pokud nekdo z vas vi, tak pls napiste, jsem zvedavej :)

s pozdravem
honza
============================================================
JAN SKALICKY (JS), janskalicky na centrum...,skalicky na physics....cz
+420-777-641477 Address: P. Bezruce 440, 563 01 Lanskroun, Czech republic
student @ Masaryk University Brno, astronomer, member of
Astronomical Society in Hradec Kralove (ASHK), MEDUZA group
Czech Astronomical Society (CAS) - Variable Star Section (B.R.N.O.)
============================================================



______________________________________________________________
> Od: "Lukas Kral" <lkral na centrum...>
> Komu: <ian na amper....muni.cz>
> Datum: Wed, 08 Dec 2004 21:09:22 +0100
> PÖedmŠt: Re: [IAN]Uvodnik o vyhazovani dat
>
> Neodpust§m si pÖispŠt svou troíkou do mlna, protoe s t§mhle problřmem pracuji skoro dennŠ :-)
> 
> Naprosto souhlas§m s t§m, e nelze bez rozmyslu vymazat z jakřkoli namŠÖenř zívislosti bod jen kvli tomu, e se ním "nel§b§".  Obĺas se ale pÖi mŠÖen§ ojedinŠle vyskytne tzv. hrubí chyba (nikoli systematickí, PetÖe, to je nŠco jinřho, viz díle), tÖeba ten mrak na CCD sn§mku, a vsledkem je, e jeden bod je vraznŠ jinde ne víechny ostatn§. Pokud bychom jej brali v vahu napÖ. pÖi proklídín§ namŠÖench dat nŠjakou kÖivkou, negativnŠ by ovlivnil vsledek vpoĺtu (metoda nejmení§ch ĺtverc zm§nŠní Maude si s "ul§tlmi" body neporad§!).
> 
> Je tedy nutnř se tŠchto tzv. odlehlch bod zbavit. Na to existuj§ v zísadŠ dva postupy:
> 1) dohledat pÖ§ĺinu monř hrubř chyby (pokud to jde), a pokud je nalezena, bod vyÖadit (to je to co popsal Petr -- prohlřdnout dan sn§mek, jestli nen§ nŠco ípatnŠ)
> 2) identifikovat odlehlř body na zíkladŠ statistiky
> 
> Druh postup se pou§ví, pokud nelze zpŠtnŠ dohledat pÖ§ĺiny hrubch chyb, a pokud míme dostatek spolehlivch bod. PÖedpokladem je, e sprívnŠ namŠÖenř body jsou gaussovsky rozloeny kolem stÖedn§ hodnoty A se stÖedn§ kvadratickou odchylkou S. Statistika Ö§kí, e 99 % bod bude leet v intervalu <A - 3*S; A + 3*S>. To znamení, e pokud nŠjak bod le§ díle ne 3*S od prmŠrnř hodnoty, s 99% pravdŠpodobnost§ je to hrubí chyba (ípatnř mŠÖen§). Meme tedy s klidem vyhízet víechny body lií§c§ se o v§ce ne 3*S od stÖedn§ hodnoty A.
> 
> Pokud je odlehlch bod mnoho, dŠlí se tento postup iterativnŠ -- spoĺ§tí se A a S, vyhod§ se odlehlř body, znovu se spoĺ§tí A a S, znovu se vyhod§ odlehlř body, atd., dokud je co vyhazovat. V pÖ§padŠ e je odlehlch bod jeítŠ v§ce (funguje to a do zhruba 50 %!), lze pou§t razantnŠjí§ vyhazovac§ kritřrium (napÖ. m§sto 3*S jen 2,5*S nebo dokonce 2,2*S).
> 
> Pokud proklídíme nŠjakou zívislost kÖivkou (pÖ§mkou, polynomem, sinusovkou apod.), lze oboj§ spojit dohromady: prolo§me data, spoĺ§tíme rozptyl bod S kolem proloenř kÖivky, vyhíz§me víechny body kterř jsou díle od kÖivky ne 3*S a to víe opakujeme znovu a znovu.
> 
> Na zívŠr jeítŠ nŠco o typech chyb pÖi mŠÖen§, ĺasto se to plete. Ilustrujme si to na pÖ§kladu, kdy chceme dÖevŠnm metrem zmŠÖit dřlku stolu:
> 1) níhodnř chyby
> -- napÖ. ne vdy se na znaĺky metru d§víme pod stejnm hlem
> -- zpsobuj§ rozptyl mŠÖen§ kolem sprívnř hodnoty
> -- daj§ se redukovat opakovín§m mŠÖen§ a zprmŠrovín§m vsledk
> 2) systematickř chyby
> -- napÖ. míme ípatn metr, kter vdy ukíe mení§ hodnotu ne je skuteĺní
> -- zpsobuj§ systematick posun namŠÖenř hodnoty vĺi sprívnř
> -- nelze odstranit opakovín§m a prmŠrovín§m mŠÖen§!
> -- Öeíen§m je pouze kontrola a kalibrace pouitch mŠÖ§tek
> 3) hrubř chyby
> -- napÖ. se spleteme a m§sto 132 cm si zap§íeme 123 cm
> -- pÖ§ĺina vskytu odlehlch bod
> -- Öeíen§ viz víe
> 
> Pokud jste doĺetli a sem, zdrav§ vís
> Lukíí
> 
> _______________________________________________
> Ian mailing list
> Ian na amper....muni.cz
> http://amper.ped.muni.cz/mailman/listinfo/ian
>