Testovanie hypotéz

Jednoduchý a stručný návod na testovanie hypotéz pomocou Pythonu

Obrázok z: http://www.advanceinnovationgroup.com/blog/median-based-hypothesis-testing

Na tomto blogu uvediem stručný návod na testovanie hypotéz pomocou štatistických metód v Pythone. Testovanie hypotéz je súčasťou vedeckej metódy, ktorú všetci poznáme, niečo, čo sme sa pravdepodobne naučili v našich raných vzdelávacích rokoch. V štatistike sa však veľa experimentov robí na vzorke populácie.

„Stanovenie toho, čo nám vzorová sada pozorovaní hovorí o navrhovanom vysvetlení, vo všeobecnosti vyžaduje, aby sme vyvodili záver, alebo ako to nazývame štatistici, k odôvodneniu s neistotou. Odôvodnenie s neurčitosťou je jadrom štatistickej inferencie a zvyčajne sa vykonáva pomocou metódy nazývanej testovanie nulovej hypotézovej významnosti. “ -Ovens.

Ako príklad pre tento blog použijem súbor európskych futbalových údajov, ktorý sa nachádza v Kaggle, a vykonám testovanie hypotéz. Dataset nájdete tu.

Krok 1

Vykonajte pozorovanie

Prvým krokom je pozorovanie javov. V takom prípade to bude: Je vplyv obrannej agresie na priemerné povolené ciele?

Krok 2

Preskúmajte výskum

Dobrým spôsobom uvažovania je práca múdrejší a nie ťažšia. Jednou z dobrých vecí je zistiť, či už existuje výskum týkajúci sa vášho pozorovania. Ak áno, môže vám pomôcť pri zodpovedaní našej otázky. Uvedomenie si už existujúceho výskumu alebo experimentov nám pomôže štruktúrovať náš experiment lepšie, alebo možno dokonca odpovieme na našu otázku a nemusíme experiment experimentovať v prvom rade.

Krok 3

Vytvorte nulovú hypotézu a alternatívnu hypotézu

Alternatívnou hypotézou je náš vzdelaný odhad a nulová hypotéza je jednoducho opakom. Ak alternatívna hypotéza uvádza, že existuje významný vzťah medzi dvoma premennými, nulové hypotetické stavy neexistuje žiadny významný vzťah.

Naša nulová hypotéza bude: Neexistujú žiadne štatistické rozdiely v cieľoch povolených s tímami s hodnotením obrannej agresie vyšším alebo rovným 65 v porovnaní s tímami pod 65.

Alternatívna hypotéza: Je povolený štatistický rozdiel v cieľoch v tímoch s hodnotením obrannej agresie vyšším alebo rovným 65 v porovnaní s tímami pod 65.

Krok 4

Určite, či je naša hypotéza jednostranným testom alebo dvojstranným testom.

Jednostranný test

„Ak používate hladinu významnosti 0,05, jednostranný test umožňuje všetkým vašim alfa testovať štatistickú významnosť v jednom smere záujmu.“ Príkladom jednostranného testu by boli „Futbalové tímy s hodnotením agresivity nižším ako 65 rokov umožňujú štatisticky podstatne viac gólov ako tímy s hodnotením nižším ako 65 rokov.“

Test s dvoma okamihmi

„Ak používate hladinu významnosti 0,05, dvojstranový test umožňuje polovici vášho alfa testovať štatistickú významnosť v jednom smere a polovicu vášho alfa testovať štatistickú významnosť v inom smere. To znamená, že 0,025 je na každom konci distribúcie štatistických údajov o teste. “

Pomocou dvojstranného testu testujete štatistický význam v oboch smeroch. V našom prípade testujeme štatistický význam v oboch smeroch.

Krok 5

Nastavenie úrovne významnosti prahu (alfa)

(hodnota alfa): Okrajová hranica, pri ktorej sme v poriadku so zamietnutím nulovej hypotézy. Hodnota alfa môže byť akákoľvek hodnota, ktorú sme nastavili medzi 0 a 1. Najbežnejšou hodnotou alfa vo vede je 0,05. Hodnota alfa nastavená na 0,05 znamená, že sme v poriadku so zamietnutím nulovej hypotézy, aj keď existuje 5% alebo menej šancí, že výsledky sú spôsobené náhodnosťou.

P-hodnota: Vypočítaná pravdepodobnosť náhodného príchodu týchto údajov.

Ak vypočítame p-hodnotu a vyjde na 0,03, môžeme to interpretovať ako povesť „Je tu 3% šanca, že výsledky, ktoré vidím, sú skutočne dôsledkom náhodnosti alebo čistého šťastia“.

Obrázok z Learn.co

Naším cieľom je vypočítať p-hodnotu a porovnať ju s naším alfa. Čím je alfa nižší, tým je test prísnejší.

Krok 6

Vykonajte odber vzoriek

Tu máme náš súbor údajov s názvom futbal. Na náš test potrebujeme v našom súbore údajov iba dva stĺpce: team_def_aggr_rating a góly_allowed. Vyfiltrujeme ich do týchto dvoch stĺpcov a potom vytvoríme dve podmnožiny pre tímy s ratingom defenzívnej agresie vyšším alebo rovnajúcim sa 65 a tímy s ratingom defenzívnej agresie pod 65.

Len pre zhrnutie nášho testu hypotéz:

Vplyv obrannej agresie na priemerne povolené ciele. Nulová hypotéza: Neexistuje štatistický rozdiel v cieľoch povolených v tímoch s hodnotením obrannej agresie vyšším alebo rovným 65 v porovnaní s tímami pod 65 rokov. Alternatívna hypotéza: Existuje štatistický rozdiel v cieľoch povolený v tímoch s hodnotením obrannej agresie vyšším ako alebo rovný 65 verzus tímy pod 65 rokov. Test alfa s dvojitým chvostom: 0,05

Teraz máme dva zoznamy vzoriek, na ktorých môžeme vykonávať štatistické testy. Pred týmto krokom vykreslím dve distribúcie, aby som získal vizuálny dojem.

Krok 7

Vykonajte T-test s dvoma vzorkami

T-test s dvoma vzorkami sa používa na určenie, či sú dva prostriedky populácie rovnaké. Na tento účel použijeme modul Python nazvaný statsmodels. Pokiaľ ide o statsmodely, nebudem sa zaoberať príliš podrobnosťami, ale dokumentáciu si môžete pozrieť tu.

Krok 8

Vyhodnotiť a uzavrieť

Pripomeňme, že alfa, ktoré sme nastavili, bolo a = 0,05. Ako vyplýva z našich výsledkov testov, hodnota p je menšia ako naša alfa. Môžeme odmietnuť našu nulovú hypotézu a s 95% istotou akceptovať našu alternatívnu hypotézu.

Ďakujem za čítanie! Podrobnejšie informácie o testovaní hypotéz nájdete v tomto skupinovom projekte na serveri GitHub I, ktorý sa zúčastnil testovania hypotéz tu.

zdroje:

Pece, Matthew. „Štatistika a„ vedecká metóda “Zdroj: YourStatsGuru. https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

Úvod do SAV. UCLA: Statistical Consulting Group. z https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/ (access May) 16, 2019).

Príručka technickej štatistiky. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm