Matematici aplicate în economie · Probabilități și statistică
Corelație și regresie liniară
Avansat75 min✓ Terminată
Pe această pagină
Ce înveți
- Calculezi și interpretezi covarianța și coeficientul de corelație Pearson dintre două variabile economice.
- Estimezi dreapta de regresie prin metoda celor mai mici pătrate și o folosești pentru prognoză.
- Măsori calitatea ajustării (R²) și testezi dacă panta este semnificativă, cunoscând ipotezele modelului.
Teorie
Cresc vânzările când o cafenea cheltuie mai mult pe reclamă? Cu cât? Scade cererea când crește prețul? Întrebările economice despre legături între variabile au nevoie de două instrumente: corelația, care măsoară cât de strânsă este o legătură liniară, și regresia, care o descrie printr-o ecuație folosită pentru explicații și prognoze. Regresia este și primul pas spre econometrie, disciplina care estimează relațiile economice din date.
Partea 1. Norul de puncte și covarianța
Primul pas este întotdeauna norul de puncte (diagrama de împrăștiere): fiecare săptămână este un punct . Forma norului arată dacă legătura este crescătoare, descrescătoare, liniară sau curbă.
Pentru cafenea, abaterile lui x sunt −2, −1, 0, 1, 2, iar ale lui y sunt −2,4, −0,4, −1,4, 1,6, 2,6. Produsele lor sunt 4,8, 0,4, 0, 1,6 și 5,2, cu suma 12. Deci : legătură directă. Covarianța depinde însă de unitățile de măsură (în lei sau în sute de lei dă alte numere), de aceea nu spune cât de strânsă este legătura.
Partea 2. Coeficientul de corelație
Interpretarea:
- semnul arată sensul: legătură directă, legătură inversă;
- valoarea absolută arată intensitatea legăturii liniare: înseamnă că punctele sunt exact pe o dreaptă, iar că nu există legătură liniară. O regulă practică: sub 0,3 legătură slabă, între 0,3 și 0,7 moderată, peste 0,7 puternică.
Pentru cafenea: și . Rezultă : o legătură directă puternică.
Corelația nu înseamnă cauzalitate. Vânzările de înghețată și numărul de arsuri solare sunt puternic corelate, dar înghețata nu produce arsuri: ambele cresc din cauza unui al treilea factor, vremea însorită. La cafenea, poate că reclama s-a făcut tocmai în săptămânile cu vreme bună. Pentru a vorbi despre cauze este nevoie de experimente sau de metodele econometriei.
Partea 3. Dreapta de regresie și metoda celor mai mici pătrate
Regresia liniară descrie legătura printr-o dreaptă , unde este valoarea estimată a lui y. Diferența dintre valoarea reală și cea estimată se numește reziduu: .
Aceleași valori rezultă din sistemul de ecuații normale, obținut egalând cu 0 derivatele parțiale ale sumei pătratelor (vezi lecția „Optimizare cu și fără restricții”):
Pentru cafenea:
- panta: ;
- termenul liber: ;
- dreapta de regresie: .
- Verificare cu ecuațiile normale (, , , ): și .
Interpretarea coeficienților. Panta b arată cu cât se schimbă, în medie, y când x crește cu o unitate: fiecare 100 de lei în plus pe reclamă se asociază cu aproximativ 120 de cafele vândute în plus. Termenul liber a este nivelul estimat al lui y când (180 de cafele fără reclamă); el are sens doar dacă se află în apropierea datelor observate.
Prognoza. Pentru o săptămână cu 600 de lei pe reclamă: , adică aproximativ 900 de cafele. Prognozele departe de datele observate (de exemplu, 5000 de lei pe reclamă) sunt riscante: nimic nu garantează că legătura rămâne liniară acolo.
Legătura cu corelația: . Panta și corelația au întotdeauna același semn.
Partea 4. Calitatea ajustării: R²
Variația totală a lui y se descompune în partea explicată de regresie și partea rămasă în reziduuri:
Pentru cafenea, valorile estimate sunt 3; 4,2; 5,4; 6,6; 7,8, iar reziduurile 0; 0,8; −1,4; 0,4; 0,2 (suma lor este 0, ca la orice regresie cu termen liber). Suma pătratelor reziduurilor este , deci , egal cu . Reclama explică aproximativ 84% din variația vânzărilor din cele 5 săptămâni.
Partea 5. Puntea către econometrie
În econometrie, regresia se scrie ca un model cu o componentă aleatoare:
unde α și β sunt parametrii adevărați (necunoscuți), a și b estimațiile lor, iar reunește toți ceilalți factori (vremea, concurența, întâmplarea). Ca estimațiile să fie de încredere, modelul clasic presupune că erorile au media 0, aceeași dispersie pentru toate observațiile și nu sunt corelate între ele, iar x nu este legat de erori.
Este panta semnificativă? Chiar dacă în realitate reclama nu ar avea niciun efect (), un eșantion mic ar putea da din întâmplare . Testul folosește tot ideile din lecția anterioară:
Pentru cafenea: , și . Valoarea critică Student pentru 5% și grade de libertate este 3,182. Cum , respingi ipoteza : legătura este semnificativă statistic, deși datele sunt puține.
Extinderi pe care le întâlnești în econometrie:
- regresia multiplă (de exemplu, vânzările în funcție de reclamă și de temperatură), în care fiecare arată efectul lui ținând celelalte variabile constante, ca o derivată parțială;
- modelul log-log , în care panta b este direct o elasticitate (lecția „Elasticitate” din cursul de analiză);
- ajustat, care penalizează adăugarea de variabile inutile.
Video
Pearson's Correlation, Clearly Explained!!!
de StatQuest with Josh Starmer
Se încarcă de pe YouTube
Pearson's Correlation, Clearly Explained!!! · de StatQuest with Josh Starmer · Deschide pe YouTube
Întrebare-ghid: Clipul este în engleză. Urmărește de ce corelația nu depinde de panta dreptei, ci de cât de aproape sunt punctele de ea, și compară cu valoarea r = 0,915 a cafenelei.
Linear Regression, Clearly Explained!!!
de StatQuest with Josh Starmer
Se încarcă de pe YouTube
Linear Regression, Clearly Explained!!! · de StatQuest with Josh Starmer · Deschide pe YouTube
Întrebare-ghid: Clipul este în engleză (least squares = cele mai mici pătrate, residuals = reziduuri). Urmărește cum se alege dreapta care minimizează suma pătratelor reziduurilor și ce înseamnă R².
Exemple grafice
Primul grafic arată norul de puncte al cafenelei și dreapta de regresie.
Vezi datele ca tabel
| Serie | Reclamă (sute de lei) | Vânzări (sute de cafele) |
|---|---|---|
| ŷ = 1,8 + 1,2x | 0 | 1,8 |
| ŷ = 1,8 + 1,2x | 6 | 9 |
| S1 | 1 | 3 |
| S2 | 2 | 5 |
| S3 | 3 | 4 |
| S4 | 4 | 7 |
| S5 | 5 | 8 |
Încearcă să calculezi reziduul săptămânii 4: . Concluzie: dreapta nu trece prin toate punctele, dar este cea care le „ocolește” cel mai puțin, în sensul sumei pătratelor.
Al doilea grafic arată de ce r măsoară doar legătura liniară. Exemplu ipotetic: vânzările totale de băuturi ale unui chioșc (calde și reci) în funcție de temperatura medie a zilei.
Vezi datele ca tabel
| Serie | Temperatura medie (°C) | Vânzări (sute de băuturi) |
|---|---|---|
| tendința reală (curbă) | 0 | 5 |
| tendința reală (curbă) | 10 | 2 |
| tendința reală (curbă) | 20 | 1 |
| tendința reală (curbă) | 30 | 2 |
| tendința reală (curbă) | 40 | 5 |
| regresia liniară: y = 3 | 0 | 3 |
| regresia liniară: y = 3 | 40 | 3 |
| 0 °C | 0 | 5 |
| 20 °C | 20 | 1 |
| 40 °C | 40 | 5 |
Încearcă să calculezi covarianța: abaterile lui x sunt −20, −10, 0, 10, 20, ale lui y sunt 2, −1, −2, −1, 2, iar suma produselor este . Concluzie: înainte de a calcula r, uită-te la norul de puncte; un r apropiat de 0 nu înseamnă „nicio legătură”, ci „nicio legătură liniară”.
Aprofundare
De unde vin formulele celor mai mici pătrate
Suma este o funcție de două variabile. Derivatele parțiale sunt și . Egalate cu 0, ele dau exact ecuațiile normale. Prima spune că suma reziduurilor este 0, deci dreapta trece prin punctul mediilor ; din ea rezultă . Înlocuind în a doua, obții formula lui b. Hessiana are și , deci punctul este un minim.
Corelația rangurilor (Spearman)
Când datele sunt ordinale (clasamente) sau au valori aberante, se folosește coeficientul lui Spearman: înlocuiești valorile cu rangurile lor și calculezi corelația rangurilor. Fără ranguri egale, , unde este diferența dintre rangurile observației i. El detectează orice legătură monotonă, nu doar liniară.
Excepții și nuanțe
- O singură valoare aberantă poate schimba mult dreapta și pe r; verifică întotdeauna graficul și reziduurile.
- La serii de timp, două variabile care cresc amândouă în timp (de exemplu, prețul cafelei și numărul de telefoane mobile) au aproape mereu un r mare, fără nicio legătură reală: corelație falsă. Econometria le tratează cu metode speciale.
- Un mare nu dovedește că modelul este corect, iar un mic nu înseamnă că x nu contează; poate doar că y depinde și de mulți alți factori.
Un caz real: Galton și „regresia spre medie”
Cuvântul „regresie” vine de la Francis Galton. În 1886, studiind înălțimile părinților și ale copiilor, a observat că părinții foarte înalți au copii în medie înalți, dar mai puțin înalți decât ei, iar părinții foarte scunzi au copii mai puțin scunzi: înălțimile „regresează” spre medie. Metoda celor mai mici pătrate era mai veche: Adrien-Marie Legendre a publicat-o în 1805, iar Carl Friedrich Gauss a folosit-o pentru a calcula orbita asteroidului Ceres. Astăzi, aceeași metodă stă la baza celor mai multe estimări din economie, de la elasticitatea cererii la efectul educației asupra salariului.
Quiz
Verifică ce ai înțeles. Poți reîncerca oricând.