Matematici aplicate în economie · Probabilități și statistică

Corelație și regresie liniară

Avansat75 min

Pe această pagină

Ce înveți

  • Calculezi și interpretezi covarianța și coeficientul de corelație Pearson dintre două variabile economice.
  • Estimezi dreapta de regresie prin metoda celor mai mici pătrate și o folosești pentru prognoză.
  • Măsori calitatea ajustării (R²) și testezi dacă panta este semnificativă, cunoscând ipotezele modelului.

Teorie

Cresc vânzările când o cafenea cheltuie mai mult pe reclamă? Cu cât? Scade cererea când crește prețul? Întrebările economice despre legături între variabile au nevoie de două instrumente: corelația, care măsoară cât de strânsă este o legătură liniară, și regresia, care o descrie printr-o ecuație folosită pentru explicații și prognoze. Regresia este și primul pas spre econometrie, disciplina care estimează relațiile economice din date.

Partea 1. Norul de puncte și covarianța

Primul pas este întotdeauna norul de puncte (diagrama de împrăștiere): fiecare săptămână este un punct (xi,yi)(x_i, y_i). Forma norului arată dacă legătura este crescătoare, descrescătoare, liniară sau curbă.

Pentru cafenea, abaterile lui x sunt −2, −1, 0, 1, 2, iar ale lui y sunt −2,4, −0,4, −1,4, 1,6, 2,6. Produsele lor sunt 4,8, 0,4, 0, 1,6 și 5,2, cu suma 12. Deci cov(x,y)=12:5=2,4>0\text{cov}(x, y) = 12 : 5 = 2{,}4 > 0: legătură directă. Covarianța depinde însă de unitățile de măsură (în lei sau în sute de lei dă alte numere), de aceea nu spune cât de strânsă este legătura.

Partea 2. Coeficientul de corelație

Interpretarea:

  • semnul arată sensul: r>0r > 0 legătură directă, r<0r < 0 legătură inversă;
  • valoarea absolută arată intensitatea legăturii liniare: r=±1r = \pm 1 înseamnă că punctele sunt exact pe o dreaptă, iar r=0r = 0 că nu există legătură liniară. O regulă practică: sub 0,3 legătură slabă, între 0,3 și 0,7 moderată, peste 0,7 puternică.

Pentru cafenea: ∑(xi−xˉ)2=4+1+0+1+4=10\sum (x_i - \bar{x})^2 = 4 + 1 + 0 + 1 + 4 = 10 și ∑(yi−yˉ)2=5,76+0,16+1,96+2,56+6,76=17,2\sum (y_i - \bar{y})^2 = 5{,}76 + 0{,}16 + 1{,}96 + 2{,}56 + 6{,}76 = 17{,}2. Rezultă r=12:10×17,2=12:172≈12:13,11≈0,915r = 12 : \sqrt{10 \times 17{,}2} = 12 : \sqrt{172} \approx 12 : 13{,}11 \approx 0{,}915: o legătură directă puternică.

Corelația nu înseamnă cauzalitate. Vânzările de înghețată și numărul de arsuri solare sunt puternic corelate, dar înghețata nu produce arsuri: ambele cresc din cauza unui al treilea factor, vremea însorită. La cafenea, poate că reclama s-a făcut tocmai în săptămânile cu vreme bună. Pentru a vorbi despre cauze este nevoie de experimente sau de metodele econometriei.

Partea 3. Dreapta de regresie și metoda celor mai mici pătrate

Regresia liniară descrie legătura printr-o dreaptă y^=a+bx\hat{y} = a + b x, unde y^\hat{y} este valoarea estimată a lui y. Diferența dintre valoarea reală și cea estimată se numește reziduu: ei=yi−y^ie_i = y_i - \hat{y}_i.

Aceleași valori rezultă din sistemul de ecuații normale, obținut egalând cu 0 derivatele parțiale ale sumei pătratelor (vezi lecția „Optimizare cu și fără restricții”):

{∑yi=na+b∑xi∑xiyi=a∑xi+b∑xi2\begin{cases} \sum y_i = n a + b \sum x_i \\ \sum x_i y_i = a \sum x_i + b \sum x_i^2 \end{cases}

Pentru cafenea:

  • panta: b=12:10=1,2b = 12 : 10 = 1{,}2;
  • termenul liber: a=5,4−1,2×3=1,8a = 5{,}4 - 1{,}2 \times 3 = 1{,}8;
  • dreapta de regresie: y^=1,8+1,2 x\hat{y} = 1{,}8 + 1{,}2\,x.
  • Verificare cu ecuațiile normale (∑x=15\sum x = 15, ∑y=27\sum y = 27, ∑xy=93\sum xy = 93, ∑x2=55\sum x^2 = 55): 5×1,8+15×1,2=275 \times 1{,}8 + 15 \times 1{,}2 = 27 și 15×1,8+55×1,2=9315 \times 1{,}8 + 55 \times 1{,}2 = 93.

Interpretarea coeficienților. Panta b arată cu cât se schimbă, în medie, y când x crește cu o unitate: fiecare 100 de lei în plus pe reclamă se asociază cu aproximativ 120 de cafele vândute în plus. Termenul liber a este nivelul estimat al lui y când x=0x = 0 (180 de cafele fără reclamă); el are sens doar dacă x=0x = 0 se află în apropierea datelor observate.

Prognoza. Pentru o săptămână cu 600 de lei pe reclamă: y^=1,8+1,2×6=9\hat{y} = 1{,}8 + 1{,}2 \times 6 = 9, adică aproximativ 900 de cafele. Prognozele departe de datele observate (de exemplu, 5000 de lei pe reclamă) sunt riscante: nimic nu garantează că legătura rămâne liniară acolo.

Legătura cu corelația: b=r⋅σyσxb = r \cdot \frac{\sigma_y}{\sigma_x}. Panta și corelația au întotdeauna același semn.

Partea 4. Calitatea ajustării: R²

Variația totală a lui y se descompune în partea explicată de regresie și partea rămasă în reziduuri:

∑(yi−yˉ)2=∑(y^i−yˉ)2+∑ei2\sum (y_i - \bar{y})^2 = \sum (\hat{y}_i - \bar{y})^2 + \sum e_i^2

Pentru cafenea, valorile estimate sunt 3; 4,2; 5,4; 6,6; 7,8, iar reziduurile 0; 0,8; −1,4; 0,4; 0,2 (suma lor este 0, ca la orice regresie cu termen liber). Suma pătratelor reziduurilor este 0+0,64+1,96+0,16+0,04=2,80 + 0{,}64 + 1{,}96 + 0{,}16 + 0{,}04 = 2{,}8, deci R2=1−2,8:17,2≈0,837R^2 = 1 - 2{,}8 : 17{,}2 \approx 0{,}837, egal cu 0,91520{,}915^2. Reclama explică aproximativ 84% din variația vânzărilor din cele 5 săptămâni.

Partea 5. Puntea către econometrie

În econometrie, regresia se scrie ca un model cu o componentă aleatoare:

yi=α+βxi+εiy_i = \alpha + \beta x_i + \varepsilon_i

unde α și β sunt parametrii adevărați (necunoscuți), a și b estimațiile lor, iar εi\varepsilon_i reunește toți ceilalți factori (vremea, concurența, întâmplarea). Ca estimațiile să fie de încredere, modelul clasic presupune că erorile au media 0, aceeași dispersie pentru toate observațiile și nu sunt corelate între ele, iar x nu este legat de erori.

Este panta semnificativă? Chiar dacă în realitate reclama nu ar avea niciun efect (β=0\beta = 0), un eșantion mic ar putea da din întâmplare b≠0b \neq 0. Testul folosește tot ideile din lecția anterioară:

se=∑ei2n−2,sb=se∑(xi−xˉ)2,t=bsbs_e = \sqrt{\frac{\sum e_i^2}{n - 2}}, \qquad s_b = \frac{s_e}{\sqrt{\sum (x_i - \bar{x})^2}}, \qquad t = \frac{b}{s_b}

Pentru cafenea: se=2,8:3≈0,966s_e = \sqrt{2{,}8 : 3} \approx 0{,}966, sb=0,966:10≈0,306s_b = 0{,}966 : \sqrt{10} \approx 0{,}306 și t=1,2:0,306≈3,93t = 1{,}2 : 0{,}306 \approx 3{,}93. Valoarea critică Student pentru 5% și n−2=3n - 2 = 3 grade de libertate este 3,182. Cum 3,93>3,1823{,}93 > 3{,}182, respingi ipoteza β=0\beta = 0: legătura este semnificativă statistic, deși datele sunt puține.

Extinderi pe care le întâlnești în econometrie:

  • regresia multiplă y=a+b1x1+b2x2+…y = a + b_1 x_1 + b_2 x_2 + \ldots (de exemplu, vânzările în funcție de reclamă și de temperatură), în care fiecare bjb_j arată efectul lui xjx_j ținând celelalte variabile constante, ca o derivată parțială;
  • modelul log-log ln⁡y=a+bln⁡x\ln y = a + b \ln x, în care panta b este direct o elasticitate (lecția „Elasticitate” din cursul de analiză);
  • R2R^2 ajustat, care penalizează adăugarea de variabile inutile.

Video

Pearson's Correlation, Clearly Explained!!!

de StatQuest with Josh Starmer

Se încarcă de pe YouTube

Pearson's Correlation, Clearly Explained!!! · de StatQuest with Josh Starmer · Deschide pe YouTube

Întrebare-ghid: Clipul este în engleză. Urmărește de ce corelația nu depinde de panta dreptei, ci de cât de aproape sunt punctele de ea, și compară cu valoarea r = 0,915 a cafenelei.

Linear Regression, Clearly Explained!!!

de StatQuest with Josh Starmer

Se încarcă de pe YouTube

Linear Regression, Clearly Explained!!! · de StatQuest with Josh Starmer · Deschide pe YouTube

Întrebare-ghid: Clipul este în engleză (least squares = cele mai mici pătrate, residuals = reziduuri). Urmărește cum se alege dreapta care minimizează suma pătratelor reziduurilor și ce înseamnă R².

Exemple grafice

Primul grafic arată norul de puncte al cafenelei și dreapta de regresie.

02,557,510123456Reclamă (sute de lei)Vânzări (sute de cafele)ŷ = 1,8 + 1,2xS1S2S3S4S5
Exemplu ipotetic. Cele 5 săptămâni (punctele S1–S5) și dreapta ŷ = 1,8 + 1,2x. Distanța verticală dintre fiecare punct și dreaptă este reziduul; cel mai mare este în săptămâna 3 (−1,4). Corelația este r ≈ 0,915, iar R² ≈ 0,84.
Vezi datele ca tabel
Reclama și vânzările: dreapta de regresie
SerieReclamă (sute de lei)Vânzări (sute de cafele)
ŷ = 1,8 + 1,2x01,8
ŷ = 1,8 + 1,2x69
S113
S225
S334
S447
S558

Încearcă să calculezi reziduul săptămânii 4: 7−(1,8+1,2×4)=7−6,6=0,47 - (1{,}8 + 1{,}2 \times 4) = 7 - 6{,}6 = 0{,}4. Concluzie: dreapta nu trece prin toate punctele, dar este cea care le „ocolește” cel mai puțin, în sensul sumei pătratelor.

Al doilea grafic arată de ce r măsoară doar legătura liniară. Exemplu ipotetic: vânzările totale de băuturi ale unui chioșc (calde și reci) în funcție de temperatura medie a zilei.

01,534,5610203040Temperatura medie (°C)Vânzări (sute de băuturi)tendința reală (curbă)regresia liniară: y = 30 °C20 °C40 °C
Exemplu ipotetic. La 0 °C se vând multe băuturi calde, la 40 °C multe băuturi reci, iar la 20 °C cele mai puține băuturi. Punctele formează un U, iar coeficientul de corelație este exact 0, iar dreapta de regresie este orizontală (y = 3), deși legătura este evidentă.
Vezi datele ca tabel
O legătură puternică, dar cu r = 0
SerieTemperatura medie (°C)Vânzări (sute de băuturi)
tendința reală (curbă)05
tendința reală (curbă)102
tendința reală (curbă)201
tendința reală (curbă)302
tendința reală (curbă)405
regresia liniară: y = 303
regresia liniară: y = 3403
0 °C05
20 °C201
40 °C405

Încearcă să calculezi covarianța: abaterile lui x sunt −20, −10, 0, 10, 20, ale lui y sunt 2, −1, −2, −1, 2, iar suma produselor este −40+10+0−10+40=0-40 + 10 + 0 - 10 + 40 = 0. Concluzie: înainte de a calcula r, uită-te la norul de puncte; un r apropiat de 0 nu înseamnă „nicio legătură”, ci „nicio legătură liniară”.

Aprofundare

De unde vin formulele celor mai mici pătrate

Suma S(a,b)=∑(yi−a−bxi)2S(a, b) = \sum (y_i - a - b x_i)^2 este o funcție de două variabile. Derivatele parțiale sunt Sa′=−2∑(yi−a−bxi)S'_a = -2 \sum (y_i - a - b x_i) și Sb′=−2∑xi(yi−a−bxi)S'_b = -2 \sum x_i (y_i - a - b x_i). Egalate cu 0, ele dau exact ecuațiile normale. Prima spune că suma reziduurilor este 0, deci dreapta trece prin punctul mediilor (xˉ,yˉ)(\bar{x}, \bar{y}); din ea rezultă a=yˉ−bxˉa = \bar{y} - b\bar{x}. Înlocuind în a doua, obții formula lui b. Hessiana are Δ1=2n>0\Delta_1 = 2n > 0 și Δ2=4n∑(xi−xˉ)2>0\Delta_2 = 4n \sum (x_i - \bar{x})^2 > 0, deci punctul este un minim.

Corelația rangurilor (Spearman)

Când datele sunt ordinale (clasamente) sau au valori aberante, se folosește coeficientul lui Spearman: înlocuiești valorile cu rangurile lor și calculezi corelația rangurilor. Fără ranguri egale, ρ=1−6∑di2n(n2−1)\rho = 1 - \frac{6 \sum d_i^2}{n(n^2 - 1)}, unde did_i este diferența dintre rangurile observației i. El detectează orice legătură monotonă, nu doar liniară.

Excepții și nuanțe

  • O singură valoare aberantă poate schimba mult dreapta și pe r; verifică întotdeauna graficul și reziduurile.
  • La serii de timp, două variabile care cresc amândouă în timp (de exemplu, prețul cafelei și numărul de telefoane mobile) au aproape mereu un r mare, fără nicio legătură reală: corelație falsă. Econometria le tratează cu metode speciale.
  • Un R2R^2 mare nu dovedește că modelul este corect, iar un R2R^2 mic nu înseamnă că x nu contează; poate doar că y depinde și de mulți alți factori.

Un caz real: Galton și „regresia spre medie”

Cuvântul „regresie” vine de la Francis Galton. În 1886, studiind înălțimile părinților și ale copiilor, a observat că părinții foarte înalți au copii în medie înalți, dar mai puțin înalți decât ei, iar părinții foarte scunzi au copii mai puțin scunzi: înălțimile „regresează” spre medie. Metoda celor mai mici pătrate era mai veche: Adrien-Marie Legendre a publicat-o în 1805, iar Carl Friedrich Gauss a folosit-o pentru a calcula orbita asteroidului Ceres. Astăzi, aceeași metodă stă la baza celor mai multe estimări din economie, de la elasticitatea cererii la efectul educației asupra salariului.

Quiz

Verifică ce ai înțeles. Poți reîncerca oricând.

1. Coeficientul de corelație dintre prețul unui produs și cantitatea vândută este −0,85. Ce înseamnă?

Alege o singură variantă.

2. Dacă două variabile sunt puternic corelate, una dintre ele este sigur cauza celeilalte.

Alege o singură variantă.

3. Σ(x − x̄)(y − ȳ) = 12 și Σ(x − x̄)² = 10. Cât este panta dreptei de regresie b?

Scrie un număr.

4. Mediile sunt x̄ = 3 și ȳ = 5,4, iar panta este b = 1,2. Cât este termenul liber a al dreptei de regresie?

Scrie un număr.

5. Dreapta de regresie este ŷ = 1,8 + 1,2x. Ce valoare prognozezi pentru x = 6?

Scrie un număr.

6. Coeficientul de corelație este r = 0,9. Cât este R² într-o regresie cu o singură variabilă explicativă?

Scrie un număr.

7. Pentru un nor de puncte în formă de U, coeficientul de corelație este 0. Ce concluzie este corectă?

Alege o singură variantă.

8. Într-o regresie, panta estimată este b = 1,2, iar eroarea ei standard este 0,3. Cât este statistica t pentru testul β = 0?

Scrie un număr.