Regresi Linier Sederhana

POKOK BAHASAN II

REGRESI LINIER SEDERHANA

2.1. PENDAHULUAN

2.1.1.  Deskripsi Singkat

Regresi Linier sederhana, merupakan model yang paling sederhana, yaitu merupakan  hubungan antara satu variabel tak bebas dan satu variabel bebas. Dalam materi ini akan dibahas dari bentuk modelnya , asumsi, sifat-sifat penting, estimasi parameter, test hipotesis, Selang kepercayaan , koefisien determinasi dan korelasi ,dan juga akan dibahas mengenai regresi lewat titik pangkal

2.1.2.  Relevansi

Pokok Bahasan ini mempunyai relevansi terhadap model regresi Linier berganda, karena Pokok bahasan ini membahas tentang hubungan fungsional antara satu variabel bebas dengan satu variabel respon.

2.1.3.  Kompetensi Dasar

Setelah mempelajari Pokok Bahasan ini, mahasiswa dapat:

  1. Mendefinisikan  model regresi linier sederhana
  2. Menjelaskan asumsi  dan sifat –sifat penting dalam RLS
  3. Mengestimasi parameter dengan metode kuadrat terkecil
  4. Menentukan Tabel Analisis Variansi
  5. Membuktikan ketakbiasan estimator parameter regresi
  6. Menghitung variansi  parameter regresi
  7. Menjelaskan beberapa distribusi yang penting.
  8. Melakukan uji hipotesis dan menentukan Selang kepercayaan
  9. Menghitung Koefisien Determinasi dan Korelasi

10. Menggunakan Model Regresi Melalui Titik Pangkal

2.2. PENYAJIAN

2.2.1. Model Regresi Linier Sederhana:

Model regresi linier sederhana merupakan persamaan yang menyatakan hubungan antara satu variabel prediktor X dan satu variabel respon Y, biasanya dinyatakan dalam suatu garis lurus,.

Contoh 2.1 :

Bila ingin diketahui hubungan antara prediktor X = jumlah produk yang dihasilkan dan variabel respon Y = jumlah pekerja yang dibutuhkan, berikut ini diberikan sekumpulan data:

1     2       3       4        5      6      7      8      9      10

X   30    20     60     80     40    50     60    30    70     60

Y  73     50    128  170     87   108  135    69  150   135

Maka gambar dari data tersebut dapat dilihat seperti pada Gambar 2.1. dibawah:

Gambar 2.1 : diagram pencar dan garis regresi dari data diatas

Dari gambar 2.1., diperkirakan garis yang mendekati titik–titik tersebut adalah berupa garis lurus, sehingga model yang terjadi dianggap linier (berupa garis lurus) dan persamaannya adalah :

Y = .

Karena tidak semua titik tepat pada garis, maka dalam modelnya terdapat error (galat), sehingga modelnya menjadi :

Yi = +   , i=1,2,..n

Yi = harga variabel respon pada trial ke-i

Xi = harga variabel  bebas pada trial ke-i

= intersep adalah nilai Yi pada saat X=0

= kemiringan adalah besarnya perubahan Y jika X berubah 1 unit.

dandisebut koefisien regresi (parameter yang nilainya harus

ditentukan)

= error/suku sesatan random à ~ NID ( 0, )

Dari contoh data  di atas, setelah dihitung parameternya, didapat modelnya:  =  9 + 2X,  artinya ditaksir  rata-rata jumlah pekerja  bertambah 2  untuk setiap pertambahan 1 unit produk .

= 9 , artinya pada saat jumlah produksi yang dihasilkan = 0, pekerja yang dibutuhkan adalah 9 orang.

= 2, artinya rata-rata pekerja yang diperlukan ditambah 2 orang untuk menghasilkan jumlah produk bertambah1 unit.

2.2.2.   ASUMSI DAN SIFAT-SIFAT PENTING  PADA ANALISIS

REGRESI

Dari model :  Yi = +   à ~ NID ( 0, )

E () = 0  dan Var() =

Cov (,à E(,

BUKTI : Cov (,E(,-E ()E ()  è E(,

0                0

Akibat dari E () = 0  è :  Yi = +

E(Yi) = E(+)

E(Yi)  =

=

Gambar beberapa :

1. <0                                   2. >0                                   3. =0

Y                                 Y                               Y

X                             X                                X

Gambar 2.2: beberapa

SIFAT –SIFAT PENTING :

1. Yi merupakan jumlah dari 2 komponen (Yi = +   )

Suku kontans

Suku random                                         Y merupakan peubah acak

2. karena E () = 0  à E(Yi)  =

3. Yi = +    ;  =

= Yi -

4. Var () = Var (+ ) = Var () =

catatan : Var ( a) = 0 , dengan a = konstanta

5. karena ,  independent, maka Yi dan Yj juga tak berkorelasi untuk i

2.2.3. ESTIMASI PARAMETER DENGAN METODE KUADRAT

TERKECIL

Untuk mendapatkan penaksir yang baik bagi parameter regresi ( dan ) dapat digunakan Metode Kuadrat Terkecil adalah metode dengan meminumkan jumlah kuadrat penyimpangan (JKS = Jumlah kuadrat sesatan)

JKS =  = ( Yi – )2 = ( Yi – )2

Dalam Praktek à Sampel  à Regresi Sampel

=   atau    = b0 + b1 Xi

b0 taksiran untuk ; b1 taksiran untuk  , dapat dibuktikan bahwa E(b0)=  dan E(b1) = (akan dibuktikan di bagian belakang) serta ei taksiran untuk :

JKS = ( Yi – )2

=( Yi – )2

Untuk meminumkan suatu fungsi , maka perlu dicari turunan parsial dari JKS = jumlah kuadrat sesatan = SSE = Sum Square Error terhadap b0 dan b1 , kemudian menyamakan dengan nol .

== > 2  è

===> 2

Dengan diperolehnya nilai- nilai dari b0 dan b1, maka didapat model regresi :

= b0 + b1 X

Persamaan normal yang berkaitan dengan model regresi linier sederhana di atas adalah:

Nilai-nilai b0 dan b1 merupakan penyelesaian dari persamaan normal tersebut.

Untuk mencari persamaan diatas , buatlah tabel seperti dibawah ini :

Tabel 2.1  : Tabel Penolong untuk Persamaan RLS

I X Y X2 Y2 XY
1

:

:

Dengan menggunakan b0, rumus lain b1 dapat dihitung:

JKS = ( Yi – )2

=

Didefinisikan :  =

maka 2

Untuk memudahkan penulisan S = , sehingga dapat dibuktikan:

Sxy = SXY –    ; Sy2=SY2- n  dan Sx2= SX2- n .

Alternatif model , dengan memasukkan nilai  pada persamaan     = b0 + b1 X è =  - =

=

SIFAT –SIFAT GARIS REGRESI  PENDUGA.

1  ( jika b0

2.

3.    = b0 + b1 X , selalu melalui titik (
4.

5.

RUMUS – RUMUS  untuk JKS :

JKS = ( Yi – )2 =  (Yi – )2

= (

= =Sy2-bSxy

JKS = Sy2-bSxy

2.2.4. TABEL ANALISIS VARIANSI

Tabel analisis variansi ,merupakan tabel yang penting karena didalam tabel akan terdapat penguraian jumlah kuadrat total atas kedua  komponennya , yaitu jumlah kadrat regresi regresi dan rata-rata kuadrat sisa,  yang merupakan langkah awal yang penting untuk menentukan pengaruh suatu peubah bebas X terhadap respon Y. Penguraian jumlah kuadrat total dapat dilihat pada gambar dibawah ini :

Yi P(xi,Yi)

Xi

=0

JKT                       JKS                   JKR

JKT = JKR + JKS

JKS = Jumlah kuadrat Sesatan ( Variasi karena sisa), dk   = n-2

JKR = Jumlah kuadrat Regresi ( Variasi karena Regresi), dk=1

JKT    Jumlah Kuadrat Total , dk = n-1

dk (JKT) = dk(JKS) + dk(JKR)

RUMUS yang lain dari JKR :

JKR =  =  b12 Sx2 = b1 S xy

TABEL  2.2: TABEL  ANALISIS VARIAN REGRESI SEDERHANA

Sumber Variasi JK (jml Kuadrat) Dk (derajad kebebasan) RK (rataan kuadrat) E(RK)
Regresi JKR= 1 RKR =JKR/1
Sisa JKS= n-2 RKS=JKS/n-2

= s2

E(s2)=
Total JKT= n-1

nama yang tepat untuk JKT adalah JKT yg dikoreksi (dikurangi dengan )

Jika =0 è E(RKS)/E(RKS) =1 , tetapi jika E(RKS)/E(RKS) > 1 , karena Sx2>0

Dalam prakteknya akan dihitung nisbah RKR/RKS, bila lebih besar dari 1 berarti signifikan, yaitu  ; tetapi bila =0 , maka =0, hal ini nanti berkaitan dengan uji hipotesis.

2.2.5. INFERENSI DALAM ANALISIS REGRESI

UNBIASED ESTIMATOR.

Dalam praktek, berdasarkan data sampel yang telah diperoleh maka dapat diestimasi model Regresi Sampel:

=   è    = b0 + b1 Xi

b0 taksiran untuk ; b1 taksiran untuk , sehingga agar   = b0 + b1 Xi sebagai estimator unbiased     =  , maka harus  dibuktikan E(b0)=  dan E(b1) =

= b0 + b1 Xi , dengan least square didapat :

=

=

à

Dapat dibuktikan :

1.

E(

=

=

=;krn

=

.

Dengan dibuktikannya E(b0)=  dan E(b1) = , maka    = b0 + b1 Xi sebagai estimator tak bias dari Yi =  +

VARIANSI  dari dan

Dengan menggunakan

Maka

=

=

Terbukti bahwa :

Dapat dibuktikan sendiri :

Beberapa Theorema yang penting untuk uji Hipotesis:

Dalam analisis regresi , sering kita menggunakan teorema –teorema terutama untuk keperluan uji hipotesis , antara lain beberapa teorema yang penting :

1.Jika peubah acak yang saling bebas dan masing-masing berdistribusi normal, Yi ~ N(  ),maka peubah acak  Z=    juga berdistribusi normal , yaitu

~ N(

2.Jika peubah acak yang saling bebas dan masing-masing berdistribusi normal N(0,1) , maka ~ (distribusi chikuadrat dengan dk=n).

3. Jika peubah acak yang saling bebas dan masing-masing berdistribusi normal, Yi ~ N(  ),maka ( berdistribusi chikuadrat dengan dk=n

4. Bila ; maka

5. Jika peubah acak yang saling , bebas dan masing-masing    berdistribusi chikuadrat dengan dk =ki , maka

6.Bila Z suatu peubah acak N(0,1) dan U berdistribusi , dan keduanya saling bebas , maka        berdistribusi t.

7. Jika peubah acak yang saling bebas dan masing-masing   berdistribusi normal, Yi ~ N(  ), maka :

berdistribusi t dengan derajt kebebasan n-1

8. Bila Z1 dan Z2 peubah acak yang salin bebas dan berdistribusi  chikuadrat dengan derajad kebebasan masing-masing k1 dan k2, maka :

9.  Jika peubah acak yang saling bebas dan  berdistribusi normal mempunyai rataan  dan varian , Penaksir tak bias   adalah  dengan var () = , maka Z =

2.2.6. TEST HIPOTESIS:

Test hipotesis digunakan untk test beberapa keperluan :

  1. H0 =

H1 =

, karena takdiket => s2

maka Statistik uji yang digunakan adalah :

Bandingkan dengan t tabel , tolak H0 jika

  1. TEST INTERSEP

H0 =

H1 =

Statistik penguji :  berdistribusi t dengan dk=n-2

Bandingkan dengan t tabel , tolak H0 jika

  1. TEST INDEPENDENSI (UJI –t)

H0 =

H1 =

Bandingkan dengan t tabel , tolak H0 jika

  1. UJI F ( uji kecocokan model):

H0 = ; H1 =

Menurut teorema diatas, nisbah RKR/RKS mempunyai dist F dengan dk 1 dan n-2, shg dapat ditulis :

Tolak F0> F

Uji F èUji t2

2.2.7. SELANG KEPERCAYAAN DAN PREDIKSI

Selang kepercayaan untuk

Sehingga Selang kepercayaan untuk

Selang kepercayaan untuk

Sehingga Selang kepercayaan untuk

Selang kepercayaan untuk Prediksi rata-rata dan Individu

Sering sekali kita ingin mencari taksiran nilai Y untuk suatu nilai X yang tidak diamati dalam sampel à Prediksi Y pada suatu nilai X. Ada dua hal, yaitu:

1. Prediksi rata-rata nilai Y pada suatu nilai Xè Prediksi rata-rata

2. Prediksi suatu nilai tunggal Y bila X = X0è Prediksi individu

X=X0 è

E(Y/X=X0)= nilai rata-rata Y pada X=X0 è bila dicari SK è SK rata-rata,

Dari Persamaan

=

=

=

Selang kepercayaan untuk rata –rata :

Selang kepercayaan Individu:

Prediksi nilai tunggal Y0 pada X=X0 è SK individu

Sehingga Selang Kepercayaan untuk Y0 adalah :

Bila digambarkan:

Gambar 2.2  : Selang kepercayaan untuk nilai rata-rata dan individu.

2.2.8. KOEFISIEN DETERMINASI DAN KORELASI

KOEFISIEN DETERMINASI

Setelah didapat model regresi , masalah yang dihadapi adalah menilai baik buruknya kecocokan model regresi yang digunakan dengan data , sehingga kita perlu ukuran tentang kecocokan model , ukuran kecocokan model disebut dengan koefisien determinasi yang dilambangkan dengan R2. Kita tahu:

JKT = JKR + JKS

Suatu kelompok data yang telah tertentu , besar JKT adalah tertentu, sehingga  jika pengaruh X terhadap Y besar, maka diharapkan JKR cukup besar dibandingkan dengan JKS dan sebaliknya, sehingga :

R2 = JKR/JKT

Karena

R2= 0 bila JKR =0 atau JKS=JKT, dan R2=1 bila JKR =JKT, atau JKS=0.

Makin dekat R2 ~ 1 makin baik kecocokan data dengan model, dan sebaliknya makin dekat R2 dengan 0 makin jelek kecocokan tersebut , R2 biasanya dinyatakan dalam persen.

Contoh : hitung R2 untuk soal diatas dan buat tabel anovanya.

X = Besar KUT , Y = Pendapatan petani

R2= 0,7889 è Pendapatan petani dipengaruhi besar KUT adalah 78,89 % dan 21,11 % dipengaruhi oleh faktor-2 lain.

KORELASI

X, Y Peubah acak è mempunyai sebaran peluang bersama f(X,Y), Koefisien korelasi dari X dan Y adalah sbb :

Cov(X,y) è mengukur besar dan arah hubungan linier antara 2 peubah.

rX,Y è estimator dari

r=0 atau r~0  à antara X dan Y tidak terdapat hubungan atau hubungan sangat lemah

r=-1 à Hub X dan Y sangan kuat, tetapi hubu negatif è X semakin besar , nilai Y semakin kecil

r=1 à Hubungan  X dan Y sangat kuat dan searahè bila X semakin

besar , nilai Y juga semakin besar.

Jika X dan Y dikatakan bebas satu sama lain è r=0

r=0, tidak berarti X dan Y bebas ( tak ada hubungan linier) , mungkin hubungan berbentuk lain .

Contoh : Diketahui model :

Data sbb :

X    :   – 3    -2     -1     0    1     2    3

Y    :    11    6      3      2    3     6    1

Dengan menggunakan rumus diatas r = 0 => tidak terdapat hubungan linier antara X dan Y, tetapi hubungan  berbentuk lain, yaitu kwadratik , gunakan rumus umum R2 = JKR/JKT

HUBUNGAN R dan b1

2.2.9. REGRESI LEWAT TITIK PANGKAL(PUSAT)

Sering kita jumpai dimana model regresi linier lewat titik (0,0) merupakan model yang sesuai untuk data . Sebagai contoh , misalkan pada suatu proses kimia, hasil yang diperoleh Y=0 ,apabila temperatur proses (X) sama dengan nol. Model regresi melalui titik (0,0) adalah :

=  + è  Regresi Populasi

=  b1 Xi + eià Regresi sampel

Dengan metode kuadrat terkecil didapat :

Karena hanya 1 parameter yang diestimasi yaitu b1, maka JKS hanya mempunyai dk(n-1), sehingga :

S2=

Dapat dibuktikan bahwa :

à

Selang Kepercayaan untuk

Selang Kepercayaan Rata-rata dan Individu:

=  b1 Xi à X = X0è     =  b1 X0

Var (  )= Var( b1 X0) =  X02 Var (b1) = X02

e  =

SK RATA-RATA dan INDIVIDU:

2.2.10. Latihan

1.  Dua belas mahasiswa mempunyai nilai matemátika (X) dan físika (Y) sebagai berikut (dalam skala 0-4).

Data sbb;

X    3        4      3       2      4       3       2        1       3       2        4        2

Y     2       2      4       1       4        4       3       1       3       3        3        1

  1. Gambarlah diagram pencar X dan Y
  2. Jika digunakan model regresi linier sederhana ,

hitunglah a dan b

  1. Gambarlah garis regresi tersebut pada diagram pencar., apakah

menurut anda kecocokannya cukup baik?’

  1. Hitunglah JKR,  JKS dan JKT dan buat tabel analisis variannya
  2. Hitunglah R2
  3. Ujilah apakah ada hubungan antara X dan Y dengan kepercayaan

95%

  1. Hitunglah sisanya dan tunjukkan bahwa jumlahnya nol
  2. Tentukan SK rata–rata dan individu untuk setiap nilai X dan

gambarlah.

2.Diketahui model E(Y) =X

1.Tunjukkan bahwa dalam model diatas jumlah sisa tidak perlu

sama dengan nol.

2.Buktikan bahwa

3.Buktikan bahwa  b1 tak bias

4.Hitunglah var(b1)

3.Diketahui tabel ANOVA sebagai berikut

Sumber Variasi db JK KR
Regresi 1 40 -
Sesatan 50 - -
Total 51 240

a.   Lengkapi Tabel anova diatas

  1. Uji H0 = = 0 terhadap ≠ 0 pada tingkat kepercayaan 95 %
  2. Hitunglah nilai koefisien determinasi dan kesimpulan apa yang diperoleh?

4. Diketehui data sbb :

X      10         25          35          50          60         75        90       100

Y      50         125        130        200        280        350     450       550

a) gambar diagram pencar, menurut anda apakah model   dapat digunakan ?

b) dengan model diatas lakukan test hipotesa , apakah ada hubungan antara X dan Y dengan

c) Tentukan SK untuk

d) Tentukan SK rata-rata dan individu , kemudian  gambarlah

e) Tentukan nilai koefisien korelasinya.

2.3. PENUTUP

2..3.1. Test Formatif

I) Diberikan data

X         0,5       1,5       3,2       4,2       5,1       6,5

Y         1,3       3,4       6,7       8,0       10        13,2

Jika ingin diestimasi model regresi:   =  +  maka

1. Taksiran parameter  adalah:

A. 2,0                          B. 2,003

C. 2,03                       D. 2,033

2. Standard error dari  adalah

A. 0,034                     B. 0,044

C. 0,054                     D. 0,064

3. Nilai thitung untuk   adalah:

A. 55,462                   B. 56,462

C. 57,462                   D. 58,462

4. Jumlah Kuadrat Sesatan (JKS) adalah:

A. 0,379                     B. 0,479

C. 0,579                     D. 0,80

5. Rata-rata Kuadrat Sesatan (RKS) = Mean Square Error (MSE) adalah:

A. 0,116                     B. 0,216

C. 0,316                     D. 0,611

2.3.2. Umpan Balik dan Tindak Lanjut

Bandingkan jawaban anda dengan Kunci jawaban test formatif 1 yang ada di belakang modul ini. Hitunglah jumlah jawaban anda yang benar. Kemudian gunakan rumus di bawah ini untuk mengetahui tingkat penguasaan anda terhadap materi kegiatan belajar ini.

Rumus:

Tingkat penguasaan =

Arti tingkat penguasaan yang anda capai:

90% – 100% = baik sekali

80% – 89%   = baik

70% – 79%   = cukup

60% – 69%   = kurang

Kalau anda mencapai tingkat penguasaan 80% keatas anda dapat meneruskan kegiatan belajar berikutnya. Tetapi bila tingkat penguasaan anda masih dibawah 80% anda harus mengulangi kegiatan belajar ini, terutama bagian yang belum anda kuasai.

2.3.3. Rangkuman

Bentuk umum model regrsi linier sederhana adalah :

Yi = +   , i=1,2,..n

Yi = harga variabel respon pada trial ke-i

Xi = harga variabel  bebas pada trial ke-i

= intersep adalah nilai Yi pada saat X=0

= kemiringan adalah besarnya perubahan Y jika X berubah 1 unit.

dandisebut koefisien regresi (parameter yang nilainya harus ditentukan)

= error/suku sesatan random à ~ NID ( 0, )

Persamaan normal yang berkaitan dengan model regresi linier sederhana di atas adalah:

Nilai-nilai b0 dan b1 merupakan penyelesaian dari persamaan normal tersebut.

DAFTAR PUSTAKA

  1. Draper N and Smith H, 1992, Analisis Regresi Terapan, Edisi kedua, PT.Gramedia, Jakarta
  2. Kutner, Nachtsheim and Neter, 2004, Applied Linier Regression Models, Fourth edition Mc Graw-Hill/Irwin, New York
  3. Montgomery, D.C. and Peck, E, 1982, Introduction to Linier Regression Analysis, John Wiley & Sons, Singapore.
  4. Sen, A. and Srivastava, M. , Regression Analysis, 1990, Springer-Verlag New York Inc.

2 Responses to “Regresi Linier Sederhana”

  1. [...] 2)  Regresi Linier Sederhana [...]

  2. 2
    ogrodzenia plastikowe

    ogrodzenia farmerskie…

    I precisely desired to thank you very much yet again. I do not know the things that I would have created in the absence of these ways provided by you about this subject matter. Certainly was a very challenging scenario in my circumstances, however , co…


Want to Leave a Reply?