Betrouwbaarheid en validiteit van Schobl Kort en Compleet

Posted by in Factor- en gedragsschalen, Normen, Onderzoek en analyse, on 05-09-2012

Samenvatting

De resultaten van de verschillende analyses overziende is de conclusie gerechtvaardigd dat de factor en gedragsschalen van de nieuwe Schobl versies het sociaal-emotioneel schoolgedrag volledig en in al zijn nuances weergeven. De correlaties tussen de factorschalen oud en nieuw zijn voldoende hoog om te mogen spreken van gelijkwaardige schalen zowel wat betreft betrouwbaarheid als validiteit. De leerkrachten kunnen op basis van de Schobl.nl met vertrouwen conclusies trekken over de aard en betekenis van het sociaal-emotioneel functioneren van hun leerlingen.

 

  1. Inleiding, Werkwijze bij de constructie
  2. Betrouwbaarheid en standaard meetfout
  3. Validiteit: Factor analyse, correlatie met factorschalen oud en correlaties met geslacht leerling.
  4. Conclusie

1. Inleiding

Leerkrachten die de Schobl willen gebruiken voor een periodieke beoordeling van het sociaal-emotioneel functioneren van hun leerlingen zullen, afhankelijk van hun expertise, uit de voeten kunnen met de beoordelingslijst zoals deze is. De gedragsbeschrijvingen zijn concreet en de samenvatting in de vier gedragsdomein voldoende transparant om er conclusies aan te kunnen verbinden voor de dagelijkse onderwijspraktijk. Voor wie meer verstrekkende beslissingen wil en moet nemen over leerlingen zal de behoefte aan betrouwbaarheid en validiteit groeter zijn. Dat zal bijvoorbeeld het geval zijn bij beslissingen over doorverwijzing, dan wel pedagogische en didactische aanpak en methodieken door remedial teachers, pedagogen, onderwijskundigen en onderwijspsychologen. Deze notitie wil in die behoefte voorzien.

Sociaal emotioneel schoolgedrag van leerlingen van de basisschool kan beschreven worden met vier robuuste en onafhankelijke factoren: Vrijmoedigheid of Extraversie, Werkhouding, Sociale omgang of Aangenaam gedrag en Emotionaliteit. Deze komen overeen met vier van de vijf persoonlijkheidstrekken van het z.g. Big Five model. In de Schobl (1980) en de Schobl-R (1993) worden deze gemeten met gelijknamige schalen in de A vorm en een parallelle vorm B, beide bestaande uit 52 items. Worden deze vormen samen afgenomen dan kunnen daarnaast nog dertien afzonderlijke aspecten van gedrag worden gemeten door middel van de gedragsschalen. Een dergelijk uitvoerige en gedetailleerde meting is vooral bedoeld voor de onderwijskundige, orthopedagogische en psychodiagnostische specialisten, die de hoogste eisen moet stellen aan betrouwbaarheid en validiteit van hun instrumenten. Voor leerkrachten die vanuit hun dagelijkse onderwijspraktijk het sociaal emotioneel functioneren van hun leerlingen periodiek in kaart willen brengen schiet die lijst aan zijn doel voorbij. Daarom is besloten twee kortere versies te ontwikkelen die handzamer zijn voor herhaald gebruik door en voor leerkrachten. Het zijn de schobl-kort bestaande uit 20 items, die alleen de vier hoofdfactoren meet en de Schobl-compleet bestaande uit 73 items. Deze laatste versie combineert vorm A en vorm B en brengt naast de vier hoofdfactoren ook de afzonderlijke gedragaspecten in kaart.

Uitgangspunt bij de constructie van de nieuwe Schobl versies was het zorgvuldig handhaven van alle schakeringen van het sociaal-emotionele gedragsdomein. Om dat doel te bereiken verliep het constructieproces van de schalen in een aantal stappen.

  1. Aparte factoranalyses op alle items die onderdeel zijn van een factorschaal en de bijbehorende subschalen van de Schobl-R. Daaraan toegevoegd de scores op gedragsschalen van de betreffende factor. Deze analyse is vergelijkbaar met de vier clusteranalyses die beschreven zijn in de handleiding van de Schobl-R.
  2. Schaalanalyse. Elk van de vier factoranalyses resulteerde in een aantal factoren. Per factor zijn de items met de hoogste lading op die factor onderworpen aan een schaalanalyse. Dat leverde in totaal de 14 gedragschalen op van de Schobl Compleet. De meeste gedragsschalen van de Schobl-R komen daar in terug, zij het verkort, maar er zijn ook enkele verschillen. Dat is het geval voor twee van de vier gedragsschalen van Werkhouding (Gehoorzaam en Weloverwogen) en Sociaal gedrag bleek uit een te vallen in vier gedragschalen (in plaats van 3 zoals bij Aangenaam Gedrag van de Schobl-R). De items van deze gedragsschalen vormen de Schobl-compleet.
  3. Schobl-kort. In de volgende stap werden de factorschalen van Schobl Kort geconstrueerd. Voor elk van de vier factoren zijn van elke bijbehorende gedragsschaal 2 tot 3 items met de hoogste bijdrage uitgekozen. Afhankelijk van het aantal gedragsschalen per factor ontstond een voorlopige factorschaal bestaande uit 8 tot 12 items. Op basis van schaalanalyse zijn deze ingekort tot ten hoogste 5 items met in achtneming van de regel dat er uit elke gedragsschaal ten minste een item in moest zitten. Deze werkwijze garandeerde dat alle relevante gedragsaspecten in de factor schaal werden vertegenwoordigd. Zonder die regel zou de homogeniteit van de factorschalen wat hoger zijn uitgevallen.
  4. De factorschalen van de schobl-compleet bestaan alleen uit de items van de gedragsschalen van die betreffende factor. Ook deze werkwijze hield in dat daarmee concessies werden gedaan aan de homogeniteit van de factorschalen.

Een verslag van het constructieproces kan op gevraagd worden bij de auteur (info@schobl.nl). In deze notitie beperken we ons tot rapportage van betrouwbaarheden en validiteitgegevens van de nieuwe schalen.

 

2. Betrouwbaarheid van gedragsschalen van de Schobl-compleet en de factor schalen van de Schobl-kort.

Onderstaande tabel geeft per gedragsschaal van de Schobl-compleet het aantal items, de coeffient alpha s en met welke schaal uit de Schobl-R deze schaal correspondeert.

 

Tabel 1: Betrouwbaarheid van de factor- en gedragsschalen van de Schobl-Compleet (N=345)

Factorschaal Gedragsschaal Aantal items Coefficient alpha Correspondentie Schobl-R
Vrijmoedigheid 20 .90 Extraversie
Op de voorgrond 5 .89 Og
Vrijpostig 5 .85 Vp
Bazig 5 .83 Bz
Zelfverzekerd 5 .76 Zo
Werkhouding 19 .94 Werkhouding
Gedisciplineerd 5 .81 Gh
Geconcentreerd 6 .91 Gc
Ambitieus 4 .84 Ab
Van op aan 4 .83 geen
Sociale omgang 20 .85 Aangenaam gedrag
Voorkomend 5 .85 Vk
Onzelfzuchtig 5 .79 Oz
Meevoelend 6 .76 Mv
Gemoedelijk 4 .80 geen
Emotionaliteit 14 .86 Emotionele Stabiliteit
Onverstoorbaar 6 .84 Ov
Onbewogen 8 .82 Ob

 

Hoewel de meeste schalen korter zijn dan die van de Schobl-R zijn de betrouwbaarheden van de gedragsschalen van de Schobl-compleet gelijk of hoger dan die van de Schobl-R. Voor de factorschalen (vorm A en B) is dat niet het geval. Dat heeft te maken met de wijze waarop de factorschaal is geconstrueerd. Niet de hoogst ladende items op het rijtje af, maar de items die de gedragsschalen gelijkwaardig representeren. Dat de schalen ingekort zijn tov de Schobl-R speelt uiteraard ook een rol. De betrouwbaarheden zijn van een vergelijkbaar niveau als de factorschalen van de afzonderlijke vormen (A of B) van de Schobl-R.

 

Tabel 2: Betrouwbaarheid van de factor- gedragsschalen van de Schobl-Kort

factorschaal Aantal items Coefficient alpha
Vrijmoedigheid 5 .78
Werkhouding 5 .84
Sociale omgang 5 .83
emotionaliteit 5 .75

 

Standaardmeetfouten.

Uitslagen op welke meting dan ook zijn onderhevig aan meetfouten. De hoogte van bovenstaande betrouwheden geven daar blijk van. Hoe groter het verschil met 1.00 hoe onbetrouwbaarder de score. Het is daarom conform wetenschappelijke standaarden geboden over de uitslag van een onderzoek te spreken in termen van een bandbreedte die ligt rond de verkregen score. De omvang van die zone wordt bepaald door de grote van de meetfout. Deze correspondeert uitaard met de betrouwbaarheid van de test. Voor de normscores van gedragsschalen en factorschalen verkort is op de schaal van 1-9 met een spreiding van 2, een marge van ruwweg plus of minus 0,7 goed voor een zekerheid van 66%. Voor een zekerheid van 95% zou de dubbele marge genomen moeten worden (plus of minus 1.4). Dit zijn geen waarden die aan de exacte betrouwbaarheden van de schalen zijn zijn ontleend, maar behoren bij een betrouwbaarheid van .90. Voor een betrouwbaarheid van .80 (de factorschalen verkort) zijn deze marges plus of minus 0.88 resp. 1.7.

Voor de factorschalen op een schaal van 1-19 is de spreiding van de scores groter (3) en is de marge bij overeenkomstige meetfouten ook groter. Een marge van plus of minus 1.0 geeft dan een zekerheid van 66% bij een betrouwbaarheid van .90 en de dubbele marge een zekerheid van 95%

Een score van 6 op een schaal van 1-9 ligt dus met redelijke zekerheid (66%) tussen 5.3 en 6.7 en met grote waarschijnlijkheid (95%) tussen 4.6 en 7.4. Aan de uiteinden van de schaal wordt het bepalen van de marge naar boven en beneden lastiger. Een bespreking van deze problematiek valt buiten het bestek van deze notitie. Belangrijk is dat de gebruiker beseft dat gegeven de huidige score een volgende beoordeling lager of hoger kan uitvallen dan de eerste keer zonder dat sprake is van een gedragsverandering bij de leerling.

3. Validiteit

Voor het gebruik in de onderwijspraktijk zijn met name de inhoudsvaliditeit en de predictieve validiteit van belang. Onder inhoudsvaliditeit wordt hier verstaan dat de gebruikte gedragsonderscheidingen helder en volledig zijn en dat deze in hun onderlinge overeenkomsten en verschillen onderbouwd worden door wetenschappelijk onderzoek. De gevolgde werkwijze bij de constructie van de schalen legt het fundament, maar uiteindelijk geven de resultaten van de factoranalyse de noodzakelijke empirisch wetenschappelijke onderbouwing. Deze bieden de gespecialiseerde onderzoeker ook de basis voor de voor interpretatie van gedrag in termen van persoonlijkheid.

De validiteit van de nieuwe Schobl versies berust voor een groot deel op de vergelijkbaarheid van de nieuwe schalen met die van de Schobl-R. dat geldt in het bijzonder voor de predictieve validiteit (relatie met schoolprestaties, die , dit terzijde, uitsluitende berusten op onderzoek met de schalen van de B-vorm). De onderbouwing berust op de correlaties (samenhang) tussen de oude en de nieuwe schalen.

Tot slot geven we de correlatie met geslacht. Relaties met ander achtergrondgegevens zou wenselijk zijn, maar voor de gecombineerde A+B vorm zijn andere gegevens zoals opleiding en beroep vader/moeder, urbanisatiegraad etc niet beschikbaar.

 

3.1 Factorstructuur van de gedragsschalen van de Schobl-Compleet en de items van Schobl-Kort.

De onderstaande tabel geeft de varimax oplossing van de voornaamste componenten. Op basis van de screetest (hier niet getoond) worden maximaal vier betrouwbare factoren gemeten met de Schobl compleet. De hoeveelheid verklaarde variantie bedraagt xx%. Los van de technische details bevestigen deze resultaten allereerst dat de beoogde vier onafhankelijke gedragsfactoren inderdaad door de Schobl compleet en de Schobl kort worden gemeten. De bijbehorende ladingen zijn vet gedrukt. Elke schaal/item heeft de hoogste lading met de beoogde factor. De ladingen op de overige factoren geven aanvullend inzicht in de betekenis van het gedrag. (Zie ook het artikel over de psychologische betekenis van schoolgedrag op de website).� We zien bv dat de schalen vrijpostig, Geconcentreerd,� Onzelfzuchtig en Onverstoorbaar de meest onafhankelijke representanten zijn van het gedragsdomein (net als voor de Schobl-R).

Op de voorgrond heeft een negatieve lading op van -.35 op Werkhouding (in de handleiding ontbreekt het juiste teken).� Meevoelend (een nieuwe schaal van Sociale omgang) heeft een duidelijke relatie met Emotionaliteit ((Kalm, stevig).

Dergelijke patronen zien we ook terug in de factorstructuur van de Schobl-Kort,� maar de tekst van de items moet er bij genomen worden om de inhoudelijke details te kunnen herkennen. Zie bv� de negatieve lading van �praat voor beurt� op de factor Werkhouding, een item van gedragsschaal Op de voorgrond.

 

 

Tabel 3: varimax factoren van de gedragsschalen van de Schobl compleet. V=Vrijmoedigheid, WH=Werkhouding., SO=Sociale omgang en EM= Emotionaliteit.

 

Rotated Component Matrixa

Component

Gedragsschalen schobl-Compleet

SO

V

WH

EM

Op de voorgrond (V-1)

-,275

,798

-,353

-,045

Vrijpostig (V-2

,145

,854

-,164

-,148

Bazig (V-3)

-,200

,767

,166

-,078

Zelfverzekerd (V-4)

-,148

,728

,133

,368

Gedisciplineerd (WH-1)

,439

-,531

,610

,011

Geconcentreerd (WH-2)

,168

,002

,925

-,042

Ambitieus (WH-3)

,250

,097

,809

,329

Van op aan (WH-4)

,459

-,172

,721

-,123

Voorkomend (SO-1)

,780

-,167

,314

,025

Onzelfzuchtig (SO-2)

,853

-,238

,151

-,015

Meevoelend (SO-3

,837

,128

,272

-,166

Gemoedelijk (SO-4)

,627

-,344

,210

,470

Onverstoorbaar (EM-1)

,135

-,184

,196

,878

Onbewogen (EM-2)

-,353

,265

-,253

,773

Extraction Method: Principal Component Analysis.Rotation Method: Varimax with Kaiser Normalization.

 

Tabel 4: Varimaxfactoren van de items van de Schobl kort. V=Vrijmoedigheid, WH=Werkhouding., SO=Sociale omgang en EM= Emotionaliteit.

 

 

Rotated Component Matrixa

Items Schobl-kort

Component

WH

SO

V

EM

A19 Groet amicaal

-,102

,089

,815

,017

B19 Bij vreemde op gemak

-,140

-,001

,795

,027

B20 Eigenwijs

,216

-,444

,599

-,068

A24 Overschat

,034

-,305

,541

,170

B40 Praat voor beurt

-,309

-,280

,700

-,099

A22 Moeilijkste alleen

,633

,240

,097

,374

A36 Grondig

,847

,080

-,052

-,105

A53 Gaat op in werk

,824

,173

-,106

,009

B08 Doet wat belooft

,680

,244

-,039

-,145

B39 Denkt grondig na

,700

,222

-,318

-,021

A09 Stuift niet op

,245

,673

-,340

,207

B26 Geeft ongelijk toe

,100

,782

-,107

-,055

B35 Geen rekening met eigenbelang

,188

,728

-,079

-,169

B44 Vergoelijkt fouten anderen

,230

,690

,001

-,141

B48 Doet geen vlieg kwaad

,289

,718

-,135

-,138

A37 Iets naar doet hem/haar niets

-,126

-,260

-,089

,671

A62 Standje laat hem/haar onverschillig

-,307

-,298

,143

,663

B29 Laat hem/haar koud

-,330

-,297

,195

,695

B17 Niet snel uit evenwicht

,202

,103

,079

,779

B23 Reageert zakelijk

,337

,178

-,289

,658

Extraction Method: Principal Component Analysis.Rotation Method: Varimax with Kaiser Normalization.

 

 

3.2 Correlaties tussen schalen oud en nieuw

In de volgende tabel worden de correlaties gegeven tussen de nieuwe factorschalen van de schobl-compleet en -kort met de desbetreffende schalen van de Schobl-R: vorm A, vorm B en de som van vorm A en B.

Zelfs de factorschalen van de Schobl-kort hebben correlaties boven de .90, wat ongeveer de grens is rekening houdend met de betrouwbaarheid. Voor de factorschalen van de Schobl-compleet liggen die waarden nog hoger. Voor de predictieve validiteit zijn de hoge correlaties met Vorm-B belangrijk. De hoogte bevestigt de verwachting dat de resultaten uit de handleiding van de Schobl-r onverkort gelden voor de schalen van de Schobl-compleet.

 

Tabel 5; de correlaties tussen factorschalen nieuw en oud. C= compleet en K=kort (N=325-347)

 

Factorschalen Vorm A Vorm B Vorm A+B
Vrijmoedigheid-C .91 .96 .96
Werkhouding-C .95 .94 .97
Sociale omgang-C .89 .94 .95
Emotionaliteit-C .92 .88 .98
Vrijmoedigheid-K .84 .91 .91
Werkhouding-K .94 .90 .94
Sociale omgang-K .85 .93 .93
Emotionaliteit-K .82 .84 .90

 

Voor de volledigheid geven we hieronder de correlaties tussen de gedragsschalen oud en nieuw voor zover van toepassing.

 

Tabel 6: Correlaties tussen gedragsschalen van de Schobl-Compleet en de corresponderende schalen van de Schobl-R voor zover van toepassing. V=Vrijmoedigheid, Wh=Werkhouding, SO=Sociale omganen en EM=Emotionaliteit.

 

Gedragsschalen Schobl-comleet gedragsschaal Schobl-R
  • opmerkingen
Op de voorgrond (V-1)

.96

Vrijpostig (V-2

1.00

Bazig (V-3)

.86

Zelfverzekerd (V-4)

1.00

Gedisciplineerd (WH-1)

.60

 Hoger met Wh-2 (concentratie):.67 van schobl-R
Geconcentreerd (WH-2)

.96

Ambitieus (WH-3)

1.00

Van op aan (WH-4)

.60

Hoger met Wh 1 (.84) en Wh-2 (.73) van Schobl-R
Voorkomend (SO-1)

.62

 Hoger met AG-2 (.76) van Schobl-R
Onzelfzuchtig (SO-2)

.91

Meevoelend (SO-3

96

Gemoedelijk (SO-4)

.38

Hoger met AG-1(.62) en AG-2 (.58) van Schobl-R
Onverstoorbaar (EM-1)

89

Onbewogen (EM-2)

94

 

 

3.3 Correlaties tussen gedrag en geslacht van de leerlingen.

Uit de publicaties over de Schobl is bekend dat er verschillen zijn tussen jongens en meisjes. Niet zozeer in de het patroon van samenhangen tussen verschillende aspecten van gedrag, maar in de mate waarin jongens en meisjes dat gedrag gemiddeld vertonen. Dat komt tot uitdrukking in de correlaties tussen gedrag en de sexe van de leerling. Hieronder de tabel met correlaties voor de schlen van de Schobl-compleet en de Schobl-kort, aangevuld met de coorelaties voor de schalen van de Schobl-R. Bij deze aantallen proefpersonen zijn alle correlaties significant met uitzondering van de correlatie van Emotionaliteit C (-.08). de overeenkomst in de verbanden is evident. Meisjes zijn minder Vrijmoedig dan jongens, hebben een betere Werkhouding en zijn aangenamer in hun Sociale Omgang en zijn emotioneel gemiddeld kwetsbaarder dan jongens. Hoewel dat onze verwachtingen bevestigt en het vermoeden zou kunnen rijzen dat we te maken hebben met sexe stereotype beoordeling van gedrag, hebben we elders met onze analyse van de relatie tussen schoolgedrag en schoolprestaties aan kunnen tonen dat deze verschillen er wel degelijk toe doen in andere relevante gedrags- en prestatiedomeinen en dus niet toegeschreven kunnen worden aan beoordelaars artefacten.

 

Tabel 7: correlaties tussen factorschalen en sexe van de leerling (hoge score=meisje) N=325-368). C=compleet en K=kort.

 

Correlatie tussen sexe en Schalen Schobl-R
Factorschalen Sexe leerling Sexe VormA+B Sexe Vorm A Sexe Vorm B
Vrijmoedigheid-C

-.13

-.13

-.14

-.12

Werkhouding-C

-.18

.23

.23

.25

Sociale omgang-C

.18

.20

.17

.28

Emotionaliteit-C

-.08

-.14

-.13

-.13

Vrijmoedigheid-K

-.12

-.13

-.14

-.12

Werkhouding-K

.16

.23

.23

.25

Sociale omgang-K

.22

.20

.17

.28

Emotionaliteit-K

-.11

-.14

-.13

-.13

 

Ter illustratie geeft Tabel 8 de gemiddelde beoordelingen voor jongens en meisjes apart voor de factorschalen van de Schobl-Kort.

Alle verschillen liggen buiten de 95% zone en zijn dus significant.

 

Tabel 8: verschillen in gemiddelde beoordeling tussen jongens en meisjes van de factorschalen van de Schobl-kort. V=Vroemoedigheid, Wh=Werkhouding, SO=Sociale omganen en EM=Emotionaliteit.

 

N

Mean

Std. Deviation

Std. Error

95% Confidence Interval for Mean

Lower Bound

Upper Bound

V-K jongen

182

18,6154

4,82802

,35788

17,9092

19,3215

meisje

175

17,5029

4,47840

,33853

16,8347

18,1710

Total

357

18,0700

4,68660

,24804

17,5822

18,5578

WH-K jongen

176

18,1420

5,18870

,39111

17,3701

18,9140

meisje

174

19,8161

5,08774

,38570

19,0548

20,5774

Total

350

18,9743

5,19940

,27792

18,4277

19,5209

SO-k jongen

179

17,7598

4,46753

,33392

17,1008

18,4187

meisje

174

19,7529

4,55307

,34517

19,0716

20,4342

Total

353

18,7422

4,61271

,24551

18,2594

19,2251

EM-K jongen

178

16,3483

4,22155

,31642

15,7239

16,9728

meisje

174

15,4310

4,14804

,31446

14,8104

16,0517

 

4. Slotconclusie

De resultaten van de verschillende analyses overziende is de conclusie gerechtvaardigd dat de factor en gedragsschalen van de nieuwe Schobl versies het sociaal-emotioneel schoolgedrag volledig en in al zijn nuances weergeeft. De correlaties tussen de factorschalen oud en nieuw zijn voldoende hoog om te mogen spreken van gelijkwaardige schalen zowel wat betreft betrouwbaarheid als validiteit. De leerkrachten kunnen met vertrouwen conclusies trekken over de aard en het niveau van hun beoordeling van het sociaal-emotioneel functioneren van hun leerlingen.

Berekeningen zijn gebaseerd op de onderzoeksgroep van de Schobl-R (N=325-368)