Определяне на параметри на трудност и диференциална способност на задачите. Мярка за трудност на задачата Мярка за трудност на задачата

Дискриминативността (диференциалната способност) е способността на тестовата задача да разграничи учениците като повече или по-малко подготвени. Тъй като основната цел на нормативно ориентирания тест е да се постигне диференциращ ефект, високият индекс на дискриминация е много важен за задачата.

За да оценим дискриминационността на дадена задача, ще използваме изчислението по формулата:

Къде е индексът на дискриминационност за j-тия тестов елемент; (P 1) j – процентът на учениците, изпълнили правилно j-тата задача в подгрупа от 27% от най-добрите ученици според резултатите от теста; (P 0) j е процентът на учениците, които са изпълнили правилно j-тата задача в подгрупа от 27% от най-лошите ученици според резултатите от теста.

Индексът на дискриминация варира в рамките на [-1; 1]. Тя достига максималната си стойност, когато всички ученици от силната подгрупа изпълнят правилно тази задача, а никой от слабата подгрупа не изпълни тази задача правилно. В този случай задачата ще има максимален диференциращ ефект. Индексът на дискриминационност достига нулева стойност, когато и в двете подгрупи делът на учениците, изпълнили задачата, е равен. Съответно, няма никакъв диференциращ ефект. Стойност по-малка от 0 ще бъде в ситуация, в която слабите ученици изпълняват тази тестова задача по-успешно от силните ученици. Естествено, задачите, за които индексът на дискриминация е равен или под нула, трябва да бъдат премахнати от теста.

Като използвате данни от файла Appendix4.xls, изчислете индекса на дискриминация за всяка задача. Направете изводи.

ПОКАЗАТЕЛИ ЗА КАЧЕСТВО НА ТЕСТА

Теми за самоподготовка:

Надеждност на стандартни и критериални тестове

Валидност на теста

Задачите се изпълняват в Microsoft Excel. Слушателите могат да получат разпечатки на хода на работата (вижте файла в прикачените файлове Лабораторни упражнения02.doc)

Надеждност на стандартни и критериални тестове

Нормативно ориентиран тест – позволява ви да сравнявате образователните постижения по отделните предмети един с друг. Резултатите, отбелязани от субектите, са широко разпръснати по скалата. (Тестове, за които можете да давате оценки: Единен държавен изпит, тестове за класиране).

Тест, базиран на критериисе използват за сертифициране на предмети във всяка област на знанието. Точките, получени от субектите, се концентрират около една точка - критерият (например при тест от 50 въпроса критерият е 25 верни отговора, т.е. ако субектът е събрал 25 точки, значи е сертифициран, ако не, тогава той не е заверена. Тук оценката не е изложена). (Тестове за професионални способности, тестове, съставени за тестове).

Корелацияе степента на съответствие между резултатите от две измервания.

НАДЕЖДНОСТ

Надеждност– отразява точността на педагогическото измерване, доколко получените резултати за всеки ученик съответстват на неговия истински резултат. Надеждността е характеристика на теста, която отразява точността на тестовите измервания и стабилността на резултатите спрямо действието на случайни фактори.

дипломна работа

2.4 МЕТОДИ ЗА ОЦЕНКА НА СПОСОБНОСТТА ЗА ДИФЕРЕНЦИРАНЕ

Диференцираща способност (ДС) - способността на тестова задача да диференцира (разграничава) силните (способните) от слабите. Нека да разгледаме няколко метода за изчисляване на диференциалната способност.

Мметод 1 - изчисляване на коефициента на дискриминация.

А. При този метод коефициентът на дискриминация се изчислява по формулата:

където x е средната аритметична стойност на всички индивидуални резултати от тестове, е средната аритметична стойност на резултатите от тестовете за онези субекти, които са решили правилно проблема, е стандартното отклонение на индивидуалните резултати от тестовете за извадката, n е броят на субектите, които са решили правилно проблем, е общият брой предмети.

B. Коефициентът на дискриминация на задача може да приеме стойност от -1 до +1. Висок и значим положителен коефициент показва, че задачата е добра при разделянето на предмети с високи и ниски резултати от теста. Високият значим отрицателен коефициент показва неподходящостта на задачата за теста. Ако стойността на коефициента е близка до 0, тогава задачите трябва да се считат за неправилно формулирани.

2-ри метод - изчисляване на дискриминационността по метода на екстремната група.

А. Този метод изчислява способността за разграничаване (дискриминативност) с помощта на метода на екстремните групи, т.е. резултатите на учениците, които са се представили най-много и най-малко успешно на целия тест, се вземат предвид при изчислението. По правило те вземат от 10 до 30% от най-добрите и най-лошите резултати от целия тест. Индексът на дискриминация на задачата се изчислява като разликата в дела на субектите от групата с висока и ниска производителност, които са я решили правилно.

къде е броят на учениците в най-добрата група, които са изпълнили правилно тази задача, е броят на учениците в най-лошата група, които са изпълнили правилно тази задача, е общият брой на участниците в теста в най-добрата група, е общият брой на участниците в теста в най-лошата група.

B. При този метод, както и при предишния, индексът на дискриминация може да варира от +1 (когато всички ученици от най-добрата група и нито един ученик от най-лошата група не са изпълнили задачата) до -1 (когато получава се обратна ситуация - в най-добрата група никой не се е справил, а в най-лошия случай са се справили всички). Задачи с отрицателна стойност на индекса на дискриминация или със стойност близка до нула не могат да се считат за задоволителни и в тях трябва да се търсят съществени грешки. Индекс на дискриминация, по-голям от 0,3, трябва да се счита за задоволителен.

3-ти метод - сравнение на средните постижения на субектите, които са показали най-високи и най-ниски резултати.

А. Способността за диференциране се изчислява по формулата:

където и са средните постижения съответно на групите с най-високи и най-ниски резултати (групата изследвани е разделена на две равни части).

4-ти метод - двукратно тестване в една и съща група за определен период от време.

А. При този метод диференциращата способност се изчислява по формулата:

където и е броят на верните отговори на теста, даден съответно по време на първото и второто тестване, N е броят на участниците.

5-ти метод - сравнение на резултатите от един и същи тест в различни групи.

А. И в последния метод диференциращата способност се изчислява по формулата:

където и е броят на верните отговори на теста, даден в първа и втора група, и е броят на предметите във всяка група.

Б. Интерпретацията на резултатите при последните три метода е следната: диференциращата способност на теста се счита за задоволителна, ако показателят е .

Заключение: можете да забележите, че формулите за намиране на дискриминационност с помощта на 2-ри и 3-ти метод са практически еднакви. Единствената разлика е, че в първия случай използваме метода на екстремните групи. При 4-ти и 5-ти метод специална характеристика е ситуацията на тестване (тестване два пъти в една и съща група и сравняване на резултатите в различни групи).

Публична администрация в областта на образованието в Калмикия

Провеждането на пазарни реформи в Русия поставя съответните изисквания за подготовката на висококвалифицирани специалисти, способни да работят в новата икономическа среда, а оттам и за структурата на образователната система...

Методология на социално-педагогическата дейност за развитие на творческите способности на децата в начална училищна възраст

творческа способност училище визуални способности означава високо ниво на развитие на общи и специални знания, умения и способности, които осигуряват успешното изпълнение на различни видове дейности на човек ...

Методите за изучаване на педагогическия опит са начини за изучаване на действителния опит в организирането на образователния процес. Проучен като най-добра практика, т.е. опитът на най-добрите учители и опитът на обикновените учители...

Методология на научните изследвания в педагогиката

Ще разгледаме по-подробно третата класификация на методите. Традиционни педагогически методи. Традиционни са методите, наследени от съвременната педагогика от изследователите, застанали в основата на педагогическата наука...

Методи на обучение и техният избор

Проверката и оценяването на знанията, уменията и способностите на учениците е важен структурен компонент на учебния процес и в съответствие с принципите на системност...

Организиране на контрол и записване на знания, умения и способности

Когато говорим за оценка на знанията по икономика, струва си да се замислим внимателно върху въпроса – какво точно се опитват да оценят учителите? В миналото тестовете и изпитите поставяха прекомерен акцент върху ученето и припомнянето на факти. В последните години...

Методите за оценка на основните характеристики на тест се състоят от две части: A. Изчисляване на някаква стойност или характеристика; Б. Интерпретация на получения резултат, в съответствие с нормата. Нормата се определя според спецификата на изследването...

Характеристики на статистическата оценка на качеството на теста за диагностика на индивидуалния напредък на учениците от средното училище

Спомнете си, че валидността в теорията на тестването означава, че формата и съдържанието на теста съответстват на това, което неговите създатели са предвидили да оцени или измери. От анализа на литературата идентифицирахме два метода за оценка на валидността...

Както бе споменато по-горе, надеждността на теста характеризира степента на стабилност на резултатите от теста на всеки субект. Методите за оценка на надеждността включват изчисляване на коефициента на надеждност по различни начини...

Оценка на ефективността на държавната бюджетна образователна институция за средно професионално образование

Теоретични основи за оценка на качеството на образователните услуги с участието на потребителите" е посветена на разработването и теоретичната обосновка на модел за оценка на качеството на образователните услуги...

Пейзажната живопис като средство за развитие на творческите способности

Много често, когато се опитваме да обясним защо хората, които се намират в еднакви или почти идентични условия, постигат различни успехи, се обръщаме към понятието способност, вярвайки, че разликата в успехите на хората може да се обясни именно с това...

Проблеми при повишаване на ефективността на качеството на обучение на завършилите

В контекста на модернизацията на системата на професионалното образование...

Учене в училище

В най-общата форма способностите са индивидуални психологически характеристики на човек, които осигуряват успех в дейността, в общуването и лекотата на тяхното овладяване. Способностите не могат да бъдат сведени до знания, умения и способности...

Физиологични и педагогически особености на развитието на учениците в юношеска възраст

Формиране на двигателна активност при деца от предучилищна възраст

Анализът на литературата и опитът от работа с деца показват, че за оценка на различни аспекти на физическата годност на децата в предучилищна възраст се използват контролни тестове (тестове)...

ТЕСТВАНЕ(от англ. test - опит, изпитание) - метод за психологическа диагностика, който използва стандартизирани въпроси и задачи (тестове), които имат определена скала от стойности. Използва се за стандартизирано измерване на индивидуалните различия.

Има три основни области на тестване:

а) образование - поради увеличаване на продължителността на обучението и усложняване на учебните програми;

Б) професионално обучение и подбор – поради нарастващия темп на растеж и нарастващата сложност на производството;

в) психологическо консултиране – във връзка с ускоряването на социодинамичните процеси. Тестването дава възможност с известна вероятност да се определи текущото ниво на развитие на индивида на необходимите умения, знания, личностни характеристики и др.

Процесът на тестване може да бъде разделен на три етапа:

1) избор на тест (определен от целта на теста и степента на валидност и надеждност на теста);

2) провеждане на теста (определя се от инструкцията за теста);

3) интерпретация на резултатите (определени от система от теоретични допускания по отношение на предмета на изпитване).

И на трите етапа е необходимо участието на квалифициран психолог (учител).Процедурата за обработка на резултатите от тестове с голям брой субекти отнема много време и усилия. Програмите за компютърно тестване ви позволяват да видите характеристиките на дадена извадка за секунди, представени в графики и таблици за по-голяма яснота, създават атмосфера на независимост, елиминирайки междуличностните отношения - учител-ученик. Това спестява време, пари и усилия на педагогическия психолог. Съвременните компютърни програми позволяват бърза и ефективна обработка на получените данни.

Анализът и оценката на тестовите задачи започва след тестване на теста върху целевата група. Получените данни се обобщават в таблица с матрична структура, в която задачите започват да се сортират по следните критерии:

1) мярка за трудност на задачата;

2) диференцираща способност на задачата;

3) първичен анализ на резултатите от тестването

Мярка за трудност на задачата

Мярката за трудност на задачата предоставя информация за степента на участие на параметъра на изследваното свойство, което е предназначено да измерва, и определя съответствието на задачата с целевата група на теста.

Дали една задача е трудна или лесна се определя чрез изчисляване на съотношението на грешните отговори на всяка от тях. Трудността на дадена задача може да се определи и спекулативно, въз основа на очаквания брой и характер на тези елементи, които участват в изпълнението.

Способност за диференциране

Способността за диференциране е степента, до която дадена задача може да разграничи силен предмет от слаб по отношение на нивото на знания. Ако всички предмети имат еднаква стойност за една от задачите, не е подходящо включването на тази задача в теста. Способността за диференциране се определя емпирично чрез вариация на данните.

Вариацияе степента на разнообразие на данните, получени по време на изпълнение на задача. Отразява способността за диференциране. Ако диференциалната способност е висока, говорим за променливи данни и обратно. Ако данните не са променливи, задачата се премахва от теста. Вариацията се определя чрез изчисляване на дисперсията. Дисперсията изчислява сумата от квадратните отклонения на стойностите на резултата от средноаритметичния резултат, т.е. изчислява се средната аритметична стойност за пробата и всички получени точкови стойности започват да се сравняват с нея. По този начин можете да получите информация за варианта на тестовата задача. Обща мярка за вариация в резултатите от теста на даден елемент е стандартното отклонение, което се определя чрез изчисляване на корен квадратен от дисперсията.

Първичен анализ на резултатите от тестовете

След като тестът е стандартизиран, тестван и одобрен от експертна комисия, може да се получи необходимата информация за способностите на дадено лице. За да направите това, след тестването се извършва първичен анализ на резултатите; по-добре е да използвате резултатите от груповото тестване.

Получените данни трябва първо да бъдат намалени до средната стойност. Показва по-ясно груповия резултат. Средната стойност обаче не е много информативна по отношение на характеристиките на разпределението на точковите стойности и честотата на поява на всяка стойност. Режим (Mo) е индикатор за най-често срещаната стойност на резултата. Може да има няколко режима - най-голям брой пъти могат да се появят няколко стойности. След това пробата се разделя наполовина и резултатите на граничния субект се приемат като медиана (Me).

Графиката на резултатите от теста обикновено е под формата на камбана („камбана на Гаус“), съответстваща на закона за нормалното разпределение, където екстремните стойности показват редки резултати и когато се приближавате до средата на кривата, честотата на резултатите се увеличава. Модовете, медианата и средната аритметична също са нанесени на графиката. В някои случаи те могат да съвпадат - тогава разпределението на данните се нарича симетрично. Колкото по-голямо е разстоянието между модата, медианата и средната стойност, толкова повече резултатите от теста се отклоняват от нормалното разпределение.

Методи за диагностика на способностите

Диагностиката на способностите трябва да се извършва от висококвалифициран специалист. За да идентифицира способностите, психологът провежда цялостна консултация, която включва тестване, разглеждане и интерпретация на резултатите, както и създаване на индивидуален план за развитие, който зависи от наличието на определени способности.

Най-често срещаните методи за диагностициране на способности включват: Диференциална тестова батерия за способности (DAT) и обща тестова батерия за способности (GATB). DAT – 8 подтеста (характеристики на развитие на вербалното мислене, числени способности, абстрактно мислене, техническо мислене и др.). GATB - 12 подтеста, измерващи нивото на развитие на 9 способности.

Освен това специалистите използват специални тестове за определяне на характеристиките, както и нивото на развитие на интелигентността. В някои случаи психолозите допълват своите консултации с други диагностични техники.

Целта на идентифицирането на способностите е тяхното по-нататъшно развитие, което е процес, който включва развитието на оперативни механизми, функционална система, ефективност в системата от оперативни и функционални механизми и др.

Изчерпателни батерии за способности - измервайте набор от способности и предоставяйте профил, формиран от представянето на всяка способност. Тестовете за способности се разделят на:

Общи (интелектуални - използват се тестове за интелигентност).

Специални (използват се специални тестове).

Има тестовематематически, технически, музикални, артистични и други способности. В чуждия тест YUGII е обичайно тестовете от този тип да се класифицират на две основания:

а) по вид на психичните функции - сензорни, двигателни тестове;

б) по вид дейност - технически и професионални тестове, т.е. съответстващи на определена професия (офис, артистични и др.).

Двигателни тестовеса насочени към изучаване на точността и скоростта на движенията, координацията око-ръка, сръчността на движенията на пръстите и ръцете, тремора, точността на мускулното усилие и др. Най-известните са тестът за скорост на манипулиране с малки предмети на Крауфорд и др. В руската психология тестовете, разработени от M.I.Gurevich и N.I. За да тестват психомоторните умения, участниците бяха помолени бързо да връзват възли и да нанизват мъниста.

Сензорни тестовеса разработени за изследване на различни перцептивни характеристики. Например зрителна и слухова острота, дискриминационна чувствителност, цветова дискриминация, разграничаване на височина, тембър, сила на звуците и т.н. В изследването на слуха, заедно с индивидуалните тестове, тестът за музикални способности на Seashore и тестът за технически способности на Bennett са станали много популярен.

Има обаче по-общи методи за изучаване на способностите - специални тестови батерии.

Най-известните са Differential Ability Test Battery (DAT) и General Ability Test Battery (GATB).

Диагностиката на общите умствени способности се извършва с помощта на три подтеста: „лексика“, „математическо мислене“ и „пространствено възприятие в триизмерното пространство“;

вербалните способности се диагностицират с помощта на задачи за определяне на синоними и антоними (лексика); Числените умения се оценяват с помощта на два подтеста: Изчисление и математически разсъждения; пространственото възприятие се анализира с помощта на геометрични разработки; възприемането на формата е представено от два подтеста, в които субектът сравнява различни инструменти и геометрични форми; задачите за скоростта на възприемане, необходима за служител, са представени по двойки думи, чиято идентичност трябва да бъде установена; двигателната координация се тества чрез задачата да се правят бележки с молив в поредица от квадрати; ръчната сръчност (моторика на пръстите) се изучава с помощта на специално устройство (4 подтеста).

Разработват се стандартизирани тестове за диагностициране на определени видове креативност. Така, тестовете за артистични способности включват задачи:

1) да разбират произведенията на изкуството (диагностицират едно от най-важните качества, необходими за творчеството - естетическо отношение към живота). Например, в тестове за разбиране на произведения на изкуството, субектът трябва да избере най-предпочитания от два или повече варианта за изобразяване на обект;

2) върху производителността (т.е. техника, умение за изпълнение) на дейността.

Тестовете за интелигентност са предназначени да изследват нивото на интелектуално и умствено развитие на човек. В този случай интелигентността се отнася до когнитивните процеси и функции (мислене, памет, внимание). Тестовете за интелигентност са исторически ранни методи на психодиагностика. Концепцията за „коефициент на интелигентност“ (IQ) се използва като основен и доста стабилен показател за умствено развитие. Сред най-известните тестове за интелигентност, използвани от местните психолози, са тестовете на Д. Векслер, Р. Амтауер, Дж. Рейвън и Станфорд-Бине.

Тестологията е интердисциплинарна наука за създаването на висококачествени и научно обосновани диагностични измервателни техники. В психологията съдържанието на тестологията до голяма степен съвпада със съдържанието на диференциалната психометрия. Но принципите и методите на тестологията надхвърлят психологията. Те намират широко приложение и в други отрасли на науката и практиката – в педагогиката, медицината, техниката, управлението (професионален подбор). Във всяка от тези индустрии методите за тестване имат общи черти, свързани с осигуряването на такива свойства на методите за тестване като валидност, надеждност, ефективност и др. Но има и някои специфики, свързани със спецификата на предмета на тестване (професионални и общообразователни познания, набор от медицински симптоми и др.) и условия за събиране на емпирична информация. Тъй като тестовият метод не изчерпва разнообразието от методи на съвременната психодиагностика, не е правилно да се идентифицира тестологията с психодиагностиката.

Съвременната тестология е напълно развита приложна наука, която поставя широк спектър от теоретични проблеми пред изследователите и предлага множество математически подходи, модели и методи. Широкото разпространение, развитие и подобряване на тестовете е улеснено от редица предимства, които този метод предоставя. Тестовете ви позволяват да оцените предмета в съответствие с заявената цел на изследването; са сравнително бърз начин за оценка на голям брой непознати лица; допринасят за обективността на оценките, които не зависят от субективните нагласи на лицето, което провежда изследването. Осигурете съпоставимост на информацията, получена от различни изследователи по различни теми

Мярка за трудност на задачата

Мярката за трудност на задачата предоставя информация за степента на участие на параметъра на изследваното свойство, което е предназначено да измерва. Понякога се казва, че мярката за трудност определя дали даден елемент е подходящ за целевата група на теста. Като цяло можем да кажем, че този критерий ни позволява да преценим това.

Дали една задача е трудна или лесна се определя чрез изчисляване на съотношението на грешните отговори на всяка от тях. Въпреки това днес се използва не съвсем класически метод за определяне на трудността на дадена задача - спекулативно, въз основа на прогнозния брой и естество на онези елементи, които участват в изпълнението на задачата (и са включени в параметъра на измерваното свойство) . Да кажем, че в тест за капацитет на паметта има задача, свързана с произволно запаметяване, която може да включва реч (изговаряне на списък с числа на глас или „на себе си“), мислене (изграждане на асоциативни връзки) и т.н. В този случай задача за запомняне на числова серия с разсеян субект може да увеличи трудността на нейното изпълнение.

Способност за диференциране

Диференциращата способност на една задача е доколко тя може да разграничи силен субект от слаб по отношение на свойството, което се измерва. Ако всички предмети имат еднаква стойност за една от задачите, не е подходящо включването на тази задача в теста. Много е трудно да не допуснете грешката да объркате способността за разграничаване на дадена задача с нейната трудност/лекота. Факт е, че в тестове, които измерват качеството на извършените дейности, знания и т.н., тестове за постижения, редица еднакви отговори на задача ще означават две опции: правилни / неправилни. Съответно от тази серия може да се направи неправилно заключение за трудността (при всички неверни отговори) или лекотата (при всички верни отговори) на задачата.

Трябва да се отбележи, че този критерий често се пренебрегва от съставителите на съвременни тестове. Това носи голямо неудобство както на субектите, които трябва да отговарят на ненужни въпроси, така и на психолозите, които са принудени да обработват ненужна информация.

Способността за диференциране се определя емпирично чрез вариация на данните.

Вариация и дисперсия

Вариация - буквално степента на разнообразие в данните, получени по време на изпълнение на задача. Отразява способността за диференциране. Ако диференциалната способност е висока, говорим за променливи данни и обратно. Ако данните не са променливи, задачата се премахва от теста. Вариацията се определя чрез изчисляване на дисперсията. Дисперсията изчислява сумата от квадратните отклонения на стойностите на резултата от средния аритметичен резултат. Просто казано, средноаритметичната стойност на извадката се изчислява и всички получени точкови стойности започват да се сравняват с нея. Така получаваме информация за вариацията на тестовата задача. Обща мярка за вариация в резултатите от теста на даден елемент е стандартното отклонение, което се определя чрез изчисляване на корен квадратен от дисперсията.

Понякога вариацията се нарича наблюдаема променлива. Факт е, че свойството, което тестът има за цел да измери, се приема като латентна (ненаблюдаема) променлива. И с помощта на теста се определя наблюдаема променлива, която разкрива само приблизителни стойности на ненаблюдаваните истински резултати на субекта.

Първичен анализ на резултатите от тестовете

И така, тестът е стандартизиран, тестван и одобрен от експертна комисия. Сега с него можете да получите необходимата информация за психологическото свойство или способност на човек. За да направите това, след тестването се извършва първичен анализ на резултатите. Обикновено те говорят за това в случай на групово тестване.

Предимства на компютърните програми за тестване

Горната процедура за обработка на резултати от тестове с голям брой субекти отнема много време и усилия. Програмите за компютърно тестване ви позволяват да видите горните примерни характеристики за секунди, представени в графики и таблици за по-голяма яснота. Това спестява време, пари и усилия на психолога, който веднага след получаване на резултатите от първоначалния анализ може да започне да разработва препоръки или да тества научни хипотези.