Увод

В помощ на кандидат-студентите за първи път в кампанията през 2007 г. на сайт, администриран от “Лабораторията за електронно обучение” към ЮЗУ “Неофит Рилски” - Благоевград, беше осигурен свободен он-лайн достъп до примерни варианти на изпитния тест по география на България. Това стана възможно благодарение на съвместните усилия на преподаватели от катедрите “Информатика” и “География, екология и опазване на околната среда” на Природно-математическия факултет на университета. За въвеждане, поддръжка и осигуряване на достъпа до он-лайн вариантите на кандидатстуден тските тестове беше използвана системата за електронно обучение Moodle.

В статията е представен процесът на разработка и приложение на он-лайн кандидатстудентски тестове по география на България. Направен е обзор на функционалните характеристики и възможности на системата Moodle за разработване на тестове за проверка и самопроверка на знания. Апробирана е технология за създаване на база от данни с въпроси, осигуряваща избор на тестови задачи от различни дялове на избраната предметна област. Включени са само частични резултати от проведеното апробиране на тестовете.

Възможности на системата Moodle
за създаване, използване и анализиране на дидактически тестове

Системата Moodle е софтуер с отворен код и предоставя широки възможности за разработване и администриране на курсове за електронно обучение. Към 20.01.2008 на официалния сайт на Moodle (www.moodle.org) са регистрирани над 37450 сайта от 202 страни в света. Интерфейсът и е преведен на 70 езика, включително и на български.
Системата предоставя лесен и удобен за преподавателя интерфейс. Поддържат се множество ресурси и дейности като: тестове за проверка и самопроверка на знания и умения, изпращане на задания и проекти, уроци с определен път за учене, попълване на анкети, участие в дискусионни форуми и др. На основата на осъществените учебни дейности преподавателят може да зададе критерии и скали за оценяване постиженията на обучаемите.
Тестовият модул предоставя възможности на преподавателя за:

• определяне общите параметри на теста;
• определяне на различни категории въпроси съобразно дадена предметна област;
• въвеждане на различни типове тестови въпроси в базата от данни с въпроси;
• импортване и експортване (получаване и изпращане) на въпроси в различни формати, осигуряващи повторната им използваемост в други курсове и платформи за електронно обучение.
• генериране на тест по зададени категории от предметната област с опция за случаен избор на въпроси от дадена категория;
• задаване на критерии за оценяване според избрана от преподавателя скала;
• преглед на резултатите от теста;
• анализ на тестовите задачи.

По-важните параметри на теста, които преподавателят може да зададе, са:

• календарен период, в който тестът е достъпен за обучаемия;
• лимит от време за попълване на въпросите;
• разбъркване местата на въпросите в теста и/или разместване на позициите на възможните отговори;
• брой опити, начин на оценяване, използване на наказателни точки;
• използване на адаптивен режим, при който веднага след попълване на въпрос обучаваният може да види отговора му;
• парола за достъп до теста.

На фиг. 1 е представен интерфейсът за задаване на параметри на тест.


Структурирането на въпросите в категории е изключително удобно за преподавателя, тъй като той може да посочи отделни теми и раздели, към които ще отнесе съответните въпроси (фиг. 2).


Възможно е да се направи и класификация на въпросите според определена таксономия на учебните цели. Системата предоставя възможност за генериране на богат набор от типове въпроси (фиг. 3) – с множествен избор, с един или повече верни отговори, с алтернативен отговор, съответствие между две групи обекти (двойки), кратко допълване на числова стойност или текст, есе и др.


За тестови въпроси от тип есе се прави ръчно оценяване от преподавателя. Въпросите с множествен избор, допълване, съответствие между две групи обекти се проверяват автоматично от системата. За всеки тип въпроси се задават неговата тежест в точки, по желание може да се включи графичен обект в описанието на тестовия въпрос, може да се дадат наказателни точки за грешен отговор и др. Обучаваният попълва теста в он-лайн режим. В зависимост от настройките на теста може да види резултата си, отговорите, които е дал, верните отговори на въпросите (фиг. 4).


Системата прави автоматичен статистически анализ на характеристиките на тестовите задачи, включени в даден тест. Предоставят се стойностите за брой и процент отговорили на всеки от възможните отговори, коефициентът на трудност, стандартното отклонение, дискриминационният индекс и коефициентът на дискриминация. (фиг. 5).


След допълнителен анализ на базата на статистическите характеристики на тестовите задачи, преподавателят може да редактира условията на някои от тях или да отхвърли задачи, които не попадат в оптималния диапазон на критериите. За коректното извеждане на този анализ е подходящо използването на специализирана литература (Бижков, 1995; Стоименова, 2000).

За съжаление системата не прави анализ на характеристиките на теста като надеждност и валидност. За целта е необходимо резултатите от теста да се експортират в .xls формат и да бъдат допълнително обработени, например с MS Excel.

Структуриране на базата данни от въпроси

Подборът и подредбата на въпросите е основен методически инструмент, чрез който се постига изпълнението на целта на кандидатстудентския изпит по география под формата на тест – проверка на знанията на кандидатстващите по всички теми от учебното съдържание по география на България, изучавани в средното училище.

Типове въпроси

При подбора на типовете въпроси е търсено използването на идентични или максимално близки типове въпроси до тези, включени в изпитните тестове. От разнообразните шаблони за въпроси, които предлага Moodle, бяха използвани две основни категории с една разновидност.

Основната част от въпросите са от затворен тип, при които трябва да се избере един верен от четири варианта за отговор. Системата дава възможности за въвеждане на неограничен брой варианти за избор, но тъй като изпитните въпроси са съставени по гореописания начин, промени не бяха правени. При картографските въпроси, които също са от затворен тип, са използвани две допълнителни опции на системата. Първата е свързана с отваряне на съответен графичен файл (в случая картосхема) към всеки един от въпросите, който предварително се въвежда в ресурсите към теста. Системата Moodle поддържа достатъчен брой възможности за разширения от различни формати. Втората опция е свързана с наличието на множество верни отговори. Половината от предлаганите 12 варианта за отговор към тези въпроси (или 6 на брой), са верни.

Като далечен аналог на отворените въпроси от изпитния тест в примерните електронни варианти са използвани въпроси от типа “кратък отговор”. Те предполагат добро владеене на материята и услужлива памет и изискват отговор от една-две думи, който обаче задължително трябва да е написан на кирилица и без правописни грешки. При изписване на латиница, както и при допускането на грешки, системата не отчита съответствие между въведения от кандидата и предварително зададения верен отговор и не му присъжда точки. За недопускане на подобни разминавания към заставката на теста беше написано изрично предупреждение, което обаче не винаги се възприемаше от потребителите.

Категории и подкатегории въпроси

Структурирането на въпросите от базата данни е извършено чрез групирането им в категории и подкатегории въпроси. За всяка основна тема от учебното съдържание е създадена самостоятелна категория със съответното название. При някои от категориите, обхващащи по-голям обем учебен материал, допълнително са включени и подкатегории. Така например в категориията “Климат” са добавени подкатегории “Климатични фактори” и “Климатични елементи”, а в категорията “Стопанство” – подкатегориите “Историческо развитие”, “Фактори за развитие и териториално разположение”, “Отраслова и териториална структура”.

Всяка от категориите подлежи на последваща редакция с възможности за създаване, модифициране, преместване и изтриване на въпросите, включени в нея. Същото се отнася и за самите въпроси, които могат да бъдат или само визуализирани за преглед или редактирани при необходимост. Всеки въпрос получава свое собствено име – абревиатура или номер с цел улесняване на намирането му при нужда от внасяне на корекции.

Структура на примерните он-лайн тестове

Структурата на примерните тестове е максимално близка до тази на изпитния тест. Броят на въпросите е общо 30, вместо 33, но броят на затворения тип въпроси е запазен непроменен – 28. В примерните варианти вместо два картографски въпроса е включен един, както и само един вместо три отворени въпроса. По този начин относителната тежест на затворените въпроси нараства за сметка на отворените и картографските. По отношение на комбинирането на въпросите в електронните варианти на теста, системата Moodle има изключително важна опция, позволяваща във всеки от тях, на случаен принцип да се включват един или няколко въпроса от всяка една група или подгрупа въпроси. По този начин всеки път системата генерира неповторима уникална комбинация от въпроси при запазване напълно идентична структура на всички варианти. От друга страна, при желание от всяка група и подгрупа могат да бъдат фиксирани конкретни въпроси, които задължително да се включват във всеки от вариантите на теста. Скала за оценяване на примерните он-лайн тестове Скалата за оценяване на примерните варианти е аналогична с тази на изпитните тестове. За всеки верен отговор на затворен въпрос се присъжда 1 точка, на отворен – 2. При картографския въпрос за всеки вярно посочен обект на картата се дава 1 точка. Разликата е, че в примерните варианти са зададени 6 вместо 4 обекта, както е в изпитния тест, т.е. картографският въпрос може да донесе до 6 точки. По този начин максималният брой точки за примерните варианти става 36, докато за изпитните тестове той е 42. За 1/3 от тях (12 и съответно 14) се получава оценка среден (3,00).

За всяка точка повече към оценката по шестобалната система се добавят още 0,125 при примерните или 0,12 единици при изпитните тестове. За коректното въвеждане на скалата за оценяване в електронен вид е необходимо преизчисляването на точките в проценти от максималния им брой и попълването на таблица, в която на съответния процент отговаря оценката, закръглена с точност до втория десетичен знак.

Системата Moodle има опции за визуализация на броя на точките или на получената оценка по шестобалната система след затварянето на теста, както и на предварително въведено текстово съобщение за това как се е справил изпитваният. Не всички от тях бяха използвани, както не беше използвана и възможността за посочване на верните отговори на въпросите, заедно с изписването на кратък коментар, в случай че избраният отговор е неверен. Така се целеше стимулиране на активността на кандидатите и самостоятелното търсене и намиране на необходимата информация. Това беше възможно поради зададеното достатъчно дълго време за попълване на тестовете – 60 минути. Налице са възможности за оценяване на базата на първия или последния опит на изпитвания, както и за изчисляване на средноаритметична оценка от всички опити.

Време на активност

Сайтът с примерните тестове беше достъпен за потребителите в интернет–пространството от 23.05.2007 г. с активирана опция за генериране на уникални варианти чрез произволно комбиниране от базата данни с въпроси по зададен шаблон за включване на точно определен брой въпроси от отделните категории и подкатегории. Оценяването се извършваше въз основа на последния опит на всеки регистриран, като нямаше ограничение в броя на опитите. Тъй като много от потребителите направиха голям брой опити за няколко дни, системата се претовари и беше невъзможно да се поддържа функцията за “item analysis”, която дава статистическа информация за действителната трудност на въпросите. Стигна се дотам, че поради проблеми с регистрацията, достъпът на потребителите до сайта беше прекратен за около 10 дни за периода 10-19.06.2007 г. След това функционирането на сайта беше възстановено до датата на кандидатстудентския изпит по география в ЮЗУ – 09.07.2007 г. В организацията на сайта обаче бяха внесени няколко съществени изменения. Всеки от потребителите имаше възможност да попълни еднократно четири фиксирани примерни варианта на теста. Оценяването се извършваше на базата именно на този единствен опит.

Резултати

Като се изключат потребителите, регистрирани неколкократно с различни имена, както и тези, влезли само от любопитство, броят на реално попълнените тестове за всеки един от четирите примерни варианта беше приблизително между 200 и 300. Това беше напълно достатъчно за целите на анализа на тестовите задачи. Предложените тестови задачи с избираем отговор са с 4 възможни отговора и съгласно Е. Стоименова (2000, стр. 66) задачите са класифицирани по отношение на трудността си в табл. 1. В нея е посочен броят на задачите, попадащи в съответната категория по степен на трудност. Включени са данни само за задачите с избираем отговор.


Данните показват, че по отношение на трудността тестовите въпроси в тест 1 и тест 2 са добре подбрани. Лесните задачи в тест 3 и тест 4 трябва да бъдат ревизирани. Всички въпроси с оптимална трудност могат да бъдат използвани за попълване на базата данни от въпроси за изпитните варианти на теста. Към тях могат да бъдат добавени и част от „лесните въпроси” след незначителна модификация и прецизно редактиране.

По-задълбочен статистически анализ на тестовите резултати, отнасящ се до надеждност и валидност ще бъде направен в следваща статия.

Заключение

Използването на Moodle или други системи за електронно обучение ще навлиза все по-бързо в арсенала на методическите средства на преподавателите по география във висшите и средните училища. С осигуряването на подходящо оборудвани компютърни зали с достатъчен брой работни места голяма част от учебното съдържание за дадена дисциплина или клас може да бъде въведено в електронната система. Това дава възможности не само за текуща проверка на знанията на обучаваните чрез тестове, но и за имплантирането на много най-разнообразни текстови, статистически, графични и аудио-визуални материали за онагледяване на учебния процес. Лекциите и часовете по география ще станат по-привлекателни и достъпни за студентите и учениците.

По нататъшните изследвания ще бъдат насочени към оптимизиране на тестовите въпроси, включване на въпроси с мултимедийни характеристики, задълбочен статистически анализ на характеристиките на използваните тестови задачи и тестове.

Литература

1. Бижков Г., Методология и методи на педагогическите изследвания, Изд. «Аскони», С., 1995.
2. Стоименова, Е. Измерителни качества на тестовете, НБУ, С., 2000.
3. www.moodle.org

---

In 2007 experimental on-line assessment tests for university entrance exam in Geography of Bulgaria were carried out at the South West University. For development of the test learning management system (LMS) Moodle is used.
In the paper the development process and application of on-line university entrance tests in Geography of Bulgaria are presented. The overview of functionalities of LMS Moodle and possibilities of the system for development of assessment tests are performed. The technology for elaborating of tests items and tests is proposed. Some results obtained of tests approbation are discussed.