Допустим такой: "Ё и е лежали на скамье, Ё скатилось, е разбилось, что мы видим на скамье?" И ответы: Ё, е, и, п, р, с, т, ничего. Вот и ломай голову, как найти подсказку, хотя канонический набор вопросов и ответов открыт у тебя в компе. И никого соответствия № вопроса - № правильного ответа. Как это, нередко, практикуют в простых, убого сделанных тестировках.
А при другом запуске теста этот преобразованный вопрос, может выглядеть так: "В траве лежали w и q. W смылась, всем сказав "ку-ку", а q, слова не разобрав, вскочила много выше трав. Что завалялось в траве? И соответствующий набор ответов. Конечно, преобразовывать-сочинять такие вопросы автоматически, имея лишь канонический текст вопросов, непросто. Но используя методы ИИ, возможно. Потому, для начала можно использовать упрощенное преобразование текстов канонических вопросов, с помощью бригады учителей предметников.
Даже в вопросах по математике, где, обычно, используют жесткую логику и четкие формулировки, применение семантически преобразованных вопросов допустимо. Возьмем канонический тип вопроса: "Определить площадь круга радиусом 1 м"? Вот как может выглядеть преобразованный вопрос: "На клумбе диаметром 10 м цветы. Каждый занимает 0,3 кв.м. Сколько цветков на клумбе?" И соответствующий набор ответов. А в следующем запуске вопрос может преобразоваться в такой: "Круглую медаль площадью 25 кв. см поместили в квадратную рамку. Чему равна сторона минимальной рамки?" И свой набор ответов.
Т.е. на каждый канонический вопрос (а их должно быть не менее 1500 по предмету), программный автомат будет выдавать один, из нескольких десятков преобразованных вопросов. Потому вероятность, что у экзаменуемых в одном кабинете появится одинаковый вопрос, почти нулевая. То в вопросе будет фигурировать прямая задача, то обратная. То там будут цветки, то медали или любые круглые предметы и т.п. И такое по всем вопросам, а не только по вопросу о площади круга. Списывание через поиск, по системам подсказок на своем "компе", которые (подсказки-шпаргалки) обязательно появятся, будет проблематично. Однако, это будет более длительный процесс, чем самостоятельное решение. Но про безопасность системы несколько позже.
Уже, сегодня не проблема составить, допустим, по курсу математики, полторы тысячи канонических вопросов и выложить их в Инет. А к составлению преобразованных вопросов, которые будут выводиться на экран тестируемого ученика, привлечь 10-20 предметников, которые бы изменяли вопросы, составляли верные и неверные ответы. Допустим на "канонику" о площади круга в 1 м, следующий вариант вопроса буде "… в 1,2 м, следующий в 1,5 м" и т.д. Да и вариации слов текста приветствуются. Таких вопросов можно изобретать по 300 шт. в день. Тогда за неделю все, 1500 вопросов, будут обновлены. И никакие "электрошпроры" не помогут!
Но это тривиальное решение. Посадить "10-20 гребцов на галеру", сегодня "не катит". Лучше поставить мотор и переделать "галеру" в катер, с толковым капитаном. В нашем случае, это создать программный автомат преобразования ежедневного или, хотя бы, еженедельного преобразования всех вопросов. И эти новые вопросы должны подвергаться контролю и редакции группы "людей-экспертов". Мало ли что программа придумает. ИИ надо держать под контролем.
Алгоритмы семантических преобразований каноники к тексту, логически тождественному исходному смыслу, достаточно сложны, но возможны. Здесь основной критерий – минимальное повторение слов канонического текста вопроса в преобразованном вопросе и максимальное повторение одинаковых слов во всем массиве канонических вопросов. И базы слов по главным смысловым словам канонических вопросов. Так, в канонических вопросах по курсу математике, из множества слов, допустим таких, как: найти, определить, вычислить, узнать т.п., надо определить одно слово и только его использовать в текстах этих вопросов. Зато в преобразованных вопросах его не использовать. Программный алгоритм будет заменять это слово синонимами или словами, близкими по смыслу. Также необходимо создать алгоритмы ответов для реального вопроса, с определение одного правильного. Задача непростая, но решаемая.о. Все эти решения и будут одним из "ноу-хау" новой системы тестирования. Толковым программистам, математикам-алгоритмистам и матлингвистам есть, над чем упорно и интересно поработать.
Но вот, время тестирования закончилось, или вы сами успешно ответили на все вопросы и нажали мышкой кнопку: "Закончить тестирование". На экране появилось: "Тестирование закончилось! Ваши ответы отосланы на контроль". Вы уходите, а ваше место занимает следующий. Через 10-15 минут, контрольная подсистема на сервере тестирования Обрнадзора, присылает результаты и баллы. И вы получаете у администратора заверенную печатью, бумажную копию результатов тестирования. Эти же результаты будут сохранены на сервере тестового центра, сервере ГОРОНО и выставлены на сайте Минобра для просмотра. Обжалование оценки – через суд! Или через месяц приходите повторно, но стоимость записи на тестирование уже возрастет в 2-3 раза. И будет учитываться последний результат.
1.2.Некоторые экономические и оргвопросы тестирования.
Один центр тестирования (2 каб. по 20 мест) будет экономически эффективен в любом городе с населением свыше 100 тыс. жителей. А это 1000-2000 выпускников в год сдающих по 3-4 экзамена. Т.е. необходимо около 9-10 тыс. тестирований в год, с учетом повторников. Пиковая нагрузка, будет 50-70 дней, с конца мая по июль. При 2-х часовом тестировании это позволит оценить 160 человек в день. За пик 160*50 дн.=8 000 тестирований. Загрузка центра будет менее 100%, даже, с учетом повторно сдающих экзамен и учетом сбоев и ремонтов программно-технических средств. А в период самой массовой сдачи, всегда можно организовать и вторую смену.
Т.е. для города в 100-200 тыс. человек одного центра на 40 мест будет вполне достаточно. Тем более постепенно люди привыкнут тестироваться по многу раз в течении года. По мере своей готовности к сдаче очередного предмета. Результаты тестирования должны быть действительны, для поступления в ВУЗ не менее 24 месяцев. Наверное, целесообразно будет разрешить школьникам выпускных классов, тестироваться за 2-3 месяца до конца учебного года.
По мере развития опыта применения автоматизированного тестирования, можно будет увеличить число предметов, подлежащих тестированию. Сначала, для выпускников 11-х классов, а затем и для восьмиклассников. А далее включить тестирование знаний студентов вузов и колледжей, сдачу правил вождения авто, техники безопасности и электробезопасности и многое другое. Значит, объем тестирования можно увеличить в разы.
Автоматизированное тестирование знаний очень поможет в борьбе с коррупцией в сфере образования. По объему, коррупция в образовании на 2-м месте. На первом – взятки чиновникам. Но по урону в нравственности на первом. Покупки оценок, не только снижают профессиональные качества будущих работников, но и развращают людей. А это прямой путь к упадку страны, к катаклизмам, угрожающим безопасности государства и страданиям миллионов людей.
Центр тестирования, это не государственное учреждение, а бизнес-структура. Годовой доход от 10 000 тестирований школьников по минимальной стоимости в 100 руб. даст 1 млн. рублей. Шкала стоимости тестирования должна быть прогрессивной. 1 –е тестирование по предмету 100 руб. Хочешь пересдать предмет, плати 500 руб. 3-я пересдача уже 1500 руб. и т.д. Тестирование студентов и производственников добавит еще несколько млн. рублей. Там цены за тестирование будут в разы выше. А 5-6 млн. годового дохода позволит содержать штат в 10-15 человек без дотаций от государства. Но за аренду помещений, коммунальные платежи, оборудование и "софт" должен платить город. Тогда центр тестирования будет интересным рентабельным бизнесом.
Ответственным за функционирование федеральной части системы тестирования должен быть Минобр, за городской – ГОРОНО. Тестовые вопросы (канонические) для тестирования выпускников школы должны готовить: представители ВУЗов и колледжей -40%, учителя средних школ -20%, представители союза работодателей -20%, представители училищ, готовящих квалифицированные рабочие кадры -20%. Т.е. все структуры, куда впоследствии направляются выпускники для работы или учебы. Желательно тестировать всех медалистов и победителей олимпиад. Для них это не должно вызывать трудностей. Проверить, как оценит машина твои знания, очень даже будет им интересно.
Со временем, постоянное тестирование всего и вся, станет обыденностью. Школьники не будут испытывать стресс, которым сейчас подвергаются при сдачи ЕГЭ. Не будут получать нервные потрясения и падать в обмороки. Сдаешь, когда захочешь, а получил мало баллов, что машину грешить, сам дурак. Да и всегда можно пересдать.
Но результат засчитывается по последней сдачи. Думаю, большинство старшеклассников выберут компьютерное тестирование и отвергнут нынешнюю систему ЕГЭ. Получив с детства навыки постоянного тестирования, люди и во взрослой жизни будут уметь оперативно выбирать необходимую информацию и логически осмысливать ее при решении множества задач.
В тоже время, я разделяю опасение многих работников образования, что ЕГЭ не стимулирует школьников качественно изучать "не ЕГЭ" предметы. Да и школьные оценки по дисциплине не учитываются при поступлении в ВУЗ. Жизнь в обществе это большая многосвязная система, с тысячами обратных связей регуляции. Только тогда идет качественное развитие и сама жизнь колебательно-стабильна. Наверное, целесообразно, оценив ЕГЭ в 100 баллов (когда все вопросы тестирования правильно решены), остальные предметы, (не ЕГЭ) оценить в 20 баллов и поведение в 10 баллов. Т.е. общий максимальный балл, который будет фигурировать в конкурсе при поступлении в ВУЗ будет рассчитывается из 130 баллов. ЕГЭ из 100 баллов, плюс остальные предметы, (пропорция из годовых оценок, начиная с 8-го класса) из 20 баллов и пропорция по поведению из максимума в 10 баллов. Тогда, если годовые оценки по поведению, начиная с 8-го класса были "отл", то у вас получается прибавка в 10 баллов.
Сразу улучшится поведение на уроках дисциплин "не ЕГЭ". И к учителям этих предметов будет более уважительное отношение. А значит, повысится общий уровень обучения и нравственности выпускников средней школы. Это главное, ради чего стоит вкладывать средства, в модернизации и автоматизации школьного образования.
А если ввести поощрение учителей по лучшим результатам тестирования, то и у школ появится стимул в использовании автоматизированного тестирования. Сделать выборку, по школам, ученики которых, набрали высшие баллы, не проблема. Полная единая база по ЕГЭ-тестированию и соответствующая программа анализа позволит выполнить эту процедуру за несколько часов. И к Дню Учителя, щедро поощрить работников образования, материально из заначек Минобра и Минфина. Отобрали 100 – 200 лучших школ страны и перевели денежные средства на кредитные карты руководителей этих школ и учителей-предметников. С письменным красочным поздравлением на е-меил школы. И никто не посмеет даже пикнуть, что поощрили не тех. Считает компьютер, а цифры упрямая вещь, с ними спорить бесполезно. Да и деньги не разворуют по пути к адресату.
1.3.Безопасность системы тестирования
Какой бы хорошей не была автоматизированная система, но если она часто ломается, не имеет надежной защиты от взлома и ДДОС** атак, то грош ей цена. Хотя абсолютно безопасную систему сегодня сделать не удается, минимизировать ущерб можно, используя традиционные методы защиты и четкую ответственность эксплуатационного персонала. Это сертифицированные средства защиты, сертификация персонала и контрольных служб. Полная защита компьютеров на рабочих местах от доступа тестируемых к "железу и ОС", включая использование командных строк и т.п. средств. Глушение всех частот связи в комнатах тестирования. Эти решения стандартны, специфичны и здесь не рассматриваются. А вот на нестандартных стоит остановиться.
Защита от "казуса физтеха"**. Допустим, вы покупаете толкового "шерпа-студента", чтобы он по вашему паспорту прошел тестирование. Платите охраннику на входе, платите регистратору центра, платите охраннику в кабинете тестирования. Чтобы эти "продажные лица" не сравнивали фото на вашем паспорте и натуральную "морду-лица" шерпа. Напряг - 5 человек, это уже преступная группа, более строгое наказание. Пять раз отмеришь, прежде, чем пойдешь на такое противоправное действие. Да и в кабинете 4 видеокамеры, и на вашем столе светит табло с вашей ФИО. Неплохо пустить эту трансляцию "On-line" на городской сайт, для всех и выдавать куратору тестового центра от ГОРОНО. Вероятность вскрытия подлога очень велика, да и последующие штрафы должны быть соизмеримы с годовыми зарплатами нарушителей. Кураторы от МВД и Рособрнадзора, тоже должны осуществлять в таких центрах выборочный паспортный контроль. Потому, упомянутый казус здесь "не прокатит". Биометрическая идентификация** могла бы защитить еще более действенно, но это в будущем.
Наверное, в тестировании придется применить облачные технологии**, благо выделенные каналы связи уже сегодня "широки" и надежны во многих, даже в малых городах. Вся обработка будет осуществляться на серверах федерального центра тестирования Рособрнадзора, а в городском центре будет работать лишь клиентская часть, по приему и выдаче экранных форм. Потому "хакать" там будет особо нечего и ДДОСить не удастся.
Даже, если "засланный казачок-программист", имеющий право корректировать БД по биометрическому входу, "втихоря" изменит ваши баллы, то подлог сразу выявится. В больших системах ведутся логи по всем сбоям, а в фискальные базы, "автоматом" записывают кто, что и когда внес измения в основные БД, "непрограммно". "Фискалы" дублируются на ДВД, упрятанный в закрытый опечатанный ящик. Архив "дисков-фискалов" хранят "вечно". Потом в журнал приема-сдачи смен эти распечатки вклеивают для последующего втыка дежурным на совещаниях у начальства. Да и служба безопасности за этим строго следит. Не зря в эксплуатационных расходах на нее тратят уже более трети всех средств.
Возможно, найдутся особо упорные, которые будут фотографировать экраны с реальными вопросами, Или, если похитят всю систему тестирования целиком, с базами, софтом и инсталлятором. И, в "подвале" будут ее испытывать несколько месяцев а потом выложат в Интернет многостраничное пособие: "Как обмануть систему тестирования". Но и от этого можно уберечься, подвергая систему модернизации к каждому маю месяцу или чаще. Сделать же подпольный тестовый центр и "стричь купоны", продавая фиктивные результаты тестирования, также не удастся. Сервера федерального центра не выходят в Интернет, связь с городскими центрами должна осуществляться только по закрытым ведомственным сетям. И войти в нее и на сервера тестовой системы, минуя многоступенчатую систему безопасности, очень будет проблематично.
Систему внедрять необходимо постепенно. Чтобы не вносить революционную сумятицу в головы учителей, особенно в глубинке: "Учебники, телефоны, компьютеры при сдаче экзаменов! Раньше за "шпрору" на клочке бумаги выгоняли с экзамена. Кошмар, до чего дошли инновационники! Сгубят всю систему образования!"
Разрешения на внос технических средств надо внедрять постепенно. Сначала разрешить только обычные, рукописные шпаргалки. Затем, через год, "мобильники" с экраном до 4-х дюймов. Далее учебники и справочники. И лишь спустя 3 года разрешить использование любых технических средств, вплоть до "планшетников", нет и ноутбуков. Но в одном экземпляре.
Соревнование между тестовой системой и школьниками, желающими найти ответы на вопросы, с помощью современных "шпор" - электронных технических средств, напоминает борьбу антивирусных средств защиты с вирусами. Действительно, система будет "генерить" все новые и новые реальные вопросы, а школьники и их продвинутые друзья "антисистемщики" должны успевать создавать новые, более актуализированные пособия-шпоры. Но эти новые вопросы надо еще "украсть", правильно решить, а потом выложить в сеть. Далее школьникам придется разобраться в них, освоить новую "электронную шпору". На все это потребуется время и труд.
Потому, система будет всегда опережать "хитрых" школьников, пришедших на тестирование с самыми новейшими пособиями: "Как обмануть систему". В ней появится множество новых реальных вопросов, не попавших в очередные многокилобайтные шпаргалки. А за год работы, при недельном обновлении вопросов, система сгенерит более 60 тыс вопросов и какую старую тысячувопросов компьютер добавит к 1500 очередных новых вопросов, даже не будет известно эксплуатационному персоналу системы.
По мере развития системы, в нее, возможно, будут добавляться динамические мультимедийные средства выдачи вопросов и ответов. А там поиски потребуют еще большего времени и навыков. Придется школьнику соображать, как решить выданные вопросы самому. Не прибегая к сырым, не всегда верным и не очень понятным, электронным шпаргалкам. Это дает системе автоматизированного тестирования знаний хороший шанс на успех!
2. Противокоррупционная автоматизированная система
зачисления в ВУЗы.
Простая идея №2:
"Зачисление в ВУЗ
минуя приемные комиссии".
В этом, 2011 году вскрылся коррупционный скандал с зачислением студентов в медвуз за взятки, вместо заранее принятых "мертвых душ" (казус медвуза**). Великий Гоголь, наверное, сильно бы удивился такому продвинутому творчеству в мошенничестве. Он, в своем произведении "Мертвые души", описывал, как прохиндей Чичиков, скупал у помещиков их умерших крепостных. И они, продавая ему "души" за копейки, удивлялись, зачем ему мертвые. А "души" ему нужны были для залога в банке. Чтобы взять кредит и смотаться за границу. Сейчас это очень распространенное явление в России. Причем без всяких "мертвых душ". Недавний много миллиардный скандал с Банком Москвы, чего стоит. И если тогда Чичиков с трудом покупал "души", то через полтора века наши прохиндеи делают неплохой бизнес уже по продаже мертвых душ. Вернее мест в списках принятых студентов. И цена "души" неимоверно поднялась. Оценивают в несколько сот тысяч рублей.
Удивляет, что в стране толковых программистов и математиков, до сих пор не сделана автоматизированная система зачисления абитуриентов по результатам ЕГЭ в ВУЗы страны. Хотя чему удивляться. В той же Эстонии мобильная система контроля алкогольной продукции давно исправно работает, а наш "ЕГАИС", как и не запустился 5 лет назад, так и не работает до сих пор. И программисты тут не причем. Не зря писал поэт: "…Где миллиардов кутерьма, там света нет, там правит тьма".