|
|
|
Тест заключается в запуске программы и тестировании результата, который программа выдаёт в стандартный поток вывода.
Полное описание теста выглядит как:
<exec_check>
<spec>
<sname>short_name_of_test</sname>
<fname>full name of test</fname>
<descr>description of test</descr>
</spec>
<cmd>command line for test</cmd>
<out>test result base path</out>
<in>name of file to send to input</in>
<input>text to send to input</input>
<res>expected return value</res>
<result_file>result file name</result_file>
</exec_check> |
| cmd |
Командная строка для запуска теста. Результат запуска этой командной строки будет сравниваться с эталонным. Система запускает тест, не добавляя к этой строке ничего (только заменяя переменные) из произвольной директории на файловой системе. Таким образом, нужно либо указывать абсолютный путь к исполняемому файлу, либо использовать переменную подстановки %test_dir% , которая раскрывается в путь к директории, в которой лежит описание данного теста. |
| out |
Базовое название файла, в котором будет сохраняться результат теста. Предполагается, что имеет расширение. Если файл имеет вид [имя_файла].[последнее_расширение] то
При использовании к имени файла автоматически добавляется путь к файлу, в котором лежит описание теста, так что %test_dir% использовать не надо. |
| in |
Имя файла, содержимое которого будет подаваться на стандартный вход тестируемой программы. Если поля in и input (смотри далее) пустые, то на стандартный вход программы ничего не подаётся. При использовании к имени файла автоматически добавляется путь к файлу, в котором лежит описание теста, так что %test_dir% использовать не надо. |
| input |
Текст, который будет подаваться на вход тестируемой программы. Имеет смысл только если поле in (смотри предыдущее описание) пустое. В случае если это не так (в поле in задано имя файла с входными данными), на вход будет подаваться всё-таки содержимое файла, а содержимое поля input будет просто проигнорировано. Если поля in и input (смотри выше) пустые, то на стандартный вход программы ничего не подаётся. |
| res |
Ожидаемый код возврата программы. По умолчанию - 0. В случае если тестируемая программа возвращает другой код, выдаётся предупреждение. |
| result_file |
Имя файла, в который будет записываться фактический результат работы программы (выдаваемый в стандартный поток вывода). В случае если это поле пусто, имя файла результата строится так, как описано в описании поля out. При использовании к имени файла автоматически добавляется путь к файлу, в котором лежит описание теста, так что %test_dir% использовать не надо. Это поле используется, в основном, в случае если имя файла эталона совпадает с эталоном для другого теста (например, при тестировании чтения-записи ) |
| spec | Идентификационная информация о тесте (имена, описание) |
| sname | Короткое название теста. Используется для вывода в ГУИ-среде и для указания пути к тесту в консольном варианте . Без перевода строк. Желательно покороче, и без пробелов. |
| fname | Полное название теста. Используется для вывода в консольном варианте системы . Без перевода строк. Предполагается, что должно поместиться в одну строку/экран. То есть желательно уложиться до 60 символов. |
| descr | Полное описание текста. Вот здесь можно писать что угодно, любой длинны и с любыми переводами каретки. В консольном и ГУИ варианте это описание можно посмотреть только специальной командой. |
Тест просто сравнивает содержимое файла-результата с файлом-эталоном.
Если содержимое файлов совпадает, файл-результат удаляется.
Если содержимое файлов не совпадает, файл-результат не удаляется и тест возвращает признак неуспешности.
|