На проекте завёлся TestLink - жизнь стала насыщенее и встал вопрос хранения результатов прогона регрессии в том числе и в нём. Сохранять вручную конечно же не вариант, а посему нужно программное решение. И тут началось... .
Задача - по результатам прогона тестов обновлять соответствующие сущности в ТестЛинке (создавать, удалять объекты не нужно, просто сохранять результаты прогона тестов на конкретной сборке.)
Идея - использовать некий клиент для тестлинковского ПИП чтобы после прогона теста/тестов загружать результаты.
Дробности решения:
1. яндексирование выявило лишь одну более-менее свежую реализацию -
http://kinow.github.io/testlink-java-api/index.html
2. ПИП этот разрабатывал какой-то маньяк-ветеран. Методы, отсвечивающие стройными рядами входных параметров, прямо таки напомнили "святые 90-е", Win32API и Паскаль.
3. чтобы вызовы заработали нужно не только заиметь/сгенерировать ключ (
http://forum.testlink.org/viewtopic.php?f=10&t=2858), но и кое-что включить в настройках сервера -
https://github.com/parthibann/Python-TestLink-Runner/wiki/Enabling-Test-Automation-in-Testlink
4. если неизвестно что именно передавать в методы(см. выше), то можно смело пробовать налловые значения, часто помогает.
5. всё очень медленно.
6. "внешние" идентификаторы тестлинковских кейсов можно хранить в аллюровских
@TestCaseId (связь тест<->тест_кейс). Вытащить данные из аннотаций достаточно легко. Под "внешними" имеется в виду идентификаторы вида ТА-1234, где ТА это аббревиатура названия проекта в ТестЛинке, а 1234 это порядковый номер кейса.
7. вполне можно делать всё в
TestListenerAdapter#onFinish() (речь о TestNG):
URL testLinkURL = new URL(testLinkHost + "/lib/api/xmlrpc.php");
testLinkApi = new TestLinkAPI(testLinkURL, devKey);
report(testLinkApi, testPlan, testBuild, ExecutionStatus.NOT_RUN,
testContext.getSkippedTests().getAllMethods());
report(testLinkApi, testPlan, testBuild, ExecutionStatus.PASSED,
testContext.getPassedTests().getAllMethods());
report(testLinkApi, testPlan, testBuild, ExecutionStatus.FAILED,
testContext.getFailedTests().getAllMethods());
...
private void reportResult(TestLinkAPI testLinkApi, TestPlan testPlan,
Build testBuild, ExecutionStatus status,
Collection testNgMethods)
for (ITestNGMethod testMethod : testNgMethods) {
String testCaseId = getExternalIdFromAnnotations(testMethod, testMethod.getMethodName());
for (String extId : testCaseIds) {
try { // 'null' - to return the latest version of test case
TestCase testLinkCase = testLinkApi.getTestCaseByExternalId(extId, null);
testLinkApi.reportTCResult(testLinkCase.getId(), null, testPlan.getId(),
status, testBuild.getId(), null,
"A note on test case execution,",
null, null, null, null, null, null);
} catch (TestLinkAPIException e) {
//Do something... .
}
}
}
}
}
