Важная проблема состоит в том, как оценить показатели работы рассматриваемой системы информационного поиска. Проведем эксперимент, в котором системе предъявляется ряд запросов, а результирующие наборы оцениваются с учетом суждений людей о релевантности полученных результатов. По традиции при такой оценке применяются два критерия: полнота выборки и точность. Сформулируем определения этих критериев с помощью примера. Предположим, что некоторая система информационного поиска возвратила результирующий набор, относящийся к одному запросу, применительно к которому известно, какие документы являются и не являются релевантными, из совокупности в 100 документов. Количество документов в каждой категории приведено в табл. 23.2.

Таблица 23.2. Количество документов в каждой категории

Показатель точности измеряет долю документов в результирующем наборе, которые действительно являются релевантными. В данном примере точность составляет 30/(30+10)=0,75. Относительное количество ложных положительных оценок равно 1-0,75=0,25. Показатель полноты выборки измеряет долю всех релевантных документов в коллекции, которые находятся в результирующем наборе. В данном примере полнота выборки составляет 30/(30+20)=0,60. Относительное количество ложных отрицательных оценок равно 1-0,60=0,40. Вычисление показателя полноты выборки в очень большой коллекции документов, такой как World Wide Web, становится сложным, поскольку отсутствует удобный способ проверки каждой страницы в Web на релевантность. Самое лучшее решение, которое может быть принято в данном случае, состоит в том, чтобы оценивать полноту выборки путем исследования определенной части документов или совсем игнорировать показатель полноты выборки и оценивать коллекцию документов только по показателю точности.