Skip to main content

Table 9 Overall performance evaluation.

From: Mining clinical relationships from patient narratives

Relation

Metric

notok (best system: non-syntactic)

+syndist (best system: syntactic)

baseline

IAA

CIAA

has_finding

P

63

74

65

  
 

R

82

77

76

  
 

F1

71

74

70

46

80

has_indication

P

44

43

0

  
 

R

47

37

0

  
 

F1

41

39

0

26

50

has_location

P

73

73

0

  
 

R

83

86

0

  
 

F1

76

78

0

55

80

has_target

P

59

71

0

  
 

R

68

66

0

  
 

F1

62

64

0

42

63

laterality_modifies

P

86

89

60

  
 

R

89

90

91

  
 

F1

85

89

72

73

94

negation_modifies

P

81

85

81

  
 

R

93

93

98

  
 

F1

85

88

88

66

93

sub_location_modifies

P

87

93

50

  
 

R

95

95

68

  
 

F1

90

94

58

49

96

Overall

P

64

71

36

  
 

R

76

74

48

  
 

F1

70

72

41

47

75

  1. System best performance figures (from Tables 4 and 5), and comparison to baseline performance and to inter-annotator agreement scores.