Relation | Metric | notok (best system: non-syntactic) | +syndist (best system: syntactic) | baseline | IAA | CIAA |
---|---|---|---|---|---|---|
has_finding | P | 63 | 74 | 65 | Â | Â |
 | R | 82 | 77 | 76 |  |  |
 | F1 | 71 | 74 | 70 | 46 | 80 |
has_indication | P | 44 | 43 | 0 | Â | Â |
 | R | 47 | 37 | 0 |  |  |
 | F1 | 41 | 39 | 0 | 26 | 50 |
has_location | P | 73 | 73 | 0 | Â | Â |
 | R | 83 | 86 | 0 |  |  |
 | F1 | 76 | 78 | 0 | 55 | 80 |
has_target | P | 59 | 71 | 0 | Â | Â |
 | R | 68 | 66 | 0 |  |  |
 | F1 | 62 | 64 | 0 | 42 | 63 |
laterality_modifies | P | 86 | 89 | 60 | Â | Â |
 | R | 89 | 90 | 91 |  |  |
 | F1 | 85 | 89 | 72 | 73 | 94 |
negation_modifies | P | 81 | 85 | 81 | Â | Â |
 | R | 93 | 93 | 98 |  |  |
 | F1 | 85 | 88 | 88 | 66 | 93 |
sub_location_modifies | P | 87 | 93 | 50 | Â | Â |
 | R | 95 | 95 | 68 |  |  |
 | F1 | 90 | 94 | 58 | 49 | 96 |
Overall | P | 64 | 71 | 36 | Â | Â |
 | R | 76 | 74 | 48 |  |  |
 | F1 | 70 | 72 | 41 | 47 | 75 |