Table 4 Team evaluation results on the 50 and 507 articles using the silver standard annotations. Results are sorted by team numbers. All silver standard annotations were derived by the EM algorithm applied to team submissions over the full set of 507 test articles. The silver-standard annotations of the 50 selected articles (columns 2-4) are taken from the silver-standard annotations obtained on the 507 articles.

TAP (K=5)

TAP K=10

TAP (K=20)

TAP (K = 5)

TAP (K = 10)

TAP (K = 20)

T63_R1

0.0504

0.1059

0.1438

0.1584

0.1961

0.1980

T63_R2

0.0393

0.0998

0.1355

0.1415

0.1890

0.1982

T65_R1

0.1039

0.1302

0.1532

0.1549

0.1818

0.2030

T65_R2

0.1133

0.1360

0.1581

0.1573

0.1868

0.2097

T68_R1

0.2282

0.2768

0.3221

0.3614

0.3787

0.3753

T68_R2

0.2136

0.2978

0.2978

0.3468

0.3641

0.3608

T70_R1

0.0130

0.0130

0.0130

0.1227

0.1227

0.1227

T70_R2

0.0166

0.0166

0.0166

0.1323

0.1323

0.1323

T70_R3

0.0560

0.0560

0.0560

0.1579

0.1579

0.1579

T74_R1

0.3820

0.3820

0.3820

0.4873

0.4873

0.4873

T74_R2

0.3855

0.3855

0.3855

0.4871

0.4871

0.4871

T74_R3

0.3890

0.3890

0.3890

0.4916

0.4916

0.4916

T78_R1

0.0552

0.0786

0.1152

0.1237

0.1529

0.1900

T78_R2

0.1058

0.1592

0.2166

0.2561

0.2751

0.2751

T78_R3

0.0979

0.1440

0.1997

0.2273

0.2765

0.2872

T80_R1

0.2579

0.2840

0.2840

0.4056

0.4056

0.4056

T80_R2

0.0716

0.1150

0.1220

0.2281

0.2281

0.2281

T80_R3

0.0792

0.1269

0.1329

0.2332

0.2397

0.2397

T83_R1

0.3567

0.3600

0.3600

0.4591

0.4591

0.4591

T83_R2

0.3291

0.3291

0.3291

0.4323

0.4323

0.4323

T83_R3

0.3382

0.3382

0.3382

0.4327

0.4327

0.4327

T89_R1

0.1767

0.2251

0.2251

0.2783

0.3111

0.3111

T89_R2

0.2161

0.2617

0.2992

0.2721

0.3057

0.3057

T89_R3

0.2091

0.2091

0.2091

0.2977

0.2977

0.2977

T93_R1

0.2614

0.3093

0.3093

0.4039

0.4039

0.4039

T93_R2

0.2101

0.2625

0.2966

0.3709

0.3820

0.3820

T93_R3

0.2553

0.3048

0.3048

0.4061

0.4061

0.4061

T97_R1

0.1094

0.1317

0.1566

0.1396

0.1676

0.1918

T97_R2

0.0858

0.1133

0.1352

0.1344

0.1601

0.1829

T97_R3

0.1094

0.1317

0.1566

0.1396

0.1676

0.1918

T98_R1

0.3343

0.3535

0.3629

0.3818

0.3899

0.3875

T98_R2

0.3354

0.3543

0.3634

0.3790

0.3878

0.3868

T98_R3

0.3710

0.4116

0.4672

0.4086

0.4511

0.4648

T101_R1

0.3590

0.3859

0.3859

0.4289

0.4289

0.4289

T101_R2

0.3239

0.3945

0.4132

0.4294

0.4408

0.4408

T101_R3

0.3258

0.4109

0.4109

0.4536

0.4536

0.4536