DMRscaler: a scale-aware method to identify regions of differential DNA methylation spanning basepair to multi-megabase features

Bondhus, Leroy; Wei, Angela; Arboleda, Valerie A.

doi:10.1186/s12859-022-04899-1

Table 2 Feature level evaluation of methods in simulation on proportion of CpGs differentially methylated in DMRs, precision, recall, specificity, F1, RCC, and AUCPR metrics on several choices of noise and Δβ parameters

From: DMRscaler: a scale-aware method to identify regions of differential DNA methylation spanning basepair to multi-megabase features

Method	Δβ	noise	Proportion CGs Diff Methylated	Precision = 1-FDR (± 1 SD)	Recall (± 1 SD)	Specificity (± 1 SD)	F1 (± 1 SD)	MCC (± 1 SD)	AUCPR (± 1 SD)
bumphunter	0.1	0	0.56(± 0.1)	0.56(± 0.1)	0.06(± 0.03)	1(± 6e-04)	0.11(± 0.04)	0.14(± 0.04)	0.033(± 0.02)
comb-p	0.1	0	0.77(± 0.1)	0.71(± 0.1)	0.31(± 0.1)	0.98(± 0.01)	0.41(± 0.1)	0.45(± 0.09)	0.255(± 0.1)
DMRcate	0.1	0	0.78(± 0.2)	0.77(± 0.2)	0.67(± 0.1)	0.95(± 0.05)	0.69(± 0.07)	0.68(± 0.06)	0.58(± 0.07)
DMRscaler	0.1	0	0.99(± 0.02)	0.98(± 0.02)	0.89(± 0.03)	1(± 0.006)	0.94(± 0.02)	0.93(± 0.02)	0.885(± 0.03)
bumphunter	0.2	0	0.76(± 0.2)	0.76(± 0.2)	0.5(± 0.03)	1(± 8e-04)	0.59(± 0.05)	0.36(± 0.04)	0.409(± 0.08)
comb-p	0.2	0	0.64(± 0.3)	0.61(± 0.3)	0.2(± 0.1)	0.97(± 0.004)	0.3(± 0.2)	0.33(± 0.2)	0.161(± 0.1)
DMRcate	0.2	0	0.77(± 0.02)	0.77(± 0.03)	0.82(± 0.03)	0.92(± 0.01)	0.8(± 0.009)	0.76(± 0.01)	0.695(± 0.03)
DMRscaler	0.2	0	0.99(± 0.008)	0.99(± 0.009)	0.94(± 0.02)	0.99(± 0.006)	0.96(± 0.01)	0.96(± 0.01)	0.932(± 0.02)
bumphunter	0.4	0	0.89(± 0.1)	0.89(± 0.1)	0.51(± 0.02)	1(± 4e-04)	0.65(± 0.04)	0.35(± 0.02)	0.507(± 0.03)
comb-p	0.4	0	0.78(± 0.05)	0.71(± 0.07)	0.29(± 0.1)	0.98(± 0.008)	0.4(± 0.08)	0.44(± 0.06)	0.239(± 0.08)
DMRcate	0.4	0	0.81(± 0.03)	0.82(± 0.04)	0.81(± 0.08)	0.94(± 0.03)	0.81(± 0.03)	0.78(± 0.02)	0.704(± 0.06)
DMRscaler	0.4	0	0.99(± 0.008)	0.99(± 0.008)	0.97(± 0.02)	0.99(± 0.007)	0.98(± 0.009)	0.97(± 0.01)	0.956(± 0.02)
bumphunter	0.1	0.25	0.35(± 0.2)	0.35(± 0.2)	0.012(± 0.01)	1(± 6e-04)	0.023(± 0.02)	0.053(± 0.03)	0.003(± 0.003)
comb-p	0.1	0.25	0.68(± 0.02)	0.83(± 0.02)	0.36(± 0.1)	0.98(± 0.006)	0.5(± 0.1)	0.53(± 0.08)	0.337(± 0.1)
DMRcate	0.1	0.25	0.71(± 0.03)	0.88(± 0.03)	0.54(± 0.06)	0.96(± 0.03)	0.67(± 0.04)	0.67(± 0.02)	0.508(± 0.04)
DMRscaler	0.1	0.25	0.83(± 0.007)	0.99(± 0.008)	0.86(± 0.05)	0.99(± 0.006)	0.92(± 0.03)	0.92(± 0.03)	0.848(± 0.06)
bumphunter	0.2	0.25	0.87(± 0.1)	0.87(± 0.1)	0.32(± 0.03)	1(± 9e-04)	0.47(± 0.03)	0.24(± 0.03)	0.268(± 0.05)
comb-p	0.2	0.25	0.49(± 0.3)	0.59(± 0.3)	0.26(± 0.1)	0.97(± 0.01)	0.35(± 0.2)	0.37(± 0.2)	0.226(± 0.1)
DMRcate	0.2	0.25	0.66(± 0.03)	0.82(± 0.04)	0.76(± 0.07)	0.94(± 0.03)	0.79(± 0.03)	0.76(± 0.02)	0.672(± 0.05)
DMRscaler	0.2	0.25	0.82(± 0.02)	0.97(± 0.02)	0.85(± 0.03)	1(± 0.004)	0.91(± 0.02)	0.91(± 0.02)	0.841(± 0.02)
bumphunter	0.4	0.25	0.96(± 0.05)	0.96(± 0.05)	0.32(± 0.01)	1(± 7e-04)	0.48(± 0.01)	0.19(± 0.02)	0.32(± 0.01)
comb-p	0.4	0.25	0.65(± 0.04)	0.79(± 0.06)	0.25(± 0.09)	0.98(± 0.01)	0.37(± 0.09)	0.43(± 0.05)	0.215(± 0.08)
DMRcate	0.4	0.25	0.66(± 0.03)	0.82(± 0.03)	0.8(± 0.09)	0.93(± 0.04)	0.8(± 0.04)	0.78(± 0.02)	0.682(± 0.06)
DMRscaler	0.4	0.25	0.83(± 0.008)	0.99(± 0.006)	0.85(± 0.03)	0.99(± 0.006)	0.92(± 0.02)	0.92(± 0.02)	0.844(± 0.03)
bumphunter	0.1	0.5	0.15(± 0.1)	0.16(± 0.1)	0.004(± 0.001)	1(± 8e-04)	0.007(± 0.002)	0.017(± 0.007)	0.001(± 3e-04)
comb-p	0.1	0.5	0.5(± 0.07)	0.83(± 0.1)	0.32(± 0.04)	0.97(± 0.01)	0.46(± 0.05)	0.5(± 0.05)	0.288(± 0.07)
DMRcate	0.1	0.5	0.55(± 0.02)	0.91(± 0.02)	0.41(± 0.05)	0.99(± 0.01)	0.56(± 0.05)	0.6(± 0.03)	0.39(± 0.05)
DMRscaler	0.1	0.5	0.63(± 0.02)	1(± 0.004)	0.76(± 0.01)	0.99(± 0.004)	0.86(± 0.008)	0.86(± 0.008)	0.754(± 0.01)
bumphunter	0.2	0.5	0.93(± 0.05)	0.93(± 0.05)	0.18(± 0.01)	1(± 4e-04)	0.31(± 0.02)	0.17(± 0.01)	0.169(± 0.01)
comb-p	0.2	0.5	0.52(± 0.02)	0.86(± 0.02)	0.35(± 0.04)	0.98(± 0.007)	0.49(± 0.03)	0.54(± 0.02)	0.33(± 0.03)
DMRcate	0.2	0.5	0.52(± 0.02)	0.9(± 0.04)	0.59(± 0.1)	0.98(± 0.03)	0.7(± 0.06)	0.71(± 0.04)	0.565(± 0.09)
DMRscaler	0.2	0.5	0.64(± 0.02)	0.99(± 0.008)	0.81(± 0.02)	0.99(± 0.006)	0.89(± 0.01)	0.89(± 0.01)	0.797(± 0.02)
bumphunter	0.4	0.5	0.9(± 0.08)	0.9(± 0.08)	0.17(± 0.02)	1(± 7e-04)	0.29(± 0.02)	0.16(± 0.02)	0.173(± 0.01)
comb-p	0.4	0.5	0.51(± 0.04)	0.85(± 0.03)	0.37(± 0.04)	0.99(± 0.01)	0.51(± 0.04)	0.55(± 0.03)	0.351(± 0.04)
DMRcate	0.4	0.5	0.5(± 0.02)	0.85(± 0.03)	0.74(± 0.09)	0.96(± 0.02)	0.79(± 0.04)	0.77(± 0.03)	0.679(± 0.06)
DMRscaler	0.4	0.5	0.63(± 0.01)	0.99(± 0.009)	0.79(± 0.009)	0.99(± 0.007)	0.88(± 0.008)	0.88(± 0.009)	0.78(± 0.01)

Noise is the proportion of CpGs within a simulated DMR that are not differentially methylated, Δβ is the difference in the proportion of methylation introduced at non-noise CpGs within the simulated DMR region. Shown are the mean values across five replicates for each measure and the standard deviation. Bolded are the best performing method for the given combination of noise and Δβ parameters

Back to article page

ISSN: 1471-2105

Contact us

General enquiries: journalsubmissions@springernature.com

BMC Bioinformatics

Contact us