EXPERIMENTAL RESULTS

IO-steps Model Accuracy Precision Sensitive F1 score Sensitive Chart
Regression Classification N S V F Q N S V F Q N S V F Q
1-1
LSTM 75% 0.78 0.01 0.07 0.00 0.15 0.97 0.00 0.00 0.00 0.03 0.86 0.00 0.10 0.00 0.05
CNN 87% 0.86 0.00 0.00 0.00 0.87 0.99 0.00 0.00 0.00 0.93 0.92 0.00 0.00 0.00 0.90
MultinomialNB 27% 0.90 0.10 0.11 0.00 0.30 0.15 0.85 0.06 0.00 0.97 0.26 0.18 0.07 0.00 0.46
SGDClassifier 66% 0.81 0.01 0.00 0.00 0.48 0.82 0.03 0.00 0.00 0.18 0.82 0.01 0.00 0.00 0.16
BernoulliNB 23% 0.69 0.03 0.05 0.02 0.44 0.14 0.32 0.04 0.01 0.95 0.23 0.06 0.04 0.01 0.60
PassiveAggressiveClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
2-1
LSTM 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
CNN 86% 0.86 0.00 0.00 0.00 0.86 0.99 0.00 0.00 0.00 0.91 0.92 0.00 0.00 0.00 0.88
MultinomialNB 27% 0.91 0.10 0.11 0.00 0.31 0.14 0.86 0.07 0.00 0.98 0.24 0.17 0.09 0.00 0.47
SGDClassifier 78% 0.80 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.89 0.00 0.00 0.00 0.00
BernoulliNB 23% 0.66 0.03 0.06 0.03 0.44 0.14 0.27 0.06 0.00 0.95 0.23 0.05 0.06 0.00 0.61
PassiveAggressiveClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
5-1
LSTM 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.88 0.00 0.00 0.00 0.00
CNN 85% 0.85 0.00 0.00 0.00 0.79 0.98 0.00 0.00 0.00 0.79 0.91 0.00 0.00 0.00 0.79
MultinomialNB 26% 0.91 0.09 0.11 0.00 0.33 0.13 0.87 0.09 0.00 0.99 0.23 0.17 0.10 0.00 0.49
SGDClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
BernoulliNB 20% 0.64 0.05 0.06 0.00 0.43 0.10 0.48 0.07 0.00 0.92 0.17 0.08 0.06 0.00 0.59
PassiveAggressiveClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
10-1
LSTM 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
CNN 86% 0.86 0.00 0.00 0.00 0.85 0.98 0.00 0.00 0.00 0.92 0.92 0.00 0.00 0.00 0.88
MultinomialNB 26% 0.92 0.08 0.13 0.00 0.37 0.13 0.86 0.12 0.00 1.00 0.23 0.15 0.12 0.00 0.54
SGDClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.88 0.00 0.00 0.00 0.00
BernoulliNB 20% 0.66 0.03 0.08 0.00 0.43 0.10 0.34 0.11 0.00 0.99 0.17 0.06 0.09 0.00 0.60
PassiveAggressiveClassifier 83% 0.83 0.00 0.00 0.00 0.83 0.99 0.00 0.00 0.00 0.58 0.90 0.00 0.00 0.00 0.68
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
1-2
LSTM 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
CNN 86% 0.86 0.00 0.00 0.00 0.90 0.99 0.00 0.00 0.00 0.87 0.92 0.00 0.00 0.00 0.88
MultinomialNB 27% 0.91 0.11 0.12 0.00 0.26 0.15 0.85 0.06 0.00 0.95 0.25 0.19 0.08 0.00 0.41
SGDClassifier 82% 0.81 0.00 0.13 0.00 0.90 1.00 0.00 0.00 0.00 0.40 0.89 0.00 0.00 0.00 0.55
BernoulliNB 22% 0.66 0.03 0.07 0.00 0.43 0.14 0.25 0.07 0.00 0.93 0.23 0.05 0.07 0.00 0.59
PassiveAggressiveClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
2-2
LSTM 75% 0.77 0.00 0.04 0.00 0.18 0.96 0.00 0.02 0.00 0.02 0.86 0.00 0.03 0.00 0.04
CNN 86% 0.86 0.00 0.00 0.00 0.86 0.99 0.00 0.00 0.00 0.90 0.92 0.00 0.00 0.00 0.88
MultinomialNB 27% 0.91 0.10 0.10 0.00 0.32 0.14 0.87 0.06 0.00 0.97 0.25 0.17 0.08 0.00 0.48
SGDClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
BernoulliNB 21% 0.67 0.05 0.05 0.00 0.43 0.11 0.47 0.06 0.00 0.93 0.18 0.08 0.05 0.00 0.59
PassiveAggressiveClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
5-2
LSTM 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.88 0.00 0.00 0.00 0.00
CNN 85% 0.85 0.00 0.00 0.00 0.79 0.98 0.00 0.00 0.00 0.81 0.91 0.00 0.00 0.00 0.80
MultinomialNB 26% 0.92 0.09 0.12 0.00 0.35 0.13 0.89 0.10 0.00 0.97 0.23 0.16 0.11 0.00 0.51
SGDClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
BernoulliNB 19% 0.65 0.06 0.07 0.00 0.42 0.07 0.64 0.10 0.00 0.91 0.13 0.11 0.08 0.00 0.57
PassiveAggressiveClassifier 79% 0.79 0.00 0.00 0.00 0.84 1.00 0.00 0.00 0.00 0.17 0.88 0.00 0.00 0.00 0.28
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
10-2
LSTM 79% 0.79 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.88 0.00 0.00 0.00 0.00
CNN 82% 0.83 0.00 0.00 0.00 0.68 0.98 0.00 0.00 0.00 0.53 0.90 0.00 0.00 0.00 0.60
MultinomialNB 26% 0.93 0.08 0.12 0.00 0.37 0.14 0.87 0.11 0.00 1.00 0.24 0.15 0.11 0.00 0.54
SGDClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.88 0.00 0.00 0.00 0.00
BernoulliNB 20% 0.66 0.03 0.08 0.00 0.43 0.10 0.35 0.11 0.00 0.99 0.17 0.06 0.09 0.00 0.59
PassiveAggressiveClassifier 83% 0.83 0.00 0.00 0.00 0.83 0.99 0.00 0.00 0.00 0.58 0.90 0.00 0.00 0.00 0.68
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
1-5
LSTM 77% 0.78 0.00 0.00 0.00 0.37 1.00 0.00 0.00 0.00 0.01 0.87 0.00 0.10 0.00 0.02
CNN 86% 0.85 0.00 0.00 0.00 0.91 0.99 0.00 0.00 0.00 0.82 0.92 0.00 0.00 0.00 0.86
MultinomialNB 27% 0.91 0.11 0.12 0.00 0.27 0.15 0.85 0.06 0.00 0.96 0.25 0.19 0.08 0.00 0.42
SGDClassifier 74% 0.78 0.05 0.00 0.00 0.00 0.93 0.05 0.00 0.00 0.00 0.85 0.05 0.00 0.00 0.00
BernoulliNB 19% 0.63 0.04 0.05 0.00 0.39 0.10 0.37 0.07 0.00 0.88 0.17 0.07 0.06 0.00 0.54
PassiveAggressiveClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
2-5
LSTM 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
CNN 86% 0.86 0.00 0.00 0.00 0.89 0.99 0.00 0.00 0.00 0.88 0.92 0.00 0.00 0.00 0.88
MultinomialNB 27% 0.93 0.09 0.14 0.00 0.33 0.14 0.89 0.09 0.00 0.96 0.25 0.17 0.11 0.00 0.50
SGDClassifier 79% 0.79 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.88 0.00 0.00 0.00 0.00
BernoulliNB 19% 0.66 0.05 0.06 0.00 0.40 0.08 0.57 0.09 0.00 0.90 0.14 0.10 0.07 0.00 0.55
PassiveAggressiveClassifier 78% 0.78 0.00 0.00 0.00 0.75 1.00 0.00 0.00 0.00 0.03 0.87 0.00 0.00 0.00 0.05
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
5-5
LSTM 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.88 0.00 0.00 0.00 0.00
CNN 85% 0.85 0.00 0.00 0.00 0.79 0.98 0.00 0.00 0.00 0.81 0.91 0.00 0.00 0.00 0.80
MultinomialNB 26% 0.94 0.09 0.14 0.00 0.34 0.14 0.88 0.12 0.00 0.97 0.24 0.16 0.13 0.00 0.50
SGDClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.88 0.00 0.00 0.00 0.00
BernoulliNB 20% 0.62 0.03 0.08 0.00 0.40 0.10 0.33 0.12 0.00 0.90 0.17 0.06 0.10 0.00 0.55
PassiveAggressiveClassifier 80% 0.80 0.00 0.00 0.00 0.80 0.99 0.00 0.00 0.00 0.27 0.89 0.00 0.00 0.00 0.40
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
10-5
LSTM 79% 0.79 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.88 0.00 0.00 0.00 0.00
CNN 84% 0.85 0.00 0.00 0.00 0.74 0.98 0.00 0.00 0.00 0.71 0.91 0.00 0.00 0.00 0.72
MultinomialNB 26% 0.93 0.08 0.12 0.00 0.37 0.14 0.84 0.12 0.00 1.00 0.24 0.15 0.12 0.00 0.54
SGDClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.88 0.00 0.00 0.00 0.00
BernoulliNB 18% 0.61 0.03 0.09 0.00 0.40 0.08 0.28 0.14 0.00 0.99 0.14 0.05 0.11 0.00 0.57
PassiveAggressiveClassifier 82% 0.82 0.00 0.00 0.00 0.75 0.99 0.00 0.00 0.00 0.45 0.90 0.00 0.00 0.00 0.57
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
1-10
LSTM 77% 0.78 0.00 0.00 0.00 0.37 1.00 0.00 0.00 0.00 0.01 0.87 0.00 0.00 0.00 0.02
CNN 86% 0.85 0.00 0.00 0.00 0.91 0.99 0.00 0.00 0.00 0.82 0.92 0.00 0.00 0.00 0.86
MultinomialNB 26% 0.91 0.09 0.10 0.00 0.30 0.14 0.85 0.05 0.00 0.96 0.24 0.16 0.06 0.00 0.46
SGDClassifier 82% 0.81 0.00 0.13 0.00 0.90 1.00 0.00 0.00 0.00 0.40 0.89 0.00 0.00 0.00 0.55
BernoulliNB 19% 0.62 0.04 0.05 0.00 0.38 0.09 0.42 0.07 0.00 0.88 0.15 0.07 0.06 0.00 0.53
PassiveAggressiveClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
2-10
LSTM 78% 0.78 0.00 0.00 0.00 0.50 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
CNN 86% 0.86 0.00 0.00 0.00 0.89 0.99 0.00 0.00 0.00 0.88 0.92 0.00 0.00 0.00 0.88
MultinomialNB 25% 0.91 0.09 0.11 0.00 0.32 0.13 0.85 0.08 0.00 0.96 0.23 0.16 0.09 0.00 0.48
SGDClassifier 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
BernoulliNB 18% 0.63 0.05 0.06 0.00 0.39 0.07 0.53 0.09 0.00 0.90 0.13 0.09 0.07 0.00 0.54
PassiveAggressiveClassifier 78% 0.78 0.00 0.00 0.00 0.81 1.00 0.00 0.00 0.00 0.01 0.87 0.00 0.00 0.00 0.03
XGBoost 78% 0.78 0.00 0.00 0.00 0.81 1.00 0.00 0.00 0.00 0.01 0.87 0.00 0.00 0.00 0.03
5-10
LSTM 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.88 0.00 0.00 0.00 0.00
CNN 85% 0.85 0.00 0.00 0.00 0.79 0.98 0.00 0.00 0.00 0.79 0.91 0.00 0.00 0.00 0.79
MultinomialNB 25% 0.24 0.15 0.11 0.00 0.52 0.14 0.84 0.11 0.00 0.96 0.93 0.08 0.12 0.00 0.36
SGDClassifier 78% 0.78 0.00 0.06 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.88 0.00 0.00 0.00 0.00
BernoulliNB 18% 0.12 0.10 0.08 0.00 0.54 0.07 0.59 0.11 0.00 0.89 0.63 0.05 0.06 0.00 0.39
PassiveAggressiveClassifier 82% 0.82 0.00 0.00 0.00 0.76 0.99 0.00 0.00 0.00 0.49 0.90 0.00 0.00 0.00 0.59
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00
10-10
LSTM 79% 0.79 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.88 0.00 0.00 0.00 0.00
CNN 73% 0.83 0.00 0.00 0.00 0.53 0.80 0.00 0.00 0.00 0.32 0.86 0.00 0.00 0.00 0.36
MultinomialNB 26% 0.24 0.13 0.12 0.00 0.56 0.14 0.80 0.12 0.00 1.00 0.92 0.07 0.13 0.00 0.39
SGDClassifier 76% 0.80 0.00 0.07 0.00 0.50 0.96 0.00 0.07 0.00 0.00 0.87 0.00 0.07 0.00 0.00
BernoulliNB 19% 0.13 0.08 0.09 0.00 0.55 0.07 0.54 0.12 0.00 0.98 0.71 0.05 0.07 0.00 0.39
PassiveAggressiveClassifier 83% 0.84 0.00 0.33 0.00 0.72 0.98 0.00 0.00 0.00 0.62 0.90 0.00 0.00 0.00 0.67
XGBoost 78% 0.78 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.87 0.00 0.00 0.00 0.00