Solver Statistics - Sven Egevad
From Sokoban Wiki
(Difference between revisions)
Revision as of 12:33, 22 February 2009
This is a summary of running the Sven level set (1623 levels) using these solvers:
- BoxSearch v5.1 beta
- Takaken v7.2
- YASS v2.95
- BoxSearch v5.1 beta
Each solver is tested separately to ensure that they don't compete for system resources.
For copyrights, credits and redistribution of these statistics, please read the disclaimer.
Though some people might be interested in how long it takes to solve a given level and/or how good the solution is (optimal or not), this summary disregards all timing associated with solving the levels and solution statistics.
These tests are mainly for gauging solvability, not timing nor how good the solution is.
- Not all Sokoban solvers are created equal
-
- BoxSearch (level size limit: none)
- Takaken (level size limit: width=50, height=50, Boxes=64)
- YASS (level size limit: width=50, height=50)
- Test machine info
-
- Machine: ThinkPad T42P
- CPU: x86 Family 6 Model 13 Stepping 6 Genuine Intel
- Physical RAM: 2 GB
- OS Name & Version: Microsoft Windows XP Professional v5.12600 Service Pack 2 Build 2600.
- Initial tests
-
- BoxSearch is set with max memory limit of 1500 MB (using quick mode).
- Takaken is set with 1000 MB memory and 600 second limit.
- YASS is set with 1500 MB memory and 600 seconds limits.
The following table shows the levels where each of the solvers failed:
======================================================================
BoxSearch Takaken YASS
============== ============== ==============
1
2 2
3
4
6
7 7 7
10
11 11
12
15 15 15
16 16 16
17 17
18 18
19 19
21 21
23 23 23
24 24 24
26
30 30 30
31
34 34
39
42 42 42
43 43
46 46
49 49
50
55 55
56 56
58
59
61
62 62
63 63
82 82 82
96
97
98
99
103 103
104 104
105 105
106 106
107
108
111 111
112 112
115 115
116 116
117 117
118 118
126
139 139
140 140
141 141
142 142
143 143
144 144 144
146 146 146
147
148
151
152
154
155
156 156 156
158 158
159
160 160
161 161
164 164
165
166
167
169 169 169
170 170 170
171 171
172 172
173 173 173
175 175
176 176
177 177
178 178 178
183 183
184
187 187
188 188 188
189 189
196 196 196
197 197 197
198 198 198
199 199 199
200
201 201
202
203
204 204 204
205 205 205
206 206 206
207 207 207
208 208 208
209 209 209
211 211 211
213 213 213
214 214 214
215 215 215
216 216 216
217 217 217
218 218 218
219 219 219
220 220 220
221 221 221
222 222 222
223 223 223
224 224 224
225 225 225
226 226 226
227 227 227
228 228 228
229 229
230
231 231 231
232 232 232
233 233 233
234 234
235 235 235
238 238
239 239
240 240
241
249 249 249
250 250
259 259
267
268 268
270 270 270
271 271 271
272 272
273 273 273
274 274 274
278 278 278
279 279 279
280 280
283 283 283
285
287 287
291 291
292 292 292
293 293 293
295 295 295
297
299
300
301 301 301
304
308
309
311
312
313 313
326
327 327
328
333
334
340 340 340
341 341
342
343 343 343
345
560
687
689 689 689
690
691 691
744 744 744
821 821 821
822 822
823 823 823
824 824
825 825 825
826 826
827 827
828 828 828
829 829 829
830
831
832 832
837 837 837
840 840
841
842 842
843 843
844 844
856
860 860
861 861 861
862 862
863 863
864 864
865 865
866
867 867 867
871 871
874 874
878
879 879
880 880 880
881 881 881
887 887 887
888 888
889
892
899 899
901
904
905 905 905
907
910 910 910
913
920 920
921 921 921
922
923 923 923
927 927
930 930
932 932
947 947
948
949
954
958
959
964
965 965 965
966 966 966
977 977
978 978 978
979 979 979
984 984 984
985 985 985
986 986 986
988
989
990
991 991
992 992 992
993 993 993
999
1000
1001 1001 1001
1002 1002
1014 1014 1014
1015 1015 1015
1016 1016
1017 1017 1017
1018 1018 1018
1019 1019
1021
1023 1023 1023
1026 1026
1028
1029 1029 1029
1031 1031 1031
1032 1032
1033
1035 1035 1035
1036 1036 1036
1038
1039
1040 1040 1040
1041 1041 1041
1042 1042 1042
1043 1043 1043
1044
1047
1048 1048 1048
1049
1055 1055
1058 1058 1058
1064 1064 1064
1065
1066 1066 1066
1072 1072 1072
1076 1076
1077 1077
1078
1080 1080 1080
1087 1087 1087
1089 1089 1089
1094
1101
1108 1108 1108
1109 1109 1109
1110 1110 1110
1111 1111
1112 1112 1112
1113
1114 1114 1114
1120
1121
1122 1122 1122
1123 1123 1123
1124
1125 1125 1125
1128
1129
1131
1132
1133
1134 1134
1135
1137 1137 1137
1139 1139 1139
1143 1143 1143
1144 1144 1144
1145 1145 1145
1146 1146 1146
1147 1147 1147
1149 1149
1150 1150 1150
1151 1151
1153 1153 1153
1154 1154
1155 1155 1155
1159
1160
1162 1162
1165 1165 1165
1166
1168
1172 1172
1173
1174
1175
1176 1176 1176
1178 1178
1185
1187 1187
1196 1196 1196
1197 1197
1200 1200 1200
1202 1202
1208
1209
1211 1211
1212
1214 1214
1215
1216 1216
1217 1217
1218 1218
1219 1219
1221 1221 1221
1226 1226 1226
1227
1228 1228 1228
1234 1234
1235 1235
1236 1236 1236
1239 1239
1242 1242 1242
1244 1244 1244
1245 1245 1245
1246 1246 1246
1248
1249 1249 1249
1250
1251 1251
1252 1252 1252
1253 1253 1253
1254 1254 1254
1256
1257 1257 1257
1267 1267
1272 1272 1272
1273 1273
1276 1276
1279
1280
1283 1283
1284
1288 1288 1288
1291 1291 1291
1294 1294
1297 1297 1297
1298 1298 1298
1302 1302 1302
1304 1304 1304
1305 1305 1305
1310 1310 1310
1314 1314 1314
1315 1315
1318 1318 1318
1320 1320 1320
1321 1321 1321
1323 1323
1324 1324
1325 1325 1325
1327 1327
1328 1328 1328
1329 1329 1329
1330 1330 1330
1331 1331 1331
1332 1332 1332
1334 1334 1334
1336 1336
1339
1341 1341 1341
1342 1342 1342
1344 1344
1345 1345 1345
1347
1348 1348 1348
1349
1350 1350
1352 1352
1358 1358 1358
1361 1361
1362 1362
1366 1366 1366
1367 1367 1367
1368 1368
1370
1373
1377 1377
1379
1380
1381 1381 1381
1382 1382 1382
1383 1383
1384
1385 1385
1389
1390 1390
1392 1392 1392
1393 1393
1394 1394 1394
1395 1395 1395
1398 1398 1398
1399 1399
1403
1404 1404 1404
1405 1405 1405
1407 1407
1408 1408
1409 1409
1410 1410
1411 1411 1411
1415
1416 1416 1416
1417 1417 1417
1418 1418 1418
1420 1420 1420
1421
1424 1424 1424
1425 1425
1426 1426 1426
1434 1434 1434
1435 1435 1435
1437
1442 1442
1443 1443
1447
1449 1449 1449
1453 1453
1454 1454
1457 1457 1457
1458 1458
1459 1459 1459
1460
1462 1462 1462
1465 1465
1468 1468 1468
1470 1470 1470
1472 1472 1472
1473 1473
1476 1476
1477
1479
1480 1480 1480
1482
1486
1488 1488
1489
1491 1491 1491
1506 1506 1506
1507 1507 1507
1508 1508 1508
1509 1509 1509
1510 1510 1510
1513 1513 1513
1515 1515
1516
1517 1517
1530 1530 1530
1531
1533 1533
1547
1555
1556
1560 1560 1560
1566 1566 1566
1572 1572
1573 1573
1574
1584 1584 1584
1589 1589
1593
1597 1597
1598 1598
1602 1602 1602
1604 1604 1604
1605 1605
1607 1607
1609
1612
1616
1620 1620
1621 1621
1623 1623 1623
============== ============== ==============
Total: 453 260 389
Total (unique level count): 521
All solvers failed on these levels:
===================================================================================
7 15 16 23 24 30 42 82 144 146
156 169 170 173 178 188 196 197 198 199
204 205 206 207 208 209 211 213 214 215
216 217 218 219 220 221 222 223 224 225
226 227 228 231 232 233 235 249 270 271
273 274 278 279 283 292 293 295 301 340
343 689 744 821 823 825 828 829 837 861
867 880 881 887 905 910 921 923 965 966
978 979 984 985 986 992 993 1001 1014 1015
1017 1018 1023 1029 1031 1035 1036 1040 1041 1042
1043 1048 1058 1064 1066 1072 1080 1087 1089 1108
1109 1110 1112 1114 1122 1123 1125 1137 1139 1143
1144 1145 1146 1147 1150 1153 1155 1165 1176 1196
1200 1221 1226 1228 1236 1242 1244 1245 1246 1249
1252 1253 1254 1257 1272 1288 1291 1297 1298 1302
1304 1305 1310 1314 1318 1320 1321 1325 1328 1329
1330 1331 1332 1334 1341 1342 1345 1348 1358 1366
1367 1381 1382 1392 1394 1395 1398 1404 1405 1411
1416 1417 1418 1420 1424 1426 1434 1435 1449 1457
1459 1462 1468 1470 1472 1480 1491 1506 1507 1508
1509 1510 1513 1530 1560 1566 1584 1602 1604 1623
===================================================================================
Total count: 210
"BoxSearch" failed on these levels where at least one solver solved:
===================================================================================
2 11 17 18 19 21 26 34 43 46
49 50 55 56 58 59 61 62 63 98
99 103 104 105 106 107 108 111 112 115
116 117 118 139 140 141 142 143 147 148
151 154 155 158 159 160 161 171 172 177
183 184 187 189 201 202 203 229 230 234
238 239 240 259 272 280 285 287 291 304
308 309 311 312 313 326 327 328 333 334
341 691 822 824 826 830 831 832 840 841
842 843 844 856 860 862 863 864 865 866
871 874 879 888 889 892 899 904 907 913
920 922 927 930 932 954 958 959 977 988
989 990 991 1002 1019 1026 1028 1032 1038 1039
1055 1065 1076 1077 1078 1094 1101 1111 1113 1120
1121 1124 1128 1129 1131 1132 1133 1134 1149 1151
1154 1159 1160 1162 1166 1168 1172 1173 1174 1175
1178 1185 1187 1197 1202 1212 1214 1216 1217 1218
1219 1227 1234 1239 1248 1250 1251 1256 1267 1273
1276 1283 1294 1315 1323 1324 1327 1336 1344 1347
1350 1352 1361 1362 1368 1370 1377 1379 1380 1383
1384 1385 1389 1390 1399 1403 1407 1408 1409 1410
1425 1442 1443 1447 1454 1458 1460 1465 1473 1476
1477 1482 1486 1488 1515 1516 1517 1531 1533 1547
1555 1572 1573 1574 1589 1593 1597 1598 1605 1607
1612 1620 1621
===================================================================================
Total count: 243
"Takaken" failed on these levels where at least one solver solved:
===================================================================================
10 12 56 63 96 97 139 140 164 165
175 176 200 250 268 272 287 327 560 687
690 691 827 874 899 901 920 947 1016 1021
1049 1134 1135 1151 1172 1187 1211 1217 1218 1234
1235 1279 1323 1327 1385 1393 1415 1453 1556 1589
===================================================================================
Total count: 50
"YASS" failed on these levels where at least one solver solved:
===================================================================================
1 2 3 4 6 11 17 18 19 21
31 34 39 43 46 49 55 62 103 104
105 106 111 112 115 116 117 118 126 141
142 143 152 158 160 161 164 166 167 171
172 175 176 177 183 187 189 201 229 234
238 239 240 241 250 259 267 268 280 291
297 299 300 313 341 342 345 822 824 826
827 832 840 842 843 844 860 862 863 864
865 871 878 879 888 927 930 932 947 948
949 964 977 991 999 1000 1002 1016 1019 1026
1032 1033 1044 1047 1055 1076 1077 1111 1149 1154
1162 1178 1197 1202 1208 1209 1211 1214 1215 1216
1219 1235 1239 1251 1267 1273 1276 1280 1283 1284
1294 1315 1324 1336 1339 1344 1349 1350 1352 1361
1362 1368 1373 1377 1383 1390 1393 1399 1407 1408
1409 1410 1421 1425 1437 1442 1443 1453 1454 1458
1465 1473 1476 1479 1488 1489 1515 1517 1533 1572
1573 1597 1598 1605 1607 1609 1616 1620 1621
===================================================================================
Total count: 179
"BoxSearch" solved these levels where all other solvers failed:
===================================================================================
164 175 176 250 268 827 947 1016 1211 1235
1393 1453
===================================================================================
Total count: 12
"Takaken" solved these levels where all other solvers failed:
===================================================================================
2 11 17 18 19 21 34 43 46 49
55 62 103 104 105 106 111 112 115 116
117 118 141 142 143 158 160 161 171 172
177 183 187 189 201 229 234 238 239 240
259 280 291 313 341 822 824 826 832 840
842 843 844 860 862 863 864 865 871 879
888 927 930 932 977 991 1002 1019 1026 1032
1055 1076 1077 1111 1149 1154 1162 1178 1197 1202
1214 1216 1219 1239 1251 1267 1273 1276 1283 1294
1315 1324 1336 1344 1350 1352 1361 1362 1368 1377
1383 1390 1399 1407 1408 1409 1410 1425 1442 1443
1454 1458 1465 1473 1476 1488 1515 1517 1533 1572
1573 1597 1598 1605 1607 1620 1621
===================================================================================
Total count: 127
"YASS" solved these levels where all other solvers failed:
===================================================================================
56 63 139 140 272 287 327 691 874 899
920 1134 1151 1172 1187 1217 1218 1234 1323 1327
1385 1589
===================================================================================
Total count: 22
"BoxSearch" failed on these levels where all other solvers solved:
===================================================================================
26 50 58 59 61 98 99 107 108 147
148 151 154 155 159 184 202 203 230 285
304 308 309 311 312 326 328 333 334 830
831 841 856 866 889 892 904 907 913 922
954 958 959 988 989 990 1028 1038 1039 1065
1078 1094 1101 1113 1120 1121 1124 1128 1129 1131
1132 1133 1159 1160 1166 1168 1173 1174 1175 1185
1212 1227 1248 1250 1256 1347 1370 1379 1380 1384
1389 1403 1447 1460 1477 1482 1486 1516 1531 1547
1555 1574 1593 1612
===================================================================================
Total count: 94
"Takaken" failed on these levels where all other solvers solved:
===================================================================================
10 12 96 97 165 200 560 687 690 901
1021 1049 1135 1279 1415 1556
===================================================================================
Total count: 16
"YASS" failed on these levels where all other solvers solved:
===================================================================================
1 3 4 6 31 39 126 152 166 167
241 267 297 299 300 342 345 878 948 949
964 999 1000 1033 1044 1047 1208 1209 1215 1280
1284 1339 1349 1373 1421 1437 1479 1489 1609 1616
===================================================================================
Total count: 40
BoxSearch solved 1170 of 1623 levels.
BoxSearch 72.1%
Takaken solved 1363 of 1623 levels.
Takaken 84.0%
YASS solved 1234 of 1623 levels.
YASS 76.0%
All solvers combined solved 1413 of 1623 levels.
All solvers 87.1%
