Diseño y Evaluación de Configuraciones:
Comparativa
Linux - FreeBSD

 

             RESULTADOS DE LAS PRUEBAS

   


Resultados en Linux Gentoo 1.4


Las tablas de resultados UnixBenchmark son del tipo:
iteraciones uso cpu% usuario% sistema o.%
18943350,00 9,99 10,00 0,00
18620828,00 9,99 10,00 0,00
18343032,00 10,00 10,00 0,01
18711143,00 10,01 10,00 0,01
19022421,00 9,99 10,00 0,00
18979255,00 10,00 10,00 0,00
18778140,00 10,00 10,00 0,00
19064936,00 10,00 10,00 0,00
18810408,00 10,00 10,00 0,01
18876022,00 10,00 10,00 0,00

El mismo programa las analiza dando resultados en ficheros de log:

Dhrystone 2 using register variables 1881758,2
Arithmetic Test 290734,2
System Call Overhead 93463,7
Pipe Throughput 179430,7
Pipe-based Context Switching 23373,1
Process Creation 674,2
Execl Throughput 386,4
File Read 1024 bufsize 2000 maxblocks 270324
File Write 1024 bufsize 2000 122266
File Copy 1024 bufsize 2000 74988
File Read 256 bufsize 500 maxblocks 89874
File Write 256 bufsize 500 maxblocks 38088
File Copy 256 bufsize 500 maxblocks 24995
File Read 4096 bufsize 8000 maxblocks 573152
File Write 4096 bufsize 8000 maxblocks 227362
File Copy 4096 bufsize 8000 maxblocks 145486
Shell Scripts (1 concurrent) 408,8
Shell Scripts (8 concurrent) 52
Shell Scripts (16 concurrent) 24,7


Clasificación de resultados, hay demasiados...

De modo que usaremos el resumen que genera este benchmark para obtener las diferencias entre los dos sistemas.

Arithmetic Test (type = double) 29820 290734.2 97.5
Dhrystone 2 using register variables 116700 1881758.2 161.2
Execl Throughput 43 386.4 89.9
File Copy 1024 3960.0 74988.0 189.4
File Copy 256 1655.0 24995.0 151.0
File Copy 4096 5800.0 145486.0 250.8
Pipe-based Context Switching 4000 23373.1 58.4
Process Creation  126.0 674.2 53.5
Shell Scripts (8 concurrent) 6.0 52.0 86.7
System Call Overhead 15000 93463.7 62.3

Gráfica resumen:Resumen(FINAL SCORE 105.5)



De esta forma, al observar que los nuevos resultados está calculados usando un sistema de puntuación no tenemos por qué asignar niveles, ya tenemos nuestros factores para determinar que S.O. es mejor en base a su puntuación en cada prueba.


Resultados de vmark:
Mensajes enviados = 2200
Mensajes recibidos = 41800
Total  = 44000
Tiempo = 14.61 segundos
Media= 3012 m/s

Resultados SciMark2:
Puntuación: 213.57
FFT Mflops: 136.70 (N=1024)
SOR Mflops: 195.04 (100 x 100)
MonteCarlo: Mflops: 35.70
Sparse matmult Mflops: 390.10 (N=1000, nz=5000)
LU Mflops: 310.30 (M=100, N=100)

     
 

Resultados en FreeBSD 4.6(stable)


En FreeBSD ocurre lo mismo con el benchmark UnixBench4.0, las tablas son también del tipo:
iteraciones uso cpu% usuario% sistema o. %
18589179 10,02 9,49 0,01
18460640 10,02 10 0
17433450 10,03 9,6 0,03
19354071 10,02 9,85 0,03
19881146 10,03 9,98 0,01
19938967 10,01 9,94 0,07
19865118 10,04 9,99 0
19989302 10,03 9,99 0,02
19823601 10,02 9,99 0,01
19891406 10,02 10 0,01
Arithmetic Test (type = double) 29820 373178,4 125,1
Dhrystone 2 using register variables 116700 1925810 165
Execl Throughput 43 120,7 28,1
File Copy 1024 3960 15930 40,2
File Copy 256 1655 5166 31,2
File Copy 4096 5800 21486 37
Pipe-based Context Switching 4000 8899,6 22,2
Process Creation 126 187,2 14,9
Shell Scripts (8 concurrent) 6 37 61,7
System Call Overhead 15000 16308,2 10,9

De modo que voy directamente al resultado: FINAL SCORE 36.8!!


Resultados vmark 2.1.2:
Mensajes enviados = 2200
Mensajes recibidos = 41800
Total = 44000
Duración del test= 46.168 segundos
Media = 953 m/s

Resultados SciMark2:
Puntuación: 284.72
FFT Mflops: 211.42 (N=1024)
SOR Mflops: 270.45 (100 x 100)
MonteCarlo: Mflops: 47.72
Sparse matmult Mflops: 407.21 (N=1000, nz=5000)
LU Mflops: 486.80 (M=100, N=100)

Los gráficos de los datos obtenidos se muestran en la comparación entre ambos Sistemas Operativos.


Diferencias entre  Linux Gentoo 1.4 y FreeBSD 4.6


En esta tabla se encuentran impresos los valores obtenidos en cada conjunto de benchmark para cada sistema:

Gentoo 1.4 FreeBSD 4.6
Mensajes/s vmark 3012 953
Duración test vmark (s) 14,61 46,168
SciMark 213,57 284,72
UnixBenchmark 105,5 36,8

Gráfica porcentaje/puntuación/duración

Se puede apreciar en el gráfico la superioridad de linux en cuanto al paso de mensajes en programas de tipo cliente/servidor, del orden de un 60% mayor además de realizar el test en menos tiempo que FBSD, esto si lo comparamos con los resultados que se han obtenido con SciMark2 puede no encajar mucho pues parece ser que la calidad del compilador de FBSD es mejor y que usa más eficientemente la CPU pues la puntuación es un 20% mayor; contrastando los resultados de este experimento con UNixBenchMark4.0 parece que algo no coincide, pues ahora Linux es quien obtiene ese 20% más en la puntuación final y esto es debido al funcionamiento interno de los sistemas operativos; volviendo un poco hacia atrás hojeamos las diferencias entre los índices de ambos sistemas operativos a la hora de leer/escribir en el disco duro,el uso de la paginación,las llamadas al sistema,etc:
 
Prueba 1 Gentoo (1) FBSD (1)
Arithmetic Test (type = double) 29820.0 29820.0
Dhrystone 2 using register variables 116700.0 116700.0
Execl Throughput 43.0 43.0
File Copy 1024 3960.0 3960.0
File Copy 256 1655.0 1655.0
File Copy 4096 5800.0 5800.0
Pipe-based Context Switching 4000.0 4000.0
Process Creation 126.0 126.0
Shell Scripts (8 concurrent) 6.0 6.0
System Call Overhead 15000.0 15000.0
Prueba 2 Gentoo (2) FBSD (2)
Arithmetic Test (type = double) 290734.2 373178.4
Dhrystone 2 using register variables 1881758.2 1925810.0
Execl Throughput 386.4 120.7
File Copy 1024 74988.0 15930.0
File Copy 256 24995.0 5166.0
File Copy 4096 145486.0 21486.0
Pipe-based Context Switching 23373.1 8899.6
Process Creation 674.2 187.2
Shell Scripts (8 concurrent) 52.0 37.0
System Call Overhead 93463.7 16308.2
Prueba 3 Gentoo (3) FBSD (3)
Arithmetic Test (type = double) 97.5 125.1
Dhrystone 2 using register variables 161.2 165.0
Execl Throughput 89.9 28.1
File Copy 1024 189.4 40.2
File Copy 256 151.0 31.2
File Copy 4096 250.8 37.0
Pipe-based Context Switching 58.4 22.2
Process Creation 53.5 14.9
Shell Scripts (8 concurrent) 86.7 61.7
System Call Overhead 62.3 10.9

Podemos observar como FBSD supera a Linux en cuanto a la precisión de los cálculos y a medida que avanza el volumen de datos nada tiene que hacer contra su competidor a la hora de realizar operaciones

Gráfica diferencias - puntuación/pruebas/segundos
 

Cuando se trata de manejar ficheros de mayor tamaño, de manejar más memoria RAM ambos S.O. parecen estar igualados aunque Linux lleva la delantera en esta cuestión. 

Gráfica de porcentajes/test [puntuaciones]

Entre ambos S.O. existe una diferencia evidente, el núcleo, el kernel de la Linux está mucho más depurado que el de FreeBSD, se nota al utilizar éstas pruebas, pero el software no es tan compatible,necesitamos tener en cuenta dependencias que pueden llegar a crearnos problemas, esto con los sistemas BSD no ocurre,un punto a favor.
 

Medias artiméticas para los tests

Gentoo

FBSD

Arithmetic Test (type = double) 106883,9 134374,5
Dhrystone 2 using register variables 666206,467 680891,667
Execl Throughput 173,1 63,9333333
File Copy 1024 26379,1333 6643,4
File Copy 256 8933,66667 2284,06667
File Copy 4096 50512,2667 9107,66667
Pipe-based Context Switching 9143,83333 4307,26667
Process Creation 284,566667 109,366667
Shell Scripts (8 concurrent) 48,2333333 34,9
System Call Overhead 36175,3333 10439,7
Media aritmética 90474,05 84825,6467

Gráfica de medias [puntuaciones]
Tomando la media mayor sobre las puntuaciones del benchmark,el mejor,linux es el sistema base:
Linux Gentoo
= A.
FreeBSD = B 

Porcentaje del mejor respecto del peor

Si A=90474,05 y A es el 100% de rendimiento entonces B es x % :
84825,64667*100
B= ____________________%
90474,05

B=93,7568802 % este porcentaje es el resultado teniendo en cuenta sólo los benchmark de "unixbenchmark 4.0", ahora realizaremos los cálculos de las medias aritméticas y geométricas junto con los demás tests,para comprobar qué sistema es mejor.

Base = A
A
A/B
Mensajes/s vmark 3012 3,16054565
Duración test vmark 14,61 0,31645295
SciMark 213,57 0,75010537
UnixBenchmark 105,5 2,86684783

Media Aritmética
836,42 2,53328568

Desviación Típica
1452,664928  

Si tomáramos como base el sistema B,estos serían sus medias:
Base = B
B
B/A
Mensajes/s vmark 953 0,31640106
Duración test vmark 46,168 3,16002738
SciMark 284,72 1,33314604
UnixBenchmark 36,8 0,34881517
Media Aritmética 330,172 0,39474427
Desviación Típica 430,7768194  


* La media geométrica mantiene la relación entre los tiempos de ejecución:Para hallar la media geométrica(base = A):

 
Media Geométrica
A
(3012*14,61*213,57*105,5)^(1/4)=
Raiz_cuarta(991511808,3)=177,4493744
B
(953*46,168*284,72*36,8)^(1/4)=
146,5294566
Relación con el sistema base
Test/Sistema
A
B
Mensajes/s vmark 1 0,31640106
Duración test vmark 1 3,16002738
SciMark 1 1,33314604
UnixBenchmark 1 0,34881517
Media Aritmética 1 0,39474427
Media Geométrica 1 0,7124322
Desviación Típica 1 0,29654245

Si hacemos un gráfico de burbujas observaremos la diferencia entre los sistemas:


La burbuja que sobresale es el número de mensajes del test vmark, el benchmark del servidor/cliente IRC, usando 11 salas para el test, uno de los objetivos que se ve claramente qué sistema es superior. Las demás burbujas son, el resto de experimentos a los que se han visto sometidos los SOs, podemos darnos cuenta de que están equilibrados.






     
 
     
    Siguiente>>Conclusiones