(Comparador de rendimiento)
Un benchmark es un conjunto de procedimientos
(programas de
computación) para evaluar el rendimiento de
un ordenador. Hay cuatro categorías generales de pruebas de
comparación :
- Pruebas aplicaciones-base
(application-based) las ejecuta y las
cronometra.
- Pruebas playback (playback test), las
cuales usan llamadas al sistema durante
actividades especificas de una aplicación(Ej.: Llamados
a gráficos o uso del disco) y las ejecuta
aisladamente.
- Prueba sintética (synthetic test)
, la cual enlaza actividades de la aplicación en
subsistemas específicos.
- Prueba de inspección (inspection
tests), la cual no intenta imitar la actividad de la
aplicación, sino que las ejecuta directamente en los
subsistemas específicos.
Los test de
aplicaciones base entregan la mejor forma de medir el rendimiento
completo de el sistema en el
mundo real.
El programaWinstone de Zdnet, ejecuta mas de una docena de las
aplicaciones mas populares en el ambienteWindows, es un
ejemplo de este tipo de comparadores.
Donde sea factible la tecnología playback
le da la manera mas real de medir subsistemas individuales en
aislación.
El programa
WinBench de ZDnet utiliza la tecnología playback
para probar gráficos, Cd-rom y
subsistemas de disco duro,
también corre cientos de otras pruebas en
áreas especificas del computador.
Como hemos visto en el Curso de Diseño de Producto en Madrid los test Synthetic
continúan en el estado de
medición del rendimiento es por eso que winbench usa las
pruebas de
procesadores.
Los test de
inspección tienen su lugar verificando el comportamiento
libre de fallas y midiendo rendimiento operación por
operación, por esto se incluye el test de
inspección en el winbench.
Dhrystone
Dhrystone es una medida de rendimiento de la
CPU en entero,
expresado en Millones de instrucciones por
segundo(MIPS).
El Dhrystone benchmark es ampliamente usado en la
industria de
las computadoras
como una medida de rendimiento, Wintune (programa
benchmark) usa la versión modificada del Dhrystone que
mantiene sus datos en el
almacenador del programa. Esto
permite al benchmarks trabajar apropiadamente en múltiple
threads en Windows
NT.
El Dhrystone estándar , fue originalmente
diseñado para un único ambiente
(single-threaded), manteniendo alguno de sus datos en variables
estáticas globales.
El Dhrystone es un benchmark sintético,
diseñado para contener ejemplos representativos de las
operaciones
normalmente requeridas por las aplicaciones. Estas no calculan el
resultado de ningún tipo, pero hacen enlaces de
complicadas secuencias de instrucciones usadas por las
aplicaciones.
El resultado del Dhrystone es determinado por el
tiempo que
toma la medición para ejecutar esta secuencia de
instrucciones .
La aritmética del entero simple, decisiones
lógicas, y accesos de memoria son las
actividades dominantes de la CPU en la
mayoría de los programas
Windows.
El Dhrystone benchmark hace un uso intensivo de
estas áreas. Por lo tanto el Dhrystone no tiene suficiente
código de programa o acceso
suficiente a las locaciones de memoria para
simular la actividad de la mayoría de los programas
reales.
Su lugar de trabajo de código y datos puede
generalmente ser mantenido en el cache de la CPU, con lo
cual resulta con un alto rendimiento.
Desde que el Dhrystone no ofrece una buena
indicación del rendimiento de memoria, Wintune
tiene un set separado de prueba de memoria.
Whetstone
Whetstone es una medida de rendimiento de la
CPU en punto
flotante, expresado en Millones de operaciones de
punto flotante por segundo (MFLOPS).
El Whetstone benchmark es ampliamente usado en la
industria de
la computación como una medida de rendimiento,
Wintune usa una versión modificada del Whetstone que
mantiene sus datos en el
programa de almacenamiento.
Esto permite al benchmarks trabajar apropiadamente en
múltiples threads en Windows
NT.
El Whetstone estándar, fue originalmente
diseñado para un ambiente
único, manteniendo alguno de sus datos en variables
estáticas globales .
La aritmética del punto flotante es la mas
significativa en programas que
requieren FPU . Estos son en su mayoría ingeniería científica, de estadísticas, y programas de
ayuda de diseño
en computación. Es también un
pequeño componente en hoja de
cálculo, dibujo y
pintado de programas. (Aunque la hoja de calculo trabaja con
números también tiene una mejor presentación
en pantalla.) Los programas procesadores de
texto típicamente no hacen ningún computo en
punto flotante. El Whetstone hace mucha aritmética del
punto flotante un poco de acceso de memoria, y un
poco la aritmética del entero.
Usando el rendimiento para elegir el sistema
correcto
¿Porqué considerar el
Rendimiento?
Juzgar el rendimiento de un sistema cuando se
están tomando decisiones de compra es algo crítico
a fin de retardar la obsolescencia y proteger su inversión.
Los procesadores
Pentium(R)
ofrecen la vida útil más larga.
Ud. quiere obtener el máximo en la compra
de su sistema. Parte de
esto consiste en asegurarse que el sistema que elige le permite
hacer lo que desea durante toda la vida del sistema. Esto
significa que no solo va a gestionar el software de hoy sino que
dispone de los recursos
necesarios para ejecutar los mas complejos programas del
día de mañana.
Tal como se muestra en el
diagrama de
más arriba, para cualquier punto determinado en el
tiempo se
encuentra disponible una gama de procesadores–
aquellos que ofrecen el máximo rendimiento posible y
aquellos que ofrecen un mínimo nivel de rendimiento. Las
flechas indican que comprando el de mayor rendimiento se obtiene
una vida útil más larga.
Es importante evaluar a una serie de aspectos
relativos al rendimiento cuando se han de tomar decisiones de
compra.
Factores del rendimiento de una
computadora
El rendimiento global que puede Vd. obtener de su
PC depende de cómo cada uno de sus componentes trabajan
juntos para realizar una tarea. El efecto de cada componente
individual puede variar dependiendo de en cuanto está
interviniendo en ejecutar una aplicación particular. Como
se muestra
más abajo, el 54% del rendimiento del sistema depende de
su procesador , o
CPU, cuando se
ejecutan aplicaciones Windows*
típicas. Otros componentes tales como memoria,
vídeo y disco también juegan un papel. Una
«conexión débil» en el sistema puede reducir
significativamente la velocidad y el
tiempo de
respuesta que Vd. experimente.
Los porcentajes representan la utilización
de los componentes cuando se ejecutan aplicaciones Windows*
típicas
Por tanto, cuando elija un sistema, debe de
empezar Vd. buscando cual es el procesador que le
ofrece el mejor rendimiento para su software, a un precio
razonable. Entonces puede Vd. empezar a analizar los otros
componentes del sistema para asegurarse que se benefician de
todas las ventajas de la potencia del
procesador.
¿ Qué es lo que tiene que tener
en cuenta acerca del rendimiento ?
El decidir qué procesador Intel
y qué sistema es el adecuado tiende a ser cada vez
más difícil dado los nuevos productos PC
que están apareciendo en el mercado. Una
manera de diferenciar estos productos
consiste en saber cómo su rendimiento se ve afectado con
los trabajos de los que está Vd. interesado en obtener un
mejor rendimiento, a fin de ganar tiempo de
respuesta en las actividades que diariamente realiza, tales como
crear un documento o trabajar sobre el último programa
multimedia.
Tambien puede Vd. precisar de un rendimiento que le posibilite la
opción de ejecutar el software cada vez más
complejo de hoy dia. Saber cómo el rendimiento del
procesador y
el sistema se puede ver afectado, le ayudará a realizar
una elección mejor informada. Sin embargo, medir el
rendimiento no es siempre algo simple. Para tomar la
decisión correcta, necesita Vd. comprender qué es
lo que está midiendo.
MHz – Rendimiento
Un error frecuente es medir el rendimiento entre
PCs estableciendo la comparación entre la velocidad del
procesador en MHz o velocidad del
reloj. Es algo así como utilizar RPM para medir la
velocidad de
su automóvil.
¿Miraría Vd. el tacómetro de
su automóvil, que mide RPM, para determinar si está
excediendo el límite de velocidad (y
evitándose una elevada multa)?. Probablemente no, dado que
el tacómetro NO mide la velocidad del vehículo,
sino que mide cuan rápido está rotando el motor.
Así como las RPM no indican cuan
rápido está circulando su automóvil, los
megahertzios no indican lo rápido que su hoja de
cálculo se ejecutará. Es, por lo tanto,
inadecuado comparar cuan rápido dos PCs realizarán
una tarea comparando únicamente velocidades de reloj o
megahertzios. Por ejemplo, un procesador Pentium(R)
corriendo a 75 megahertzios supera fácilmente a un
procesador IntelDX4(TM) a 100 megahertzios. Estas es una de las
razones por las que la industria
creó las pruebas de
rendimiento.
¿Qué son las pruebas
comparativas?
Una prueba comparativa es un programa software que mide el
rendimiento de una computadora, o
las partes que la componen, ejecutando exactamente la misma cada
vez. Estas pruebas no solamente pueden ayudarle a comprender el
rendimiento de los diferentes sistemas a
comparar, sino que también pueden ayudarle a evaluar el
rendimiento de un sistema determinado bajo diferentes
configuraciones hardware y software. Cada prueba
evalúa un diferente tipo de trabajo. Algunas pruebas
evalúan lo rápido que una computadora
puede generar un documento. Algunas pruebas evalúan lo
rápido que se dibuja un gráfico en la pantalla.
Otras evalúan cómo de rápidas se realizan
determinadas operaciones
matemáticas . Algunas pruebas pueden
evaluar todas esas tareas al mismo. Para obtener resultados que
tengan algún significado para Vd., use pruebas que
reflejen el uso que hace Vd. de su computadora.
- Hay dos niveles de pruebas: COMPONENTE y de
SISTEMA.
Las pruebas de componente evalúan
solamente partes específicas de una computadora,
tales como el procesador, el disco, la tarjeta gráfica,
etc.
Las pruebas de sistema evalúan el
rendimiento global del sistema.
- Hay dos tipos de pruebas: APLICACION y
SINTETICAS.
Pruebas de aplicación evalúan el
rendimiento usando aplicaciones reales en la forma en que se
utilizan.
Las pruebas sintéticas usan programas
software creados específicamente para evaluar el
rendimiento. Ambos tipos tienen ventajas y
desventajas.
Hay muchas pruebas de rendimiento diferentes
disponibles hoy día, pero no todas las pruebas han sido
creadas de la misma forma. Crear una prueba requiere una
considerable experiencia e inversión. La utilidad y
exactitud de cualquier prueba depende fundamentalmente de la
calidad de su
implementación y las suposiciones que se hacen, por lo que
puede darse que los resultados pueden variar de una prueba a
otra.
Es importante que, como hace normalmente con su
software cuando se le queda obsoleto, consiga Vd. versiones
actualizadas de las pruebas.
Las pruebas comparativas
modernas
Como medir el rendimiento de los PC de hoy: La
tecnología
actual suministra rápidos procesadores de
32-bits, mejor memoria, y subsistemas mejorados de display. Estos
avances han coincidido con nuevos sistemas
operativos, aplicaciones y características, lo que da como resultado
una continuada necesidad de pruebas comparativas modernas para
medir adecuadamente el rendimiento de los PCs de hoy y
mañana.
Cuando se compra un PC, es crítico
incorporar a su proceso de
evaluaciónmétodos
actualizados para obtener el rendimiento. Esto se debe a que
pruebas obsoletas basadas en antiguos entornos hardware y software, no
pueden decirle todo lo que Vd. necesita saber.
Ante todo, los procesadores y
las plataformas son cada vez más sofisticados . .
.
Al mismo tiempo, el
software continua mejorando en características y
prestaciones . . .
El resultado: una continua necesidad de nuevas
pruebas comparativas para medir el rendimiento.
Pruebas como Dhrystone y PowerMeter MIPS*
podían considerarse adecuadas en los tiempos del
procesador 286 cuando los sistemas se
configuraban de una forma relativamente simple comparada con hoy
dia y cuando se ejecutaban aplicaciones DOS. Al mismo tiempo que
la sofisticación ha aumentado, la industria se
ha dirigido a crear nuevos tipos y herramientas
de evaluación
del rendimiento a fin de poder obtener
resultados más ajustados.
Para explorar la evolución de las nuevas pruebas para PC –y
el porqué son tan importantes en su decisión de
compra–
¿Porqué las antiguas pruebas
pueden ser inadecuadas?
Ese tipo de pruebas no tienen completamente en
cuenta la diferencia de rendimiento entre el software de 16 y
32-bits, ni son capaces de testear las posibilidades globales de
las plataformas o los sistemas
operativos de 32-bits de hoy dia. Dos factores contribuyen
principalmente al declive de este tipo de pruebas para medir el
rendimiento. Ante todo, hay significativas diferencias entre el
software para 32-bits y 16-bits. Y los avances en el hardware y los sistemas
operativos estan creando una gama de nuevas características del software que este tipo
de pruebas antiguas sencillamente no tienen en
cuenta.
Diferencias entre software de 32-bits y
16-bits
La continua evolución a sistemas
operativos de 32-bits está alentando a los vendedores
de software a crear nuevas aplicaciones escritas en el modelo de
programación para 32-bits. El uso de
software de 32-bits tiene implicaciones importantes para el
procesador de los PC’s dado que el sistema usa el tiempo de
proceso de
forma diferente –y de forma más eficaz– cuando ejecuta
aplicaciones de 32-bits.
• El software de 16-bits necesita más
tiempo en gestionar todo el entorno (tal como la gestión
del segmento de memoria, por ejemplo). Esto proviene de los
tiempos de programación para el 286 y el DOS, donde
solamente era posible un direccionamiento de memoria de 64K al
mismo tiempo.
• Comparativamente, el software para 32-bits
típicamente precisa menos gestión
de memoria, liberando al procesador para gastar más tiempo
en actividades críticas, tales como tratamiento de
instrucciones ALU y coma flotante. El gráfico de
más abajo muestra el
porcentaje del tiempo que el procesador ha gastado en diferentes
instrucciones para aplicaciones de 32-bits en Windows*95,
así como para aplicaciones de 16-bits en Windows
3.1.
Esto significa que todas las aplicaciones de
32-bits se ejecutan más rápidamente que todas sus
equivalentes de 16-bits, con lo que típicamente las
aplicaciones de 32-bits deberán de tener una significativa
mejora sobre la versión para un entorno DOS de
16-bits.
Nuevas características del
Software
La mayoría de las pruebas antiguas pueden
también fallar al analizar las nuevas características ofrecidas por el software
más recientes como:
• Multitarea
La mayoría de los sistemas
operativos de 32-bits dividen el tiempo de proceso en
tareas múltiples –muchas de las cuales pueden ejecutarse
de forma continuada en segundo plano– tales como
impresión o conmutar entre distintas aplicaciones. Este
tipo de trabajo en modo múltiple requiere una gran
potencia de
proceso.
• Aplicaciones más
grandes
El mayor número de características
de una aplicación obligan a consumir un mayor espacio en
todos los subsistemas de memoria. Esto aumenta los requerimientos
de rendimiento para discos, la memoria y
la arquitectura
de la gestión
de memoria.
• Incremento del tamaño de los
datos
El aumento de aplicaciones que hacen un uso
intensivo de vídeo y gráficos, así como
velocidades más rápidas de red, requiere operaciones de
entrada/salida más eficaces para un ancho de banda
más alto del sistema.
• Multitarea / Multiproceso
La multitarea tiene una mayor eficacia
ejecutando algunas aplicaciones modernas. La evaluación
del rendimiento de aplicaciones multitarea y sistemas
multiprocesador requiere técnicas
especiales.
• Mejor protección de
memoria
Los nuevos sistemas
operativos como Windows NT
dotan al sistema de una mayor fiabilidad para aislar las
aplicaciones, lo que es por aplicaciones aislantes desde el uno
al otro y el sistema operativo
— otra característica que requiere adicional capacidad de
proceso.
• Nuevos recursos del
sistema
Estos Sistemas
Operativos que aparecen incluyen nuevos Interfaces de
Programación de Aplicaciones (APIs) que
hacen más fácil a los desarrolladores de software
integrar las más nuevas posibilidades en sus aplicaciones.
Estas incluyen mejores gráficos 3D, protocolos de
telefonía (TAPI), y soporte de datos más complejos
tales como audio y vídeo, que precisan de una mayor
potencia de
computación.
En resumen, estas pruebas antiguas solamente
podrán mostrar el rendimiento del software antiguo. Las
pruebas comparativas modernas son necesarias para medir el
rendimiento del software moderno.
¿Porqué se necesitan pruebas
comparativas modernas?
La gente quiere que sus computadoras
duren el mayor tiempo posible. Por esta razón tiene
sentido comprar máquinas que tengan el mayor rendimiento
disponible. Pero esto precisa de pruebas comparativas
diseñadas para las aplicaciones de hoy, a fin de poder evaluar
el rendimiento de proceso.
A continuación le indicamos en qué
le pueden ayudar las pruebas comparativas modernas a medir el
rendimiento de proceso:
• Adecuar apropiados estándares de
rendimiento que tomen en cuenta las diferentes
características del software de 32-bits y las nuevas
posibilidades de multitarea, video y 3D que
las viejas pruebas no tienen en cuenta.
• Una medida más precisa de las
diferencias de rendimiento relativo entre dos PCs distintos,
permitiéndole aumentar la vida útil de un PC con la
vista puesta en el futuro.
• Ayudarle a prevenir que tenga que aumentar
su inversión antes de tiempo,
mostrándole la verdadera diferencia de rendimiento entre
dos sistemas.
Las nuevas Pruebas Comparativas que hoy
puede Vd. utilizar
Pruebas a nivel de
procesador
•SPECint*95, SPECfp*95.
•Actualización de SPEC 92 del
consorcio de la industria
SPEC
Una prueba CPU/memoria basada en aplicaciones
reales
•Norton SI 32*
•Prueba sintética de 32-bits de
Symantec basada en aplicaciones Windows
•CPUmark32*
•Prueba sintética de 32-bits de
Ziff-Davis basada en aplicaciones de 32-bits
.
•Indice iCOMP® 2.0
Actualización del actual ‘Intel
Comparative Microprocessor Performance Index’, haciendo
enfásis en pruebas de 32-bits
Pruebas a nivel de
Sistema
•SYSmark*32 para Windows 95*
.
Una prueba para aplicaciones Windows 95
•Disponible
•SYSmark para Windows
NT*
Una prueba de 32-bits a nivel de sistema de
BAPCo
Aplicaciones reales Windows NT,
algunas multitarea
Prueba a nivel de sistema solo para
32-bits
Otras áreas del rendimiento del PC
necesitan ser exploradas e incorporadas a las pruebas
comparativas de la industria para que se pueda disponer de una
correcta visión de las capacidades del sistema. Estas
áreas incluyen la multitarea, vídeo,
gráficos 3D y sonido, comunicaciones
y reconocimiento de voz.
Intel está involucrándose
activamente, junto con muchos consorcios y organizaciones de
la industria, en ayudar a desarrollar estas pruebas. Como
resultado, podrá Vd. tener un mejor indicador para estar
informado en la decisión de compra de los PCs de hoy y en
el futuro.
Fuentes :
Sitios de Internet : Intel,SEI,
ZD-NET.-
otoroc@cmet.net
ENLACE RELACIONADO