Es una gran mejora con respecto a su predecesor.


Tuvimos la oportunidad de hablar con John Poole, el fundador de Primate Labs, la compañía detrás de la popular herramienta de evaluación comparativa Geekbench. Hablamos de Geekbench 6, la última versión del software que se anunció recientemente. Poole explicó qué lo hace diferente de su predecesor y si sus resultados se comparan con versiones anteriores.

También compartió detalles sobre por qué creó Geekbench en primer lugar, los problemas que ha visto en otras herramientas de evaluación comparativa que ha usado en el pasado y más. Lea una breve sinopsis de la entrevista a continuación, o vea el video completo arriba.

P: ¿Cómo se te ocurrió la idea de Geekbench y qué problema querías resolver con él?

Banner y logotipo de Geekbench 6

A: Todo comenzó en 2003 cuando cambié de una PC a una Mac con un sistema G5, la primera computadora de 64 bits. Hice muchas pruebas con él y descubrí que no era mucho más rápido. Estaba un poco confundido, así que descargué algunos puntos de referencia populares de Mac que estaban disponibles en ese momento para ver si era un problema con mi sistema.

Los puntos de referencia dijeron que el G5 es más rápido y está a la par con todos los demás G5, lo que me pareció extraño. Así que decidí aplicar ingeniería inversa a uno de los puntos de referencia populares y descubrí que las pruebas eran muy pequeñas y sintéticas. Realizaron tareas muy simples que no eran una buena medida del rendimiento general. Solo se enfocaron en qué tan rápido estaba funcionando su procesador y no consideraron nada más como RAM, por ejemplo.

Entonces decidí escribir mis propias pruebas y ver qué pasaba. Fue un proyecto paralelo mío en el que trabajé durante unos tres años. En 2016, se lanzó la primera versión de Geekbench como descarga gratuita.

En ese entonces, recibimos muchos comentarios excelentes de personas que nos ayudaron a convertirnos en el negocio que somos hoy y proporcionar puntos de referencia a millones de usuarios cada mes.

P: ¿Cómo ha crecido la empresa desde que se lanzó por primera vez Geekbench? ¿Probablemente ya no trabaje solo en el software?

Icono de la aplicación Geekbench 6

Robert Triggs/Autoridad de Android

A: Ahora tenemos un equipo pequeño pero poderoso aquí en Canadá, y trabajamos principalmente de forma remota, especialmente después de la pandemia. Todo el equipo tiene su base en Ontario y la mayoría del personal es de Toronto.

Tenemos personas trabajando en una variedad de roles diferentes, algunos trabajando en el punto de referencia en sí, mientras que otros están más enfocados en las cargas de trabajo de IA en las que estamos trabajando. Luego están las personas que trabajan en ciencia de datos y analizan los resultados para asegurarse de que tengamos un buen rigor estadístico, y luego soy yo, la cara bonita de la empresa.

P: Mencionó que el mayor problema con otras herramientas de evaluación comparativa es que son pequeñas y sintéticas y, por lo tanto, no simulan el uso en el mundo real. ¿Cómo es exactamente Geekbench 6 diferente y mejor?

Geekbench 6 muestra información del dispositivo en macOS

A: Tenemos 15 cargas de trabajo separadas en Geekbench 6 que usamos para medir el rendimiento de la CPU. Hemos tratado de incluir una variedad de tareas diferentes que reflejan lo que creemos que las personas usan para hacer sus computadoras y teléfonos inteligentes en el día a día. Así que realmente estamos tratando de reducir lo que la gente va a hacer con sus dispositivos.

Nos enfocamos en cosas como la compresión, que es importante porque cuando descarga aplicaciones en su teléfono inteligente, Android las descomprime y luego las instala. Tenemos pruebas de HTML porque las personas pasan mucho tiempo en los navegadores, por lo que es una métrica importante para realizar un seguimiento.

Ahora tenemos una exposición de fondo borrosa que no era relevante hace tres o cuatro años.

Está la videoconferencia, que ha ganado protagonismo durante la pandemia. Tenemos una carga de trabajo de desenfoque de fondo en la que su rostro es visible pero el fondo está borroso para que las personas no puedan ver su dormitorio, por ejemplo. Esta carga de trabajo no era tan relevante hace tres o cuatro años, pero se ha vuelto importante con la pandemia.

Realmente tratamos de ver las cosas que hacen un uso intensivo de la CPU y son importantes para el dispositivo en el día a día, por lo que no solo estamos haciendo tareas pequeñas y simples. Esto es importante porque no queremos que Geekbench exista en el vacío. No queremos que sea un punto de referencia que solo te diga que este procesador es mejor o peor. Queremos que sea representativo de lo que las personas realmente están haciendo con sus dispositivos para que puedan decidir si es hora de actualizar.

P: Usted mencionó que está trabajando en la evaluación comparativa de IA. ¿Puedes contarnos más al respecto?

Cerrar el logotipo de búsqueda de Google Photos

Robert Triggs/Autoridad de Android

A: Teníamos puntos de referencia de aprendizaje automático (ML) en Geekbench 5 y ahora tenemos nuevos puntos de referencia de ML en Geekbench 6. Como mencioné antes, tenemos una carga de trabajo de desenfoque de fondo que imita lo que hace Zoom donde segmentamos una imagen y decimos Esta parte de la imagen es el primer plano, así que desenfoque, y esta parte es el fondo, así que no lo desenfoque.

También tenemos algunas otras cargas de trabajo, incluida una carga de trabajo de la biblioteca de fotos que sigue algunos de los pasos que puede tener al importar fotos a una biblioteca. Por ejemplo, aplicaciones como Google Photos usan ML para etiquetar sus imágenes, lo que las hace más fáciles de encontrar más tarde cuando busca fotos de su bebé o gato.

También tenemos un punto de referencia separado que lanzamos en 2020, que todavía es un trabajo en progreso. Observamos el rendimiento de ML en una variedad de cargas de trabajo, tomando los modelos y aplicaciones tradicionales, como el reconocimiento de imágenes, el reconocimiento de objetos, el reconocimiento facial y la traducción en el dispositivo. Los ejecutamos no solo en CPU, sino también en GPU y NPU para ver su rendimiento.

Y dado que muchas NPU y marcos de ML modernos hacen concesiones entre el rendimiento y la precisión, también tratamos de capturar eso como una métrica. Pero eso está enfocado con láser en ML y no tiene la misma aplicabilidad que la suite Geekbench.

P: ¿Puede contarnos un poco más sobre Geekbench 6?

Pantalla de prueba Geekbench 6

Robert Triggs/Autoridad de Android

A: Geekbench 6 es la evolución de Geekbench como punto de referencia del mundo real que mide el rendimiento de la CPU y la GPU en las últimas versiones para cosas específicas como navegadores web, aplicaciones de fotos y filtros de redes sociales. Así que las cosas que la gente hace todos los días.

Con Geekbench 6, intentamos mejorar aún más la relevancia del punto de referencia en el mundo real a través de cosas como el desenfoque de fondo mencionado anteriormente. También estábamos tratando de descubrir cómo las personas usan ML para organizar sus vidas de cierta manera, razón por la cual creamos la carga de trabajo de la biblioteca de fotos que también mencioné anteriormente.

Hacer que los conjuntos de datos sean más grandes y que las cargas de trabajo sean más relevantes y realistas fue el gran impulso de Geekbench 6.

También hemos mejorado los conjuntos de datos que usamos para algunas de las otras cargas de trabajo. Entonces, cargas de trabajo que ya estaban en Geekbench 5 pero que ahora están trabajando en conjuntos de datos más grandes en Geekbench 6. Un claro ejemplo de esto son los dispositivos móviles. Hay una diferencia entre los sensores de cámara que tenían los teléfonos en 2019 cuando salió Geekbench 5 y los sensores que tienen ahora cuando tienes teléfonos con cámaras de 48MP y 108MP. Por lo tanto, el tamaño de la imagen se ha disparado y las aplicaciones tienen que lidiar con eso. Estamos tratando de responder preguntas como "¿Cómo maneja su teléfono una imagen de 48 megapíxeles producida por su cámara?" Entonces, hacer que los conjuntos de datos sean más grandes y las cargas de trabajo más relevantes y realistas fue el gran impulso para Geekbench 6.

Otra cosa que hicimos fue cambiar por completo la forma en que hacemos subprocesos en Geekbench 6. En Geekbench 5, siempre escupimos los resultados en una puntuación de un solo núcleo y una puntuación de varios núcleos. En Geekbench 6 todavía tenemos la misma puntuación de un solo núcleo y la puntuación de varios núcleos, pero en realidad hemos cambiado la forma en que obtenemos la puntuación de varios núcleos.

P: Los resultados de Geekbench 6 no se pueden comparar con los resultados de Geekbench 5, ya que es un punto de referencia completamente diferente. ¿Qué pasa con versiones como Geekbench 5.1 y 5.2? ¿Las puntuaciones son siempre comparables?

Cerrar la pantalla de resultados de Geekbench 6

Robert Triggs/Autoridad de Android

A: Anteriormente, 3.0 no era comparable con 3.1 y 4.0 no era comparable con 4.1. Si bien podemos detectar muchos problemas antes de que se lance el software, nos perdemos cosas y recibimos comentarios de las personas después de que el software ya está disponible. Luego tomamos esos comentarios y arreglamos los errores dentro del primer mes o dos.

Es difícil decir si Geekbench 6.0 será comparable a 6.1 en este momento, pero las siguientes versiones, como 6.2 y 6.3, deberían ser comparables, ya que principalmente agregamos soporte para hardware nuevo.


Esta es solo una breve descripción de la conversación que tuvimos con John Poole de Primate Labs. Si desea obtener más información, mire el video en la parte superior de la página.

Si quieres conocer otros artículos parecidos a Es una gran mejora con respecto a su predecesor. puedes visitar la categoría Android.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Subir