Las mejores cosas de la vida no escalan

Las palabras de moda más importantes en tecnología fallarán porque simplemente no escalan.

A medida que innovamos rápidamente con nueva tecnología, debemos tener en cuenta si nuestras innovaciones son prácticas y factibles. En un mundo donde contamos los usuarios en miles y el tiempo de ejecución en milisegundos, es más importante que nunca garantizar nuevas escalas tecnológicas.

Por eso es sorprendente que las tres palabras de moda más importantes en tecnología no escalen por completo.

Por supuesto, estoy hablando de las tres categorías en las que aparentemente todas las noticias tecnológicas caen hoy en día:

  1. Inteligencia artificial
  2. Blockchain
  3. Realidad mixta (XR, AR / VR)

Parece que casi todo está usando o agregando estos y, sin embargo, es una locura lo doloroso (y absolutamente imposible) que es escalar estos servicios.

Necesitamos más hardware

El primer inconveniente sigue siendo el hardware. No es ningún secreto que los requisitos de hardware para la tecnología aumentan exponencialmente año tras año, tanto en precio como en especificaciones. Esto se está convirtiendo efectivamente en un factor de bloqueo en la adopción generalizada, y en el caso de blockchain, es un asesino.

Blockchain generalmente se basa en "mineros" que bloquean "minas" y permiten que la red ejecute las tareas más básicas (es decir, verificar las transacciones). El proceso de "minería" es algo en lo que no voy a profundizar, pero implica la ejecución de grandes funciones criptográficas, un proceso conocido como "hashing".

El problema con el hashing es que requiere una cantidad significativa de potencia informática; de hecho, una cantidad tan grande que se extrae eficientemente en la cadena de bloques requiere un hardware especial, ya sea una GPU o un ASIC. Para ser incluso el minero más pequeño, necesitará una GPU de alta especificación (seamos realistas, Intel HD Graphics es el estándar del consumidor en este momento, así que básicamente todas las GPU anteriores que son de alta especificación) o un ASIC dedicado. Esto acumula una factura bastante grande, con la mayoría de los dispositivos con precios de cientos a miles de dólares por unidad, sin contar el alto consumo de electricidad que se considera un costo operativo.

La gran escasez de GPU de 2018

Esto ha resultado ser un factor de bloqueo significativo en la adopción de blockchain. De hecho, debido a esta misma razón, los precios de las GPU se dispararon, y el stock desapareció, dejando a los posibles mineros sin herramientas, bloqueando la industria de los juegos de PC e impidiendo a los investigadores obtener acceso a hardware de alta gama. Incluso los fabricantes de GPU como Nvidia que se beneficiaron del aumento finalmente se han pronunciado sobre la grave escasez como una causa directa de blockchain.

Un año después, la mayoría de estas tecnologías de blockchain se han desvanecido, y los precios de las principales criptomonedas se han reducido a una cuarta parte de su valoración. La preocupación más generalizada con blockchain es su falla en la escala, y el hardware sigue siendo (y seguirá siendo) un factor de bloqueo en la escala de la tecnología blockchain.

Sin embargo, este problema no se limita a la cadena de bloques. La inteligencia artificial se basa en el mismo hardware (GPU), y esto también se está convirtiendo en un factor de bloqueo en ese campo; la mayoría de las nuevas empresas emergentes no pueden permitirse el lujo de construir una enorme granja de GPU como la de Google, y la compra de poder de cómputo de proveedores en la nube como AWS tiene un aumento de precio 4x que acumula una enorme factura de servidor.

Con XR, el problema es aún más exasperado. Para ejecutar estas experiencias, los consumidores tienen que representar las imágenes y el dispositivo del consumidor debe procesar la información sensorial. Esto pone la carga principalmente en el consumidor, lo que suena genial para las empresas que buscan ingresar al espacio XR, pero causa un problema importante con el escalado.

Por ejemplo, tomemos Oculus VR. Oculus fue uno de los primeros auriculares de realidad virtual en lanzarse y sigue siendo un nombre popular en el campo, después de haber sido adquirido por Facebook y consolidando su lugar en el mercado.

La

Desafortunadamente, Oculus opera casi exclusivamente en PC de escritorio, además requiere altas especificaciones de GPU. Se enfrenta a los mismos escollos que blockchain e IA, pero con preocupaciones mucho mayores: mientras que con la IA, una empresa podría arrojar dinero a su infraestructura para resolver temporalmente el problema, con XR la carga recae en los consumidores. El ciclo de adopción de AR / VR se basa en que las GPU de los consumidores se vuelvan más extendidas y tengan una mayor especificación, además de esperar que los precios caigan a niveles que sean asequibles para el usuario promedio. Es un proceso que podría llevar décadas, mientras que el CEO de Nvidia, Jensen Huang, proclama que la ley de Moore favorece a las GPU, el tiempo requerido para el desarrollo suficiente necesario para aumentar las especificaciones mientras se reducen los precios aún es de varios años.

Para las tres palabras de moda más importantes en tecnología, es una sentencia condenatoria.

Tiempo de ejecución

Cuando hablamos del tiempo de ejecución en informática, generalmente queremos decir en milisegundos, ya que los usuarios han crecido esperando interacciones instantáneas.

Desafortunadamente, este no es el caso en absoluto con las tres tecnologías anteriores.

Con blockchain, extraer un solo bloque lleva más y más tiempo a medida que pasa el tiempo. Ha llegado al punto en que ya no es rentable para las personas extraer grandes criptomonedas, y los grupos mineros han comenzado a tomar decisiones en la red. Para una tecnología "descentralizada", favorece una gran centralización.

También deletrea fatalidad para el caso de uso más grande (posiblemente) de blockchain: la criptomoneda. La criptomoneda prospera en transacciones rápidas, sin autoridades centralizadas, más allá de las fronteras y sin grandes tarifas.

Sin embargo, con la falla de blockchain para escalar y la cantidad de tiempo (tiempo = electricidad) requerida para extraer un bloque, las tarifas asociadas con las transacciones aumentaron a niveles récord; En su apogeo, Bitcoin llegó a un punto en el que las tarifas asociadas con la mayoría de las transacciones pequeñas eran mayores que el costo real de la transacción, lo que lo hacía completamente inútil y un fracaso total para los consumidores cotidianos. Las transacciones comenzaron a tomar horas, y la regulación debido al fugitivo, el aumento del precio de Bitcoin hizo que sea difícil mover Bitcoin a través de las fronteras.

La criptomoneda se convirtió en todo lo que prometió destruir.

Con la inteligencia artificial, surge un problema muy diferente. El tiempo de inferencia para muchos modelos a gran escala lleva varios segundos, lo que suena como una pequeña cantidad de tiempo pero comienza a acumularse y se convierte en una cifra de bloqueo cuando se discuten miles de bases de usuarios.

Además, las cifras citadas para el tiempo de inferencia de la mayoría de los modelos son difíciles: hay que leer entre líneas, o más bien en la siguiente línea que generalmente dice "como se encuentra en nuestra pila de GPU XYZ", en la que "pila de GPU XYZ" cuesta varios miles de dólares y debe estar totalmente dedicado a esa tarea de inferencia única.

La pila de TPU de Google que a menudo se usa para entrenar a sus modelos

Por supuesto, la investigación se está haciendo aquí, pero la investigación que se lleva a cabo se centra casi por completo en el tiempo de entrenamiento, lo que diría que no es muy importante. Para la capacitación, una semana no es gran cosa: cualquier startup puede dedicar una semana para capacitar a un modelo que se convertirá en la piedra angular de su negocio.

El mayor problema radica en la inferencia. En un nivel raíz, la capacitación requiere inferencia: la inferencia generalmente se cita como la fase "hacia adelante" de una red, y esto debe ocurrir en la capacitación antes de que se realice el telón de fondo. Sin embargo, en el entrenamiento, todos los datos que deben inferirse están disponibles al principio.

En otras palabras, todo el lote puede procesarse a la vez (es decir, cientos de imágenes al mismo tiempo), debido a la escala matemática: multiplicar una matriz más grande de varias matrices es más eficiente que multiplicar varias matrices de 1 matriz (en otras palabras , es más eficiente hacer más de una vez). Esto llega hasta cierto punto, similar a la idea de rendimientos decrecientes en economía, pero sigue siendo que la capacitación por lotes nos permite escalar la inferencia en grandes cantidades de datos.

Desafortunadamente, en un sentido práctico, el procesamiento por lotes rara vez es el caso.

Es raro que un modelo tenga que hacer inferencia en 200 imágenes a la vez; es más probable que se envíen 200 imágenes para inferencia en, digamos, un minuto. Habrá un fuerte cuello de botella en el tiempo de inferencia por imagen; incluso un tiempo de inferencia de, por ejemplo, un tercio de segundo (que es increíblemente rápido, esos son los tiempos de los modelos más rápidos, como el modelo de predicción de frases súper optimizado de Gmail) dará como resultado que solo 180 de esas imágenes se procesen por minuto. Incluso con una carga pequeña de 200 / min, el modelo no se puede escalar, y para evaluar la creciente acumulación de pedidos, se debe generar una segunda instancia para equilibrar.

Es una píldora difícil de tragar en un mundo donde las grandes cargas son un hecho; de hecho, Node's Express ha sido criticado anteriormente por solo admitir un par de miles de conexiones / segundo, similar a las populares bases de datos NoSQL que son criticadas por tener un cuello de botella en varios miles de transacciones / segundo.

una presa que estallará garantizada

Es una cifra sin precedentes en el mundo de la IA, que se encuentra con un cuello de botella difícil a un par de cientos por segundo en términos de inferencias separadas en una sola instancia de un modelo, incluso con las optimizaciones más avanzadas que puede hacer.

Con XR, hay un problema muy, muy diferente a la mano. El problema radica en la inmersión: para sumergirse y evitar el valle misterioso, las interacciones tienen que tener lugar y el renderizado tiene que ajustarse más rápido de lo que los humanos pueden percibir. En otras palabras, un par de cientos de milisegundos no es lo suficientemente rápido.

Con XR, medimos cosas en pequeñas cantidades de milisegundos. Medimos la latencia aceptable por debajo de ~ 20 ms (una cifra con la que muchos jugadores no estarían de acuerdo, ya que más de 100 fps y menos de diez ping se consideran normales para la mayoría de los equipos).

Es una figura que sigue siendo un cuello de botella y que no estamos cerca; Si bien la tecnología XR se enfoca intensamente en esto y se han logrado numerosos avances en este campo en términos de información sensorial y representación regulares, todavía enfrentamos problemas en términos de interacción; Precisamente, XR abre una gama completamente nueva e infinita de posibilidades de interacción que la mayoría de los motores no pueden procesar muy rápidamente.

El motor de imagen aumentada de ARCore como se mostró en Google I / O 2018

Además, para ejecutar el aumento de imagen con algo más complicado que la homografía, la latencia es demasiado alta para ser considerada "aceptable" por la mayoría de las experiencias. La más rápida que hemos probado hasta ahora es ARCore Augmented Images de Google, que utiliza homografías (también hay una demostración de caras aumentadas que es un poco más lenta y tiene una latencia / retraso notable).

Demostración de caras aumentadas de ARCore

Es un gran problema

Solo en los últimos dos años, el número de avances en estos tres campos es insuperable.

En IA, vimos que la generación de lenguaje natural avanza con GPT-2, que se está ganando su reputación como Imagenet de PNL. Está abriendo un nuevo mundo de posibilidades con el procesamiento de texto. También hemos visto cómo las redes convolucionales y las GAN crecen para adoptar imágenes 4K, y estamos entrando en una era en la que la IA puede imitar imágenes HD y generar contenido que el ojo humano pueda creer.

Con blockchain, el campo se ha vuelto menos turbio, con varias capturas de efectivo desapareciendo y haciendo más espacio para la exposición con las plataformas existentes. Steam ha crecido significativamente en el último año, junto con Stellar y el uso de blockchain en tecnología regular. JPMorgan, BofA y Facebook han anunciado su blockchain y la blockchain aplicada está experimentando un aumento con plataformas como DLive que han comenzado a generalizarse (DLive recientemente formó una asociación con la personalidad más grande de Youtube con su plataforma creadora primero).

En XR, hemos visto que el nivel de teléfono XR y AR se hacen realidad con muchas mejoras en ARCore. Se está volviendo posible integrar AI en XR y desarrollar experiencias que permitan cierto nivel de interacción humana (todavía no estamos en contacto físico, pero hay proyectos que permiten otra interacción, como Fiddler AR).

Estos son todos los campos que tienen un gran impacto significativo en el futuro de la tecnología y hacia dónde se dirige la civilización humana en su conjunto. Estas son tecnologías que no afectan la economía; lo redefinen; no impactan la sociedad y la interacción; ellos lo revitalizan. Hace posible una revisión de toda nuestra cultura y, desde un punto de vista fundamental, se llama otra Revolución Industrial.

Para un movimiento que tiene una influencia tan grande en el público generalizado, es vital y primordial que pueda escalar para apoyar al público con facilidad. Hasta que esto se implemente, impide la adopción y forma una barrera de entrada dura en términos de innovación fuera de las grandes corporaciones.

Espero ver más innovación al escalar estas tecnologías. En Epic.ai, nos centramos en desarrollar aplicaciones que dependen en gran medida de la inteligencia artificial y la cadena de bloques; estamos muy familiarizados con las limitaciones de escala; Es un problema en el que trabajaremos mucho en los próximos años, y esperamos que la industria se una para resolverlo.

¡Oye! Soy Tomer, emprendedor y creador. Es posible que me conozca de Mevee, Crane y Shots, Slides y ahora investorintelligence.io, entre otros productos que he lanzado. Este artículo es parte de una serie más extensa que escribo principalmente en base a mis experiencias y está compuesto principalmente por las opiniones de mí y mi equipo.

Espero que esto te ayude a evitar cometer los mismos errores que cometí, ¡y recuerda seguir enviando!

Aplauda si lo encuentra valioso, y sígame para escribir más sobre este tema mientras comparto historias sobre cómo se ve el desarrollo de software y el espíritu empresarial en la vida real.

Esta historia se publica en The Startup, la publicación de emprendimiento más grande de Medium, seguida de +442,678 personas.

Suscríbase para recibir nuestras principales historias aquí.