Advertisement
Spanish transcript
Bienvenido de regreso a M101.
Estoy acá con Ryan Bubinski cofundador técnico de
Codecademy.
Está con nosotros hoy para hablar sobre su
uso de MongoDB.
Gracias por venir, Ryan.
Gracias, Andrew.
Es un placer.
Muy bien.
Primero cuéntanos un poco sobre lo que Codecademy
hace.
Muchos de nuestros oyentes son de Europa Oriental así
que quizás algunos no lo conocen.
Por supuesto.
Codecademy es la manera más fácil de aprender a desarrollar en línea.
Contiene un serie de cursos interactivos, tutoriales, tanto
para principiantes como para alguien competente y conocedor
de tecnologías de programación y desarrollo.
Muy bien.
Y es algo diferente a la manera en que hemos
estructurado este curso, porque en lugar de segmentos
de vídeo seguidos por pequeños cuestionarios, es más un
sistema interactivo donde lees un poco
y luego haces una tarea que te permita mostrar inmediatamente
que tienes la habilidad de hacer lo que aprendiste. ¿No?
Sí.
Es correcto.
Nosotros optamos por el método de aprender haciendo.
Así que tratamos que nuestros estudiantes empiecen a escribir
código lo más rápido posible y les explicamos qué está ocurriendo
mientras que desarrollan, mostrándoles cómo pueden
aplicar la programación para crear proyectos, páginas
web y aplicaciones y en verdad para hacer lo que
sea que quieran hacer con la programación.
Y algunas de los primeros cursos que ofrecieron fueron en JavaScript,
¿no?
Nuestro primer curso fue en JavaScript.
Así que es basado completamente en la web.
Todo dentro del navegador.
Y como JavaScript es el lenguaje de la web, también
es el lenguaje de los navegadores.
Queríamos comenzar con algo que era inmediatamente
accesible para la mayoría de la gente y que les permita
comenzar inmediatamente a crear aplicaciones web
interesantes.
Para nosotros, tenía que ser JavaScript.
Y ha sido bien popular, ¿no?
¿Y han tenido millones de personas que han hecho las lecciones y
seguido adelente y tomado los cursos?
Sí.
Creo que nuestro método ha sido bien recibido por un
gran número de personas alrededor del mundo, con una gran variedad de
intereses y creo que hemos, afortunadamente, introducido
a la programación a mucha gente que de lo contrario
nunca hubiesen estado interesados en la programación o no se hubiesen
involucrado con la programación. Hemos logrado que estén interesados
en esta arte y hemos logrado que código
sea algo normal, lo cual es lo que queremos hacer.
Es bastante interesante.
Así que comenzaron con MongoDB.
¿Cómo así decidieron usar MongoDB?
¿Qué cosas de MongoDB les pareció interesantes
a ustedes?
Claro.
Ésa es una larga historia.
Entraremos en algunos de los detalles, pero
la versión corta es que cuando recién estábamos
comenzando, Zach y yo, mi cofundador, estábamos
haciendo prototipos de diferentes versiones del sitio.
Estábamos analizando las diferentes maneras en las que
podíamos crear una plataforma interactiva en línea y frecuentemente
cambiábamos las definiciones de nuestro modelo, de nuestro esquema,
las definiciones y las relaciones y los modelos.
Y queríamos un almacén de datos que sea muy flexible y que no
nos detenga cuando hagamos estos cambios de
de definiciones.
Yo en verdad no conocía mucho sobre Mongo.
Por muchos años antes fui un hombre de base de datos relacional
Y consideré Mongo como esta tecnología fantástica que nos
permitiría no preocuparnos sobre esquema a priori--
o por lo menos hasta que en verdad pensemos
seriamente sobre escalar.
Entonces para nosotros, MongoDB era la manera más rápida de
hacer prototipos de diferentes modelos y sus
relaciones de una manera u otra.
Y sentí que eso aceleraba significativamente el
desarrollo para nosotros.
¿Tuviste algunas preocupaciones cuando empezaste a usar Mongo?
Si vienes del mundo relacional, ¿qué sería
lo que más te preocuparía?
Naturalmente, hacer joins a través de diferentes modelos
y diferentes tablas, o en el caso de MongoDB, colecciones.
Yo creo que en el mundo de bases de datos relacionales,
tu intuición o tu instinto siempre te dice que
normalices, normalices, normalices, y en almacenes de documentos o
de clave/valor, tienes que de-normalizar a veces y
a veces eso no te parece que está bien.
Pero en muchos casos, puedes encontrar un balance óptimo donde obtienes lo
lo mejor de los dos mundos, lo cual lo hace mucho más fácil de manejar.
Sí.
¿Cuál es su lenguaje de implementación para Codecademy?
Claro.
Codecademy está construido principalmente sobre Ruby
para cualquier cosa del lado del servidor y JavaScript para
algo de lógica del lado del servidor y toda la
lógica del lado de cliente, por supuesto.
Y tenemos múltiples capas afuera de MongoDB.
Nuestra capa de API está implementada en Ruby.
Nuestra capa de aplicación está implementada en Ruby y
en JavaScript.
Y tenemos una serie de aplicaciones JavaScript
independientes que corren el cliente web o la aplicación
web en sí que mucha gente conoce como Codecademy.
Comprendo.
¿Y usan nuestros drivers directamente o algo
intermediario, como alguna
capa de relación que se comunica con MongoDB?
Para nuestra API que envuelve nuestro capa de datos, usamos
un cartógrafo de documento a objecto (ODM) llamado Mongoid,
usa su propia versión de un driver que de MongoDB que se comunica directamente
con nuestra base de datos.
Y hemos experimentado con usar el driver directamente.
En algunos casos lo usamos, si queremos que un "insert" o
"update" muy particular vaya directo al almacen
de datos y siga adelante.
Pero para la mayoría de desarrollo usar un ODM es una buena manera de
encapsular la lógica y enfocarse desde un nivel más alto en cómo
está estructurado el modelo, cómo se relaciona a los otros
modelos, y eso nos permite conceptualizar más fácilmente
cómo estamos diseñando la capa de datos.
Así que excepto en lo casos excepcionales donde tenemos que
optimizar el rendimiento o en un caso de uso en particular, usamos un ODM.
Claro.
Esa es mi pregunta.
Estas capas de relación, a veces lo que hacen es hacer que el
desarrollador esté un poco más lejos del esquema.
Y para obtener buen rendimiento en cualquier sistema con base de datos
hay que asegurarse que estés usando los índices.
Sí.
¿Es un problema?
Tal vez si tienes un equipo pequeño es un gran problema,
pero hacer que todos sepan cómo escribir código que va
a utilizar los índices si estás usando esta capa
de relación o,
¿cuáles son los beneficios? ¿Cuáles son los pros y los contras de eso?
Sí.
Creo que cuando estás escogiendo si es que vas a usar el driver o
un ODM, entonces tienes que considerar cuántos desarrolladores
hay, como mencionaste.
Qué tan familiarizados están con tu almacén de datos.
Algunos de los pros de un ODM son, por supuesto, encapsulación
de la lógica.
En particular para la infraestructura Rails--la cual no usamos para la API
pero si para la capa de la aplicación--
nuestra API es esencialmente una aplicación Rack.
Entonces hay muy poca convención sobre lo que
estás construyendo.
¿Rack?
Rack es esencialmente una API HTTP.
Es una infraestructura básica sobre Ruby que te da una buena
interfaz para manejar peticiones y respuestas HTTP.
Es básicamente lo que maneja la interfaz del
servidor web de Rails.
Rails va sobre Rack como infraestructura.
Así que Rails es una infraestructura sobre otra.
Y Rails tiene muchas cosas que no necesariamente quieres
en una API, pero sí en una aplicación web.
Entonces en una API, donde quiere optimizar tiempo de respuesta y
disponibilidad, vas a querer llegar al nivel del servidor
web--es decir, en nuestro caso usamos Nginx--
quieres llegar al ciclo de petición
respuesta lo más rápido posible.
Así como tú mencionas que a veces cuando estás
optimizando para tu capa de datos, quiere estar
lo más cerca posible del almacén de datos.
Así que para reiterar, algo como la infraestructura Rails o una
infraestructura de desarrollo web, vas a querer encapsular mucho de
esa lógica.
Y quieres optimizar a un nivel de estructura más alto.
Quieres asegurarte que los documentos tengan lo campos
que necesitan y que las relaciones están bien hechas.
Y a veces, si estás lidiando exclusivamente con un driver,
el manejar propiedades de modelos, el manejar modelos
de relaciones puede ser tedioso.
Cuando estás desarrollando rápido y las cosas evolucionan rápido,
cuando tu estructura comienza a convergir y quieres comenzar
a optimizar y comienzas a considerar los tiempos de
consultas, escrituras y comienzas a tener una carga
significativa que en verdad presiona tu capa de datos, ahí es cuando
tienes que comenzar, como equipo por supuesto, a enfocarte en el
porcentaje del uso de los índices.
Claro.
Si no estás dándole a los índices, ¿qué tan grande
es la colección?
¿Hay un problema serio de rendimiento?
Y luego comenzar a evaluar por comparación
Así que hemos optado por asegurarnos que todos en el equipo estén familiarizados,
por supuesto, con la pila completa. Que la gente esté familiarizada con
los drivers que usamos.
No todos trabajan directamente con el driver, especialmente si
eres un ingeniero del "front end" y estás incursionando en el "back end".
Probablemente vas a interactuar más con nuestro ODM o nuestro
cartógrafo y menos con el driver.
Aún así, hemos configurado una serie de herramientas--
tanto algunas que hemos construido como otras que
están disponibles públicamente--
para alertar a los desarrolladores si es que han obviado un índice en
una colección grande o si han escrito una consulta que no va
a tener buen rendimiento en producción o si simplemente
escribieron una--
No sé si han abarcado consultas de n+1 o
consultas que resultan en esencialmente un gran número
peticiones a la base de datos en una sola
petición de página web.
Claro.
Todas esas cosas son muy peligrosas cuando se pasan
a producción, así que tratamos de atraparlas
en desarrollo, por supuesto.
Hemos abarcado el mirar a los planes de consulta
y el perfilador.
¿Ustedes usan eso?
¿Tratan de tomar nota de consultas largas?
¿Monitorean eso frecuentemente?
Usamos el servicio MMS de 10gen por si esencialmente algo
no funciona bien.
Es como hacer un análisis de "qué pasó" y simplemente
ver los logs.
Ejecutamos el perfilador una fracción del tiempo o en
ciertos despliegues.
No siempre, debido al problema de rendimiento
que sufres.
Claro.
Pero tratamos de mirar los logs de la aplicación durante el
desarrollo.
Habilitamos, por supuesto, los logs en desarrollo
para nuestro driver.
Simplemente cuenta el número de consultas que estás haciendo
en una petición.
Hay muchos tipos de metas holísticas que deberías
intentar lograr cuando creas aplicaciones web.
Toca la base de datos lo menos posible.
Claro.
No quieres tener que hacer 200 consultas a tu base de datos en
una simple petición web.
No importa si es que duran una sola milésima de segundo.
La latencia de la petición aun te va
a afectar fuertemente.
Así que simplemente para asegurarnos que cosas simples como esa, que
un cartógrafo puede, a veces, implementar ingenuamente--
Sí.
--lo suficiente para ser peligroso o no saber exactamente cómo está
ejecutando el plan de consulta, puedes encontrarte en unas de
esas situaciones muy peligrosas para ambientes en producción.
¿Usan alguna capa de cache en frente de Mongo?
¿Como Memcached o algo por el estilo?
Hemos pensado en ello.
No hemos necesitado hacerlo.
Eso es excelente.
Creo que uno de los principios de Mongo es que tus datos activos
están en memoria.
Así que hemos tenido la filosofía básica de que si no está rindiendo
en la capa de Mongo, entonces
no lo estamos haciendo bien.
Eso nos ha llevado muy lejos.
No hemos configurado una capa de cache intermediario en
producción.
Y en términos de manejo de sesiones de los usuarios, los
servidores web en sí, los servidores de aplicación,
¿no tiene estado?
Entre interacciones, mientras el usuario
interactúa con la página web, ¿recuperas el estado de Mongo
para averiguar dónde le dejaste o hay algún tipo de asociación
entre el usuario y la capa de la aplicación?
Por supuesto.
Cuéntame sobre eso.
Así que tenemos una aplicación web escalada horizontalmente,
es decir que tenemos varios servidores web.
Y cuando una persona va a la página web, pueden obtener
cualquiera de estos servidores.
Exactamente.
Lo que requiere que por lo menos estos mismos servidores no tengan
estado, o no tengan ningún conocimiento interno sobre
el usuario.
Claro.
Cada usuario tiene una sesión y usamos un almacén de datos
basado en cookies para los usuarios.
Así que cuando un usuario va al sitio, les damos un ID único.
Ese ID único se relaciona a un documento en nuestra colección
de usuarios y también es almacenado localmente en el
navegador del usuario en una cookie que almacena su ID de usuario.
Esa cookie es esencialmente enviada a cualquiera que sea
el servidor web que reciben.
El servidor web dice, "OK".
Basado en el ID de usuario de la cookie que este usuario
me ha enviado--
y hay varias medidas de seguridad y codificación para
asegurar que alguien no está fingiendo un ID de usuario.
El servidor web entonces irá a--
originalmente usábamos Mongo para guardar nuestras sesiones.
Usábamos Mongo para almacenar sesiones porque era simple,
especialmente para Rails.
Había buenos paquetes que permitían sesiones
almacenadas en Mongo.
Simplemente porque queríamos reducir el número de consultas
a la base de datos y el número de veces que estábamos yendo a
la base de datos para una petición, cambiamos por un almacén de sesiones
Redis.
El cual está dentro de memoria.
Sí, es un porción en memoria.
Y no persiste.
Así que si apagas las máquinas, aprenderías
el estado de sesión en ese caso, ¿no?
La diferencia es que Mongo persistiría la sesión.
Redis es un almacén de datos compartido y volátil.
Tienen persistencia débil o no-eventual en disco--
nada al nivel de garantía
que provee MongoDB.
Claro.
Así que usas Redis para el estado de sesión.
Lo que ocurre es que un usuario está en el sitio, está en el
medio de un curso.
Obviamente tienes que saber cuándo están presentando una
respuesta, a dónde están presentándola y dónde
están en el curso.
Están enviando, básicamente
la información, más la cookie.
¿Y luego esa cookie es usada para recuperar el estado de sesión
de Redis y procesan la petición?
¿Así funciona en el servidor?
El estado de sesión no se mantiene también en el cliente,
se mantiene en Redis en tus servidores, ¿no?
Sí.
OK.
Y el resto de la información, una vez que
completan exitosamente una parte de la lección, eso entra
a Mongo, en los documentos.
Claro.
Entonces, como has resaltado, Redis no tiene el mismo tipo
de garantía de persistencia que tiene Mongo.
Así que usamos Redis como esta capa de almacén rápido de sesiones
Te da el contexto del usuario,
como mencionaste.
Y si la página requiere cargar el documento del usuario, toda
la representación basada en estado de la aplicación es
almacenada en Mongo.
Te entiendo.
Así que la sesión no almacena para nosotros, información
importante, o mejor dicho, información primaria con estado.
Guardará los meta datos sobre el estado, almacenará
información contextual que si se perdería, probablemente
el usuario ni se daría cuenta.
Pero nos ayuda para saber a dónde tenemos que ir para
cargar la representación con estado y esto está principalmente en Mongo.
Así que la aplicación web o el servidor web primero irá
con la cookie, irá a Redis para cargar el contexto de sesión y
luego eso va a dictaminar lo que el plan de consulta será
para cargar el estado para cual sea la página o porción de la aplicación
web que tiene que ser servida al cliente.
Y luego el servidor web irá a Mongo
dependiendo del estado.
Casi todo nuestro estado es persistido en Mongo.
OK.
Creo que en seguida sería bueno que nos expliques
un poco sobre la evolución de tu escalamiento con un pizarra
y que nos expliques tal vez un poco sobre tu esquema y
qué ha sido importante indexar
y algo sobre rendimiento.
Así que vamos a cambiar a una pizarra.
Está bien.
Me parece muy bien.
Muy bien.
Hagamos eso.
Muy bien.
A ver, explícame un poco en un nivel alto, cómo
es el sistema y dónde encaja MongoDB.
Claro.
Por supuesto.
Hay tres componentes principales en Codecademy como un sistema
completo.
Tenemos el cliente, la capa de aplicación y la capa de
datos.
Y voy a describir los tres.
Obviamente, Mongo está en la capa de datos.
Claro.
Te tenemos a ti, tu computadora es el cliente.
Y luego tenemos, llamaré a esto Rails, y esta es la capa de la
aplicación.
Esta es la capa del cliente, así que esto es tu navegador.
Y luego tienes la capa de datos.
Y lo representaré como API.
Esto es Rack, como mencioné.
Y se comunica directamente con--
Creo que lo dibujaremos como la representación tradicional.
Esto es Mongo.
Hay tres componentes principales.
Tenemos la capa del cliente, la capa de la aplicación y la capa
de los datos.
Queremos encapsular la capa de los datos para asegurarnos
que haya un interfaz bien definida para la manera en
que accedemos a Mongo.
Porque como dijimos anteriormente, accesos inapropiados a Mongo
pueden causar muchos problemas en producción.
Bien.
Entonces abstrayendo estos tres diferentes componentes
estamos esencialmente asegurando que podemos enfocarnos en cada
uno individualmente y optimizar cada uno individualmente, porque
tiene casos de uso muy diferentes.
Para el cliente obviamente nos importan cosas como el
tiempo de carga del navegador.
Claro.
Nos importa--
es principalmente una aplicación JavaScript, por supuesto, nos
importa la complejidad de ello y también el tamaño de las
peticiones y el tamaño de los recursos que estás sirviendo--
imágenes, tu CSS, tu JavaScript, tu HTML.
Para la capa de la aplicación, tienes mucho acoplamiento.
Tienes muchos componentes diferentes.
Ahí defines tus peticiones y cómo se relacionan a las
acciones y los controladores y luego cómo esos controladores
agregan los datos para formatearlos dentro de
una buena respuesta.
La API es lo que conecta la aplicación a Mongo
esencialmente encapsulando los patrones de acceso.
Así que si la aplicación quiere, digamos, devolver el
perfil de tu usuario, va a hacer consultas a varias
colecciones en Mongo.
Así que va a hacer varias llamadas a la API que hacen
joins a través de varias colecciones o diferentes
partes de la base de datos.
Y vas a querer optimizar cómo estás accediendo Mongo
para este diferente tipo de consultas.
Así que nos zambulliremos un poco en la capa de datos y cómo
a través de un ciclo de peticiones vamos del cliente
hasta Mongo y de regreso.
OK.
Me parece bien.
Entonce hay un estudiante sentado en su computadora y están en el
medio de uno de estos cursos y tiene que
enviar una respuesta.
Entonces, ¿qué pasa después de eso? ¿Qué pasa después de que envían
la respuesta y tiene que ser evaluada?
Claro.
Estás sentado frente a tu computadora.
Estás haciendo un ejercicio y envías la respuesta.
Así que ni bien presionas "Run", haz hecho esta petición.
Esta petición va a tener código y otros meta datos
asociada como tu--
como hablamos antes, guardamos información
de sesiones en Redis--
así que tendrá su cookie.
Tu cookie tendrá mucha de estos meta datos, incluyendo
tu ID de usuario.
Al momento de la petición, en realidad usamos un servicio
externo que evalúa el código que nosotros creamos y que está
afuera del sistema.
Lo llamamos "codex".
Lo importante es que esto ocurre afuera de este flujo
y es así por razones de seguridad.
El código, cuando se envía, va a ir a codex y va a
regresar con una respuesta evaluada.
Al final de esa respuesta evaluada, obtienes el resultado
y luego lo propagamos y almacenamos.
OK.
Todo esto está "sandboxed".
Sí.
Todo el código está "sandboxed".
Esto ocurre afuera de esto.
OK.
Así que una vez que tienes tu petición, tienes la respuesta
del evaluador, esto va a Rails.
En Rails, hace una petición post a un controlador de
presentaciones.
Y esta es una ruta.
La llamaremos presentaciones.
Aquí es donde la aplicación está recibiendo, en la capa
HTTP, tu petición y la está procesando.
Así que está tomando tu petición está jalando de la API los meta
datos apropiados para saber dónde escribir
el contexto.
Entonces esto va a requeri
…
Estoy acá con Ryan Bubinski cofundador técnico de
Codecademy.
Está con nosotros hoy para hablar sobre su
uso de MongoDB.
Gracias por venir, Ryan.
Gracias, Andrew.
Es un placer.
Muy bien.
Primero cuéntanos un poco sobre lo que Codecademy
hace.
Muchos de nuestros oyentes son de Europa Oriental así
que quizás algunos no lo conocen.
Por supuesto.
Codecademy es la manera más fácil de aprender a desarrollar en línea.
Contiene un serie de cursos interactivos, tutoriales, tanto
para principiantes como para alguien competente y conocedor
de tecnologías de programación y desarrollo.
Muy bien.
Y es algo diferente a la manera en que hemos
estructurado este curso, porque en lugar de segmentos
de vídeo seguidos por pequeños cuestionarios, es más un
sistema interactivo donde lees un poco
y luego haces una tarea que te permita mostrar inmediatamente
que tienes la habilidad de hacer lo que aprendiste. ¿No?
Sí.
Es correcto.
Nosotros optamos por el método de aprender haciendo.
Así que tratamos que nuestros estudiantes empiecen a escribir
código lo más rápido posible y les explicamos qué está ocurriendo
mientras que desarrollan, mostrándoles cómo pueden
aplicar la programación para crear proyectos, páginas
web y aplicaciones y en verdad para hacer lo que
sea que quieran hacer con la programación.
Y algunas de los primeros cursos que ofrecieron fueron en JavaScript,
¿no?
Nuestro primer curso fue en JavaScript.
Así que es basado completamente en la web.
Todo dentro del navegador.
Y como JavaScript es el lenguaje de la web, también
es el lenguaje de los navegadores.
Queríamos comenzar con algo que era inmediatamente
accesible para la mayoría de la gente y que les permita
comenzar inmediatamente a crear aplicaciones web
interesantes.
Para nosotros, tenía que ser JavaScript.
Y ha sido bien popular, ¿no?
¿Y han tenido millones de personas que han hecho las lecciones y
seguido adelente y tomado los cursos?
Sí.
Creo que nuestro método ha sido bien recibido por un
gran número de personas alrededor del mundo, con una gran variedad de
intereses y creo que hemos, afortunadamente, introducido
a la programación a mucha gente que de lo contrario
nunca hubiesen estado interesados en la programación o no se hubiesen
involucrado con la programación. Hemos logrado que estén interesados
en esta arte y hemos logrado que código
sea algo normal, lo cual es lo que queremos hacer.
Es bastante interesante.
Así que comenzaron con MongoDB.
¿Cómo así decidieron usar MongoDB?
¿Qué cosas de MongoDB les pareció interesantes
a ustedes?
Claro.
Ésa es una larga historia.
Entraremos en algunos de los detalles, pero
la versión corta es que cuando recién estábamos
comenzando, Zach y yo, mi cofundador, estábamos
haciendo prototipos de diferentes versiones del sitio.
Estábamos analizando las diferentes maneras en las que
podíamos crear una plataforma interactiva en línea y frecuentemente
cambiábamos las definiciones de nuestro modelo, de nuestro esquema,
las definiciones y las relaciones y los modelos.
Y queríamos un almacén de datos que sea muy flexible y que no
nos detenga cuando hagamos estos cambios de
de definiciones.
Yo en verdad no conocía mucho sobre Mongo.
Por muchos años antes fui un hombre de base de datos relacional
Y consideré Mongo como esta tecnología fantástica que nos
permitiría no preocuparnos sobre esquema a priori--
o por lo menos hasta que en verdad pensemos
seriamente sobre escalar.
Entonces para nosotros, MongoDB era la manera más rápida de
hacer prototipos de diferentes modelos y sus
relaciones de una manera u otra.
Y sentí que eso aceleraba significativamente el
desarrollo para nosotros.
¿Tuviste algunas preocupaciones cuando empezaste a usar Mongo?
Si vienes del mundo relacional, ¿qué sería
lo que más te preocuparía?
Naturalmente, hacer joins a través de diferentes modelos
y diferentes tablas, o en el caso de MongoDB, colecciones.
Yo creo que en el mundo de bases de datos relacionales,
tu intuición o tu instinto siempre te dice que
normalices, normalices, normalices, y en almacenes de documentos o
de clave/valor, tienes que de-normalizar a veces y
a veces eso no te parece que está bien.
Pero en muchos casos, puedes encontrar un balance óptimo donde obtienes lo
lo mejor de los dos mundos, lo cual lo hace mucho más fácil de manejar.
Sí.
¿Cuál es su lenguaje de implementación para Codecademy?
Claro.
Codecademy está construido principalmente sobre Ruby
para cualquier cosa del lado del servidor y JavaScript para
algo de lógica del lado del servidor y toda la
lógica del lado de cliente, por supuesto.
Y tenemos múltiples capas afuera de MongoDB.
Nuestra capa de API está implementada en Ruby.
Nuestra capa de aplicación está implementada en Ruby y
en JavaScript.
Y tenemos una serie de aplicaciones JavaScript
independientes que corren el cliente web o la aplicación
web en sí que mucha gente conoce como Codecademy.
Comprendo.
¿Y usan nuestros drivers directamente o algo
intermediario, como alguna
capa de relación que se comunica con MongoDB?
Para nuestra API que envuelve nuestro capa de datos, usamos
un cartógrafo de documento a objecto (ODM) llamado Mongoid,
usa su propia versión de un driver que de MongoDB que se comunica directamente
con nuestra base de datos.
Y hemos experimentado con usar el driver directamente.
En algunos casos lo usamos, si queremos que un "insert" o
"update" muy particular vaya directo al almacen
de datos y siga adelante.
Pero para la mayoría de desarrollo usar un ODM es una buena manera de
encapsular la lógica y enfocarse desde un nivel más alto en cómo
está estructurado el modelo, cómo se relaciona a los otros
modelos, y eso nos permite conceptualizar más fácilmente
cómo estamos diseñando la capa de datos.
Así que excepto en lo casos excepcionales donde tenemos que
optimizar el rendimiento o en un caso de uso en particular, usamos un ODM.
Claro.
Esa es mi pregunta.
Estas capas de relación, a veces lo que hacen es hacer que el
desarrollador esté un poco más lejos del esquema.
Y para obtener buen rendimiento en cualquier sistema con base de datos
hay que asegurarse que estés usando los índices.
Sí.
¿Es un problema?
Tal vez si tienes un equipo pequeño es un gran problema,
pero hacer que todos sepan cómo escribir código que va
a utilizar los índices si estás usando esta capa
de relación o,
¿cuáles son los beneficios? ¿Cuáles son los pros y los contras de eso?
Sí.
Creo que cuando estás escogiendo si es que vas a usar el driver o
un ODM, entonces tienes que considerar cuántos desarrolladores
hay, como mencionaste.
Qué tan familiarizados están con tu almacén de datos.
Algunos de los pros de un ODM son, por supuesto, encapsulación
de la lógica.
En particular para la infraestructura Rails--la cual no usamos para la API
pero si para la capa de la aplicación--
nuestra API es esencialmente una aplicación Rack.
Entonces hay muy poca convención sobre lo que
estás construyendo.
¿Rack?
Rack es esencialmente una API HTTP.
Es una infraestructura básica sobre Ruby que te da una buena
interfaz para manejar peticiones y respuestas HTTP.
Es básicamente lo que maneja la interfaz del
servidor web de Rails.
Rails va sobre Rack como infraestructura.
Así que Rails es una infraestructura sobre otra.
Y Rails tiene muchas cosas que no necesariamente quieres
en una API, pero sí en una aplicación web.
Entonces en una API, donde quiere optimizar tiempo de respuesta y
disponibilidad, vas a querer llegar al nivel del servidor
web--es decir, en nuestro caso usamos Nginx--
quieres llegar al ciclo de petición
respuesta lo más rápido posible.
Así como tú mencionas que a veces cuando estás
optimizando para tu capa de datos, quiere estar
lo más cerca posible del almacén de datos.
Así que para reiterar, algo como la infraestructura Rails o una
infraestructura de desarrollo web, vas a querer encapsular mucho de
esa lógica.
Y quieres optimizar a un nivel de estructura más alto.
Quieres asegurarte que los documentos tengan lo campos
que necesitan y que las relaciones están bien hechas.
Y a veces, si estás lidiando exclusivamente con un driver,
el manejar propiedades de modelos, el manejar modelos
de relaciones puede ser tedioso.
Cuando estás desarrollando rápido y las cosas evolucionan rápido,
cuando tu estructura comienza a convergir y quieres comenzar
a optimizar y comienzas a considerar los tiempos de
consultas, escrituras y comienzas a tener una carga
significativa que en verdad presiona tu capa de datos, ahí es cuando
tienes que comenzar, como equipo por supuesto, a enfocarte en el
porcentaje del uso de los índices.
Claro.
Si no estás dándole a los índices, ¿qué tan grande
es la colección?
¿Hay un problema serio de rendimiento?
Y luego comenzar a evaluar por comparación
Así que hemos optado por asegurarnos que todos en el equipo estén familiarizados,
por supuesto, con la pila completa. Que la gente esté familiarizada con
los drivers que usamos.
No todos trabajan directamente con el driver, especialmente si
eres un ingeniero del "front end" y estás incursionando en el "back end".
Probablemente vas a interactuar más con nuestro ODM o nuestro
cartógrafo y menos con el driver.
Aún así, hemos configurado una serie de herramientas--
tanto algunas que hemos construido como otras que
están disponibles públicamente--
para alertar a los desarrolladores si es que han obviado un índice en
una colección grande o si han escrito una consulta que no va
a tener buen rendimiento en producción o si simplemente
escribieron una--
No sé si han abarcado consultas de n+1 o
consultas que resultan en esencialmente un gran número
peticiones a la base de datos en una sola
petición de página web.
Claro.
Todas esas cosas son muy peligrosas cuando se pasan
a producción, así que tratamos de atraparlas
en desarrollo, por supuesto.
Hemos abarcado el mirar a los planes de consulta
y el perfilador.
¿Ustedes usan eso?
¿Tratan de tomar nota de consultas largas?
¿Monitorean eso frecuentemente?
Usamos el servicio MMS de 10gen por si esencialmente algo
no funciona bien.
Es como hacer un análisis de "qué pasó" y simplemente
ver los logs.
Ejecutamos el perfilador una fracción del tiempo o en
ciertos despliegues.
No siempre, debido al problema de rendimiento
que sufres.
Claro.
Pero tratamos de mirar los logs de la aplicación durante el
desarrollo.
Habilitamos, por supuesto, los logs en desarrollo
para nuestro driver.
Simplemente cuenta el número de consultas que estás haciendo
en una petición.
Hay muchos tipos de metas holísticas que deberías
intentar lograr cuando creas aplicaciones web.
Toca la base de datos lo menos posible.
Claro.
No quieres tener que hacer 200 consultas a tu base de datos en
una simple petición web.
No importa si es que duran una sola milésima de segundo.
La latencia de la petición aun te va
a afectar fuertemente.
Así que simplemente para asegurarnos que cosas simples como esa, que
un cartógrafo puede, a veces, implementar ingenuamente--
Sí.
--lo suficiente para ser peligroso o no saber exactamente cómo está
ejecutando el plan de consulta, puedes encontrarte en unas de
esas situaciones muy peligrosas para ambientes en producción.
¿Usan alguna capa de cache en frente de Mongo?
¿Como Memcached o algo por el estilo?
Hemos pensado en ello.
No hemos necesitado hacerlo.
Eso es excelente.
Creo que uno de los principios de Mongo es que tus datos activos
están en memoria.
Así que hemos tenido la filosofía básica de que si no está rindiendo
en la capa de Mongo, entonces
no lo estamos haciendo bien.
Eso nos ha llevado muy lejos.
No hemos configurado una capa de cache intermediario en
producción.
Y en términos de manejo de sesiones de los usuarios, los
servidores web en sí, los servidores de aplicación,
¿no tiene estado?
Entre interacciones, mientras el usuario
interactúa con la página web, ¿recuperas el estado de Mongo
para averiguar dónde le dejaste o hay algún tipo de asociación
entre el usuario y la capa de la aplicación?
Por supuesto.
Cuéntame sobre eso.
Así que tenemos una aplicación web escalada horizontalmente,
es decir que tenemos varios servidores web.
Y cuando una persona va a la página web, pueden obtener
cualquiera de estos servidores.
Exactamente.
Lo que requiere que por lo menos estos mismos servidores no tengan
estado, o no tengan ningún conocimiento interno sobre
el usuario.
Claro.
Cada usuario tiene una sesión y usamos un almacén de datos
basado en cookies para los usuarios.
Así que cuando un usuario va al sitio, les damos un ID único.
Ese ID único se relaciona a un documento en nuestra colección
de usuarios y también es almacenado localmente en el
navegador del usuario en una cookie que almacena su ID de usuario.
Esa cookie es esencialmente enviada a cualquiera que sea
el servidor web que reciben.
El servidor web dice, "OK".
Basado en el ID de usuario de la cookie que este usuario
me ha enviado--
y hay varias medidas de seguridad y codificación para
asegurar que alguien no está fingiendo un ID de usuario.
El servidor web entonces irá a--
originalmente usábamos Mongo para guardar nuestras sesiones.
Usábamos Mongo para almacenar sesiones porque era simple,
especialmente para Rails.
Había buenos paquetes que permitían sesiones
almacenadas en Mongo.
Simplemente porque queríamos reducir el número de consultas
a la base de datos y el número de veces que estábamos yendo a
la base de datos para una petición, cambiamos por un almacén de sesiones
Redis.
El cual está dentro de memoria.
Sí, es un porción en memoria.
Y no persiste.
Así que si apagas las máquinas, aprenderías
el estado de sesión en ese caso, ¿no?
La diferencia es que Mongo persistiría la sesión.
Redis es un almacén de datos compartido y volátil.
Tienen persistencia débil o no-eventual en disco--
nada al nivel de garantía
que provee MongoDB.
Claro.
Así que usas Redis para el estado de sesión.
Lo que ocurre es que un usuario está en el sitio, está en el
medio de un curso.
Obviamente tienes que saber cuándo están presentando una
respuesta, a dónde están presentándola y dónde
están en el curso.
Están enviando, básicamente
la información, más la cookie.
¿Y luego esa cookie es usada para recuperar el estado de sesión
de Redis y procesan la petición?
¿Así funciona en el servidor?
El estado de sesión no se mantiene también en el cliente,
se mantiene en Redis en tus servidores, ¿no?
Sí.
OK.
Y el resto de la información, una vez que
completan exitosamente una parte de la lección, eso entra
a Mongo, en los documentos.
Claro.
Entonces, como has resaltado, Redis no tiene el mismo tipo
de garantía de persistencia que tiene Mongo.
Así que usamos Redis como esta capa de almacén rápido de sesiones
Te da el contexto del usuario,
como mencionaste.
Y si la página requiere cargar el documento del usuario, toda
la representación basada en estado de la aplicación es
almacenada en Mongo.
Te entiendo.
Así que la sesión no almacena para nosotros, información
importante, o mejor dicho, información primaria con estado.
Guardará los meta datos sobre el estado, almacenará
información contextual que si se perdería, probablemente
el usuario ni se daría cuenta.
Pero nos ayuda para saber a dónde tenemos que ir para
cargar la representación con estado y esto está principalmente en Mongo.
Así que la aplicación web o el servidor web primero irá
con la cookie, irá a Redis para cargar el contexto de sesión y
luego eso va a dictaminar lo que el plan de consulta será
para cargar el estado para cual sea la página o porción de la aplicación
web que tiene que ser servida al cliente.
Y luego el servidor web irá a Mongo
dependiendo del estado.
Casi todo nuestro estado es persistido en Mongo.
OK.
Creo que en seguida sería bueno que nos expliques
un poco sobre la evolución de tu escalamiento con un pizarra
y que nos expliques tal vez un poco sobre tu esquema y
qué ha sido importante indexar
y algo sobre rendimiento.
Así que vamos a cambiar a una pizarra.
Está bien.
Me parece muy bien.
Muy bien.
Hagamos eso.
Muy bien.
A ver, explícame un poco en un nivel alto, cómo
es el sistema y dónde encaja MongoDB.
Claro.
Por supuesto.
Hay tres componentes principales en Codecademy como un sistema
completo.
Tenemos el cliente, la capa de aplicación y la capa de
datos.
Y voy a describir los tres.
Obviamente, Mongo está en la capa de datos.
Claro.
Te tenemos a ti, tu computadora es el cliente.
Y luego tenemos, llamaré a esto Rails, y esta es la capa de la
aplicación.
Esta es la capa del cliente, así que esto es tu navegador.
Y luego tienes la capa de datos.
Y lo representaré como API.
Esto es Rack, como mencioné.
Y se comunica directamente con--
Creo que lo dibujaremos como la representación tradicional.
Esto es Mongo.
Hay tres componentes principales.
Tenemos la capa del cliente, la capa de la aplicación y la capa
de los datos.
Queremos encapsular la capa de los datos para asegurarnos
que haya un interfaz bien definida para la manera en
que accedemos a Mongo.
Porque como dijimos anteriormente, accesos inapropiados a Mongo
pueden causar muchos problemas en producción.
Bien.
Entonces abstrayendo estos tres diferentes componentes
estamos esencialmente asegurando que podemos enfocarnos en cada
uno individualmente y optimizar cada uno individualmente, porque
tiene casos de uso muy diferentes.
Para el cliente obviamente nos importan cosas como el
tiempo de carga del navegador.
Claro.
Nos importa--
es principalmente una aplicación JavaScript, por supuesto, nos
importa la complejidad de ello y también el tamaño de las
peticiones y el tamaño de los recursos que estás sirviendo--
imágenes, tu CSS, tu JavaScript, tu HTML.
Para la capa de la aplicación, tienes mucho acoplamiento.
Tienes muchos componentes diferentes.
Ahí defines tus peticiones y cómo se relacionan a las
acciones y los controladores y luego cómo esos controladores
agregan los datos para formatearlos dentro de
una buena respuesta.
La API es lo que conecta la aplicación a Mongo
esencialmente encapsulando los patrones de acceso.
Así que si la aplicación quiere, digamos, devolver el
perfil de tu usuario, va a hacer consultas a varias
colecciones en Mongo.
Así que va a hacer varias llamadas a la API que hacen
joins a través de varias colecciones o diferentes
partes de la base de datos.
Y vas a querer optimizar cómo estás accediendo Mongo
para este diferente tipo de consultas.
Así que nos zambulliremos un poco en la capa de datos y cómo
a través de un ciclo de peticiones vamos del cliente
hasta Mongo y de regreso.
OK.
Me parece bien.
Entonce hay un estudiante sentado en su computadora y están en el
medio de uno de estos cursos y tiene que
enviar una respuesta.
Entonces, ¿qué pasa después de eso? ¿Qué pasa después de que envían
la respuesta y tiene que ser evaluada?
Claro.
Estás sentado frente a tu computadora.
Estás haciendo un ejercicio y envías la respuesta.
Así que ni bien presionas "Run", haz hecho esta petición.
Esta petición va a tener código y otros meta datos
asociada como tu--
como hablamos antes, guardamos información
de sesiones en Redis--
así que tendrá su cookie.
Tu cookie tendrá mucha de estos meta datos, incluyendo
tu ID de usuario.
Al momento de la petición, en realidad usamos un servicio
externo que evalúa el código que nosotros creamos y que está
afuera del sistema.
Lo llamamos "codex".
Lo importante es que esto ocurre afuera de este flujo
y es así por razones de seguridad.
El código, cuando se envía, va a ir a codex y va a
regresar con una respuesta evaluada.
Al final de esa respuesta evaluada, obtienes el resultado
y luego lo propagamos y almacenamos.
OK.
Todo esto está "sandboxed".
Sí.
Todo el código está "sandboxed".
Esto ocurre afuera de esto.
OK.
Así que una vez que tienes tu petición, tienes la respuesta
del evaluador, esto va a Rails.
En Rails, hace una petición post a un controlador de
presentaciones.
Y esta es una ruta.
La llamaremos presentaciones.
Aquí es donde la aplicación está recibiendo, en la capa
HTTP, tu petición y la está procesando.
Así que está tomando tu petición está jalando de la API los meta
datos apropiados para saber dónde escribir
el contexto.
Entonces esto va a requeri
…