Cómo está hecho

1. La página de día

La página «22. Juli» tiene sus secciones de siempre: acontecimientos, nacimientos, fallecimientos, celebraciones y santoral, con una línea por hecho. De ella salen 566 hechos: 65 acontecimientos, 299 nacimientos, 196 fallecimientos, 4 celebraciones y 2 santos. Con los 366 días, 250.150 hechos. Las páginas se bajan enteras, de 50 en 50, con la API de la Wikipedia.

2. Partir cada línea en un hecho

Así está escrita una línea del 22 de julio, tal cual (el código de la Wikipedia):

* 1298: Während der [[Schottische Unabhängigkeitskriege|Schottischen Unabhängigkeitskriege]] besiegt Englands König [[Eduard I. (England)|Eduard I.]] mit seiner Armee in der [[Schlacht von Falkirk (1298)|Schlacht von Falkirk]] die von [[William Wallace]] angeführten Schotten.

Y esto es lo que sacamos de ella. La sección da el tipo (A, acontecimiento); lo que va antes de los dos puntos, el año; el texto queda limpio (sin corchetes ni plantillas); y cada enlace se guarda aparte, con lo que se lee (el rótulo) y adónde lleva (el destino):

{
 "dia": "07-22",
 "tipo": "A",
 "anio": 1298,
 "pais": null,
 "texto": "Während der Schottischen Unabhängigkeitskriege besiegt Englands König Eduard I. mit seiner Armee in der Schlacht von Falkirk die von William Wallace angeführten Schotten.",
 "enlaces": [
  {
   "destino": "Schottische Unabhängigkeitskriege",
   "texto": "Schottischen Unabhängigkeitskriege",
   "fecha": false
  },
  {
   "destino": "Eduard I. (England)",
   "texto": "Eduard I.",
   "fecha": false
  },
  {
   "destino": "Schlacht von Falkirk (1298)",
   "texto": "Schlacht von Falkirk",
   "fecha": false
  },
  {
   "destino": "William Wallace",
   "texto": "William Wallace",
   "fecha": false
  }
 ],
 "rubrica": "politica"
}

En la web, el texto vuelve a llevar sus enlaces, pero ahora a nuestras páginas (en azul las que tienen): «Während der Schottischen Unabhängigkeitskriege besiegt Englands König Eduard I. mit seiner Armee in der Schlacht von Falkirk die von William Wallace angeführten Schotten.»

3. Las entidades: adónde lleva de verdad cada enlace

Un enlace puede llevar a una redirección (otro nombre de la misma página), a una página de desambiguación (un nombre con varios significados) o a una página que no existe (un enlace rojo). Se pregunta a la Wikipedia por cada destino, de 50 en 50, y se guarda el título final y su número de Wikidata:

[
 {
  "destino": "Schottische Unabhängigkeitskriege",
  "titulo": "Schottische Unabhängigkeitskriege",
  "redirige": false,
  "existe": true,
  "desambiguacion": false,
  "bytes": 9001,
  "qid": "Q1368240"
 },
 {
  "destino": "Eduard I. (England)",
  "titulo": "Eduard I. (England)",
  "redirige": false,
  "existe": true,
  "desambiguacion": false,
  "bytes": 124450,
  "qid": "Q57798"
 },
 {
  "destino": "Schlacht von Falkirk (1298)",
  "titulo": "Schlacht von Falkirk (1298)",
  "redirige": false,
  "existe": true,
  "desambiguacion": false,
  "bytes": 15517,
  "qid": "Q589318"
 },
 {
  "destino": "William Wallace",
  "titulo": "William Wallace",
  "redirige": false,
  "existe": true,
  "desambiguacion": false,
  "bytes": 13834,
  "qid": "Q82457"
 }
]

De todos los enlaces de los 366 días: 3.489 redirecciones, 10 enlaces rojos, 14 desambiguaciones y 195.700 entidades reales (personas, lugares, cosas, acontecimientos). Así fue como apareció el primer error: «Cortes Constituyentes» juntaba las de 1931 y las de 1977, porque los dos enlaces llevaban a la misma página general.

4. Los apuntadores: cómo se nombra cada cosa

Lo que se lee en un enlace («Schottischen Unabhängigkeitskriege») y adónde lleva («Schottische Unabhängigkeitskriege») es un apuntador a un objeto. Sale gratis de los enlaces y se guarda con marcas: de dónde sale, en qué época se usa (los años de los hechos) y qué relación tiene con el nombre del objeto (nombre propio, abreviado, sigla, metonimia, gentilicio, descripción…):

{
 "apuntador": "Schottischen Unabhängigkeitskriege",
 "objeto": "Schottische Unabhängigkeitskriege",
 "veces": 5,
 "marcas": {
  "fuente": "de.wikipedia",
  "epoca": {
   "desde": 1296,
   "hasta": 1333,
   "siglos": {
    "XIII": 2,
    "XIV": 3
   }
  },
  "relacion": "otro nombre"
 }
}

Con eso, cada página de objeto tiene su nube «Cómo se le llama».

5. Las personas: país y oficio

Los nacimientos y las muertes siguen casi siempre la misma forma: «Name, nationality occupation (died year)»: el gentilicio delante y el oficio al final. Una línea del 22 de julio:

* 1882: [[Edward Hopper]], US-amerikanischer Maler

El país sale del gentilicio («US-amerikanischer» → Vereinigte Staaten, con la lista nuestra tabla de adjetivos de país (tablas/de/gentilicios.tsv) de la propia Wikipedia y una tabla nuestra para los históricos); el oficio («Maler») se lleva a uno de 18 temas con otra tabla («Maler» → artes):

{
 "dia": "07-22",
 "tipo": "N",
 "anio": 1882,
 "persona": "Edward Hopper",
 "nombre": "Edward Hopper",
 "descriptor": "US-amerikanischer Maler",
 "otro_anio": null,
 "paises": [
  {
   "pais": "Vereinigte Staaten",
   "entidad": null,
   "clase": "variante",
   "ambigua": false,
   "rol": "nacionalidad",
   "procedencia": "gentilicio:us"
  }
 ],
 "oficios": [
  {
   "oficio": "us-amerikanischer maler",
   "cabeza": "maler",
   "tema": "artes",
   "subtema": null,
   "procedencia": "oficio:maler"
  }
 ],
 "temas": [
  "artes"
 ]
}

Así salen 221.968 personas, el 93 % con país y el 94 % con tema. Están ordenadas en los temas.

6. La página de cada objeto

Las 3.630 entidades con 5 hechos o más tienen página (por ejemplo Schottische Unabhängigkeitskriege o Eduard I. (England)). En ella: el primer párrafo y la foto de su artículo; cómo se le llama; con quién aparece; su red; sus años; su desarrollo en columnas, un hecho por fila y por orden de fecha; y todos sus hechos por el calendario.

Si es una persona, las columnas son su vida: personal, profesional y relacionado, con la regla de cada punto (si el protagonista del hecho es otra persona, va a relacionado; lo de después de su muerte, en personal y en gris) y sus hitos marcados: nace, muere, se casa, premio… Si es cualquier otra cosa (un país, una ciudad, una institución), las columnas son el tipo de hecho (acontecimiento, nace, muere) y el color es el tema: el oficio de quien nace o muere, o las palabras del hecho («terremoto» → desastres, «tropas» → guerra, «estrena» → cultura…).

7. La red

Las entidades que salen en el mismo hecho quedan unidas: en el ejemplo, «Schottische Unabhängigkeitskriege», «Eduard I. (England)», «Schlacht von Falkirk (1298)», «William Wallace». La unión pesa tantos hechos como compartan. Con todos los días: 40.793 entidades y 125.556 uniones. En la página de cada objeto, su red son sus vecinas más ligadas, elegidas por lo que comparten respecto a lo que aparecen (para que un país, que sale en todo, no tape lo particular).

Los grupos (la red completa) salen solos con el método de Louvain: junta las entidades que se tocan mucho entre ellas y poco con las de fuera, y descuenta lo que tocaría por azar. Nadie dice qué va con qué.

Los lugares. Con lugares, los grupos salen por países. Para ver los temas se quitan los lugares, con tres reglas: es un país o nación de la lista de gentilicios; o se la nombra con mayúscula y, al menos una vez de cada cinco, detrás de «en», «desde», «hacia», «cerca de» o «frente a» («en Viena», «desde Cabo Cañaveral»); o su título empieza por Provincia, Río, Isla, Departamento y parecidos. Los astros (Marte, la Luna) no cuentan como lugar: son tema. Sin lugares salen grupos como la carrera espacial, los papas, el fútbol o los terremotos.

Temas y subtemas. Louvain a veces junta en una comunidad grupos pequeños que no tienen nada que ver (Thomas Edison con Michael Jackson y la guerra de sucesión austríaca). Por eso cada tema se vuelve a partir por dentro con el mismo método: si sus partes salen claras, cada parte de 15 entidades o más es un subtema (dentro de la carrera espacial: la Luna y los astronautas, las sondas a Júpiter y Saturno, los asteroides…); si no (los ensayos nucleares), el tema entero es un subtema. Un hecho entra en un subtema por su anclaje: lo atadas que están sus entidades al subtema sin contar ese mismo hecho. Así no se cuela un hecho que nombra entidades que solo salen en él (la revolución de Guatemala de 1944 colgaba de «Cuba»). El nombre de cada tema son las dos palabras o nombres que más distinguen sus hechos de los de los demás (frecuencia en sus hechos por rareza en el resto), escritos como salen en el texto.

8. El calendario

Una página por mes y una por día. En cada casilla del mes, el acontecimiento, el nacimiento y la muerte que más pesan: el peso de un hecho es la suma, por cada entidad con página que nombra, del logaritmo de sus hechos. Gana el hecho que toca cosas de las que hay mucho que contar y que además se pueden pulsar.

9. Lo que hay que saber

Las páginas de día las escribe mucha gente, y se nota: hay sesgos (las mujeres con más hechos son casi todas reinas o políticas; en el siglo XIX la comunidad más grande es la de las guerras del Río de la Plata; los ensayos nucleares de Nevada salen enormes porque alguien los metió día a día) y hay errores (hechos sin año, enlaces que llevan a la página equivocada). No los corregimos aquí: los enseñamos. Las páginas de la Wikipedia están vivas; más adelante se repasarán cada mes y se sumarán las efemérides de otras Wikipedias.