PSOrvia

Demonstração – uma biblioteca de música

100 000 faixas, um índice, busca em texto completo e contagens agrupadas em um programa Rust curto.

O que ele faz

O programa cria uma tabela de faixas (título, artista, ano, duração) e um índice por artista, gera 100 000 faixas a partir de uma semente fixa, preenche uma tabela de texto completo com um tokenizer trigram e responde a três buscas e a uma consulta agrupada.

Etapas

  1. Crie a tabela, o índice e a tabela de texto completo.
  2. Insira 100 000 faixas em uma transação com parâmetros vinculados.
  3. Preencha a tabela de texto completo a partir das faixas em um único statement.
  4. Busque com MATCH, por exemplo uma frase, duas palavras combinadas com AND e um prefixo de palavra.
  5. Conte as faixas por artista com GROUP BY.

A busca

// SPDX-License-Identifier: Apache-2.0
// Showcase: a music library of 100 000 tracks with full-text search.
// Usage: musiclib [tracks] [file]   (defaults: 100000 tracks, a temporary file)
use std::time::Instant;

use psob::encoding::key::Value;
use psob::sql::conn::Connection;
use psob::sql::eval::to_text;
use psob::sql::exec::Params;
use psob::{Database, OpenOptions};

const ADJ: [&str; 16] = [
    "Quiet", "Golden", "Broken", "Electric", "Hidden", "Silver", "Midnight", "Wild", "Slow", "Paper", "Distant",
    "Velvet", "Burning", "Frozen", "Lonely", "Bright",
];
const NOUN: [&str; 16] = [
    "River", "Garden", "Machine", "Harbor", "Letter", "Mirror", "Engine", "Forest", "Window", "Season", "Signal",
    "Island", "Morning", "Shadow", "Bridge", "Orchard",
];
const ARTIST: [&str; 12] = [
    "Anna Keller", "The Lanterns", "Mo Okafor", "Blue Harbor", "Ines Duarte", "Kite Season", "Sven Lindqvist",
    "Tomoko Ito", "Orchard Club", "Lena Voss", "North Wing", "Paper Moons",
];

struct Lcg(u64);
impl Lcg {
    fn next(&mut self, n: usize) -> usize {
        self.0 = self.0.wrapping_mul(6364136223846793005).wrapping_add(1442695040888963407);
        ((self.0 >> 33) as usize) % n
    }
}

fn text(s: &str) -> Value {
    Value::Text(s.to_string())
}

fn main() -> psob::Result<()> {
    let args: Vec<String> = std::env::args().collect();
    let n: usize = args.get(1).and_then(|s| s.parse().ok()).unwrap_or(100_000);
    let path = match args.get(2) {
        Some(p) => std::path::PathBuf::from(p),
        None => std::env::temp_dir().join(format!("psob-musiclib-{}.db", std::process::id())),
    };
    let _ = std::fs::remove_file(&path);
    let db = Database::open(&path, OpenOptions::default())?;
    let mut conn = Connection::with_mode(db, psob::sql::SqlMode::Sqlite)?;
    conn.execute("CREATE TABLE tracks(id INTEGER PRIMARY KEY, title TEXT NOT NULL, artist TEXT NOT NULL, year INT, seconds INT)")?;
    conn.execute("CREATE INDEX tracks_artist ON tracks(artist)")?;
    conn.execute("CREATE VIRTUAL TABLE search USING fts5(title, artist, tokenize = 'trigram remove_diacritics 1', content = '')")?;

    let t0 = Instant::now();
    let mut rng = Lcg(42);
    conn.execute("BEGIN")?;
    for i in 1..=n {
        let title = format!("{} {} {}", ADJ[rng.next(16)], NOUN[rng.next(16)], i);
        let artist = ARTIST[rng.next(12)];
        let p = Params {
            positional: vec![
                Value::Integer(i as i64),
                text(&title),
                text(artist),
                Value::Integer(1960 + rng.next(66) as i64),
                Value::Integer(120 + rng.next(300) as i64),
            ],
            named: vec![],
        };
        conn.execute_with("INSERT INTO tracks VALUES (?1, ?2, ?3, ?4, ?5)", &p)?;
    }
    conn.execute("INSERT INTO search(rowid, title, artist) SELECT id, title, artist FROM tracks")?;
    conn.execute("COMMIT")?;
    let load = t0.elapsed();

    let count = conn.query("SELECT count(*) FROM tracks")?;
    println!("tracks: {}", to_text(&count.rows[0][0]));

    for q in ["velvet bridge", "orchard AND kite", "froz"] {
        let t = Instant::now();
        let p = Params { positional: vec![text(q)], named: vec![] };
        let r = conn.query_with(
            "SELECT count(*) FROM search WHERE search MATCH ?1",
            &p,
        )?;
        let hits = to_text(&r.rows[0][0]);
        let top = conn.query_with(
            "SELECT t.title, t.artist FROM search JOIN tracks t ON t.id = search.rowid WHERE search MATCH ?1 ORDER BY t.id LIMIT 1",
            &p,
        )?;
        println!("search '{}': {} hits, first: {} / {}", q, hits, to_text(&top.rows[0][0]), to_text(&top.rows[0][1]));
        eprintln!("  ({:.1} ms)", t.elapsed().as_secs_f64() * 1000.0);
    }
    let by = conn.query("SELECT artist, count(*) AS n FROM tracks GROUP BY artist ORDER BY n DESC, artist LIMIT 3")?;
    for row in &by.rows {
        println!("artist {} has {} tracks", to_text(&row[0]), to_text(&row[1]));
    }
    eprintln!("loaded and indexed in {:.2} s", load.as_secs_f64());
    drop(conn);
    if args.get(2).is_none() {
        let _ = std::fs::remove_file(&path);
    }
    Ok(())
}

Execute

A saída é a mesma em cada execução porque os dados vêm de uma semente fixa. Os tempos vão para a saída de erro.

cd examples/rust
cargo run --release --bin musiclib

Saída

tracks: 100000
search 'velvet bridge': 463 hits, first: Velvet Bridge 129 / Mo Okafor
search 'orchard AND kite': 509 hits, first: Golden Orchard 133 / Kite Season
search 'froz': 6299 hits, first: Frozen Bridge 6 / Sven Lindqvist
artist Paper Moons has 8448 tracks
artist Orchard Club has 8447 tracks
artist Sven Lindqvist has 8433 tracks

Tempos

Execução única, sem comparação com outros bancos de dados, preliminar.

Inserir 100 000 faixas e preencher a tabela de texto completo2,0 s
Buscar uma frase (463 resultados)4,5 ms
Buscar duas palavras com AND (509 resultados)6,9 ms
Buscar um prefixo de palavra (6299 resultados)11,4 ms

O suporte a texto completo hoje é o tokenizer trigram em tabelas sem conteúdo. Outros tokenizers e funções de ranking ainda não foram implementados.