SQLite rozšíření v C a Rustu pro rychlé zpracování dat

Zdroje

1. Pro desktopové agenty jako AnythingLLM či Cursor a pro nástroje na příkazové řádce představují vestavěné in-process vektorové databáze často jedinou schůdnou architekturu. ověřeno
   „For edge AI applications, CLI developer tools, desktop agents (such as AnythingLLM and Cursor), and serverless execution environments (like AWS Lambda and Cloudflare Workers), embedded vector engines are often the only viable architecture.“ llms.blog
2. Spouštění vektorového vyhledávání přímo v procesu aplikace eliminuje síťovou latenci mezi datacentry, která se běžně pohybuje mezi 15 a 50 milisekundami. ověřeno
   „Running vector search directly inside the application process eliminates network round-trip overhead (typically 15-50ms over cross-datacenter or cloud VPC hops), removes dedicated database infrastructure management, and slashes hosting bills“ llms.blog
3. Dynamicky načítaná SQLite rozšíření jsou kompilované dynamické knihovny s příponami .dylib, .so nebo .dll načítatelné v různých prostředích včetně Pythonu, Node.js či CLI. ověřeno
   „Notice the word loadable. Loadable extensions are these compiled dynamically-linked libraries, with a suffix of .dylib or .so or .dll (depending on your operating system).“ docs.rs
4. Simon Willison testoval vytvoření uživatelské SQLite funkce parse_number() v jazycích C a Rust za pomoci modelu Claude Opus 5.5. ověřeno
   „I fired up regular Claude chat (Opus 5.5) and prompted: I'm thinking about a SQLite custom function 'parse_number(value)' that strips ',', '$', '£' and '%', handles a leading '-', and returns 'NULL' for anything it can’t parse“ simonwillison.net
5. Zkompilované SQLite rozšíření v jazyce Rust dosáhlo velikosti 321 KB s knihovnou Rusqlite a 298 KB s sqlite-loadable-rs, zatímco rozšíření v jazyce C mělo 14 KB. ověřeno
   „This gave me a solid starting point - the Rust extension was 321 KB (using Rusqlite) and 298 KB (using sqlite-loadable-rs), while the C extension was 14 KB.“ simonwillison.net
6. Rozšíření v jazyce Rust bylo zpočátku rychlejší než verze v C, protože implementace parsování čísel v Rustu je dvakrát rychlejší než funkce strtod v jazyce C. ověřeno
   „But the Rust extension was faster! Turns out that's because the Rust equivalent of C's strtod is "twice as fast".“ simonwillison.net
7. Knihovna sqlite-loadable-rs je framework pro tvorbu načítatelných SQLite rozšíření v jazyce Rust inspirovaný projekty rusqlite, pgx a knihovnou pro Go od Riyaze Aliho. ověřeno
   „sqlite-loadable-rs A framework for building loadable SQLite extensions in Rust. Inspired by rusqlite, pgx, and Riyaz Ali’s similar SQLite Go library.“ docs.rs
8. Framework sqlite-loadable-rs umožňuje registrovat skalární funkce pomocí define_scalar_function i vytvářet virtuální tabulky přes define_virtual_table. ověřeno
   „define_virtual_table() can define a new read-only virtual table module for the given SQLite connection. define_virtual_table_writeable() is also available for tables that support INSERT/UPDATE/DELETE“ docs.rs
9. Knihovna sqlite-loadable-rs silně spoléhá na nativní C API SQLite, což si v implementaci v Rustu vyžaduje použití unsafe bloků. ověřeno
   „sqlite-loadable-rs uses the SQLite C API heavily, which means unsafe code. I try my best to make it as safe as possible, and it’s good that SQLite itself is one of the most well-tested C codebases in the world“ docs.rs
10. Rozšíření hello world postavené na sqlite-loadable-rs je zhruba o 10 až 15 procent pomalejší než varianta v C, avšak 20krát až 30krát rychlejší než v jazyce Go. ověřeno
    „in general, a “hello world” extension built with sqlite-loadable-rs is about 10-15% slower than one built in C, and several orders of magnitude faster than extensions written in Go with riyaz-ali/sqlite (20-30x faster).“ docs.rs
11. Rozšíření sqlite-xsv napsané v Rustu je 1,5krát až 1,7krát rychlejší než oficiální CSV rozšíření SQLite napsané v C a sqlite-regex je dvakrát rychlejší než původní rozšíření regexp. ověřeno
    „sqlite-xsv is 1.5-1.7x faster than the “offical” CSV SQLite extension written in C, and sqlite-regex is 2x faster than the regexp extension.“ docs.rs
12. Rozšíření sqlite-vec napsal Alex Garcia v čistém přenositelném jazyce C bez externích závislostí jako náhradu za sqlite-vss vyžadující knihovnu Faiss v C++. ověřeno
    „Created by Alex Garcia to replace the C++ Faiss-dependent sqlite-vss, sqlite-vec is written entirely in portable C with zero third-party dependencies. It integrates into SQLite through the virtual table mechanism.“ llms.blog
13. Knihovna sqlite-vec provádí skenování vektorů přímo pomocí SIMD instrukcí procesoru AVX2, AVX-512 a ARM NEON místo stavby paměťově náročných grafových indexů. ověřeno
    „Rather than building complex graph indices that require substantial indexing time and memory overhead, sqlite-vec implements highly optimized flat scans using AVX2, AVX-512, and ARM NEON intrinsics.“ llms.blog
14. Při použití SIMD instrukcí AVX2 zvládne sqlite-vec sekvenční vyhledávání v kolekci 100 000 vektorů za 5 až 15 milisekund. ověřeno
    „For small to medium collections (under 100,000 vectors), flat SIMD scans bypass indexing overhead entirely. At 100k vectors, a brute-force AVX2 scan executes in 5-15 milliseconds.“ llms.blog
15. Rozšíření sqlite-vec podporuje jednobitovou binární kvantizaci, která zmenšuje velikost vektorů 32krát a umožňuje výpočet vzdáleností hardwarovými operacemi XOR a popcount. ověřeno
    „sqlite-vec supports packed 1-bit boolean vectors. When paired with binary-quantized embedding models like mxbai-embed-large-v1 or nomic-embed-text-v1.5, vector sizes drop by 32x, and distance calculations reduce to hardware-accelerated XOR and popcount CPU operations.“ llms.blog
16. Vektorové vyhledávání v sqlite-vec lze díky integraci přímo v SQLite propojovat s relačními tabulkami v rámci standardních ACID transakcí. ověřeno
    „Because it lives directly within SQLite, vector searches can be natively joined against standard relational tables within standard ACID transactions.“ llms.blog
17. Vektorová databáze LanceDB je postavena v jazyce Rust nad formátem Lance, který je určen pro multimodální AI a práci se sloupcovými daty. ověřeno
    „LanceDB is built in Rust on top of the open-source Lance file format, a modern columnar format engineered specifically for multimodal AI and vector retrieval.“ llms.blog