Hlasové modely pro embedded zařízení
Generátor v prohlížeči
Přidat do zařízení hlasové ovládání dřív znamenalo najmout tým expertů na strojové učení. Pro globálního výrobce polovodičů jsme postavili webový nástroj, ve kterém si embedded vývojář nadefinuje věty a povely — a nástroj mu vygeneruje hotový model rozpoznávání řeči, připravený k nahrání do mikrokontroléru. Hlasové ovládání trouby nebo termostatu tak vzniká v prohlížeči, ne v laboratoři.
Vývojář si v editoru poskládá, čemu má zařízení rozumět: věty se skládají ze slov a parametrických slotů, takže jedna definice pokryje „rozsviť světlo v kuchyni“ i „ztlum světlo v ložnici“. Nástroj z definice vygeneruje model rozpoznávání řeči i záměru optimalizovaný pro paměť mikrokontroléru. Generování běží na pozadí v cloudu a hotový balíček si vývojář stáhne k nasazení. Každý uživatel spravuje své modely a nástroj podporuje více jazyků. Přístup řídí podnikové přihlášení výrobce, takže nástroj slouží interním týmům i externím partnerům.
Technologie
Aplikaci jsme vyvinuli na Oidis Frameworku v TypeScriptu — webový frontend s editorem definic a backend na Node.js s databází MongoDB. Generování modelů běží v poolu kontejnerových workerů v Azure, napojení na interní systémy výrobce zajišťuje zabezpečený tunel a přihlašování podnikové SSO. Provoz sleduje aplikační monitoring.
Zadání
Výrobce čipů potřeboval, aby jeho zákazníci — výrobci spotřebičů a chytrých zařízení — zvládli nasadit hlasové ovládání bez znalosti strojového učení. Překážkou nesměly být nástroje: složitost trénování modelů bylo potřeba schovat za webový formulář, a přitom udržet výstup dost kompaktní pro mikrokontroléry s kilobajty paměti.
Řešení
Postavili jsme webovou aplikaci s deklarativním editorem řeči: slova, sloty a skládané vzory vět místo trénovacích datasetů. Samotné generování modelů obstarávají výpočetní kontejnery v cloudu — webové rozhraní zadání odešle, průběžně ukazuje stav a po dokončení nabídne binární balíček pro cílovou platformu. Přihlašování jsme napojili na podnikové SSO výrobce, které rozlišuje interní a externí uživatele. Provoz hlídá aplikační monitoring. Nástroj běží veřejně jako součást vývojářského ekosystému výrobce.
Klíčové funkce
- deklarativní editor vět a záměrů: slova, parametrické sloty, skládání vzorů
- generování modelů speech-to-text a speech-to-intent v cloudu
- výstup optimalizovaný pro mikrokontroléry (kompaktní binární balíčky)
- podpora více jazyků
- správa modelů pro každého uživatele zvlášť, přístup interních týmů i externích partnerů přes podnikové SSO
- asynchronní pipeline s průběžným stavem generování
Výsledky a přínosy
- několik let v produkčním provozu jako veřejný vývojářský nástroj výrobce
- hlasové ovládání dostupné vývojářům bez znalosti strojového učení
- používaný interními týmy výrobce i externími partnery po celém světě
- dlouhodobá spolupráce: od vývoje po provoz a údržbu
