News
Ovládanie hlasom pre Arduino, NodeMCU
- October 14 2017
- ESP32, ESP8266, NodeMCU , Wemos, RTLDuino...
- 2751x Přečteno
Pojem ovládanie hlasom je dnes jednoznačne spojený s inteligentnou domácnosťou, či riadením procesov, modulov z internetu. Dnes vám prinášam spôsob, ako do vašich projektov priniesť interaktivitu v podobe ovládania hlasom. Existuje mnoho technológii, ktoré umožňujú prevod hlasu na text.
V našom výukovom článku sa zameriame na technológiu Webkit Speech Recognition. Jedná sa o systém, ktorý umožňuje jednoducho a efektívne prevádzať reč na text. Jedným z parametrov technológie je výber jazyka. Plná podpora slovenčiny, češtiny je samozrejmosťou. Webaplikácia, postavená mnou, v ktorej technológia beží je postavená tak, že používateľ má dve varianty vstupu:
- Požiadavka zadaná textom do input poľa stránky.
- Požiadavka zadaná hlasom po kliknutí na obrázok mikrofónu na stránke.
Výsledok oboch variant je identický. Výsledok sa zapíše do .txt súboru, s ktorým vie následne každý mikroprocesor pracovať. Strana mikroprocesora je postavená jednoducho, čo zaručí porozumenie kódu každého programátora. Mikroprocesor si prečíta reťazec v .txt súbore a uloží ho do príslušnej premennej. Premenná sa dá následne porovnať s reťazcami v kóde, čo umožní následný výber akcie.
Je vhodné použiť viacero porovnateľných reťazcov pre jednu akciu, nakoľko preklad je dosť citlivý na vyslovenie jednotlivých hlások. Niekedy Webkit preloží led ako let, alebo zapíše veľkými písmenami LED. Občas sa stane, že medzi led a číslom ledky nie je medzera a reťazec ostane v tvare Zapni led2. Ak porovnávame identickosť reťazca s reťazcami v kóde, tak sa môže stať, že získame výstup: Zapni LED 1, ale v kóde budeme porovnávať reťazec s Zapni led 1. Požiadavka sa nevykoná, nakoľko reťazce nie sú identické, i keď sa v nich vyskytujú tie isté znaky. V prípade, že si veríte viac v PHP časti, môžete tieto reťazce prevádzať už na strane servera a transformovať ich napríklad na reťazec Zapni LED 1, ktorý následne porovnáte v kóde NodeMCU. Pri Webkite je dôležitý a zároveň kľúčový výber jazyka. Pre výber slovenského jazyka nastavte v súbore index.php recognition.lang = "sk-SK"; v prípade českého jazyka nastavte recognition.lang = "cs-CZ";, v prípade angličtiny recognition.lang = "en-US";.
Dobrou vecou je i vyhnúť sa diakritike, nakoľko na strane servera i klienta môže dôjsť k zmiešanému/rozdielnemu kódovaniu. Po uložení slova Čau si ho môže mikroprocesor stiahnuť ako ÄŚau, čo tiež veľmi nepomôže porovnaniu reťazcov, no na strane servera je možné to riešiť transformáciou do správneho tvaru. Toto riešenie je dobré napríklad pre spínanie svetiel, kedy si mikroprocesor raz prečíta požiadavku, vykoná a aj keď si ju stiahne opakovane, tak sa nič nedeje, nakoľko je na výstupe taká istá hodnota.
Čo ale použiť v prípade ovládania intenzity svetla, ak ju chceme navýšiť o 20% jeden krát?
Ak si mikroprocesor stiahne takýto reťazec opakovane, bude neustále navyšovať intenzitu do maximálneho možného štádia, ktoré je už limitované výstupom, alebo dôjde k zničeniu daného osvetlenia, diódy. Dobrou praxou je uložiť si predchádzajúci reťazec a porovnať s aktuálnym stiahnutým. Tento postup umožní nevykonať akciu, pokým prijatý reťazec nebude iný ako terajší, prípadne je ho možné doplniť o podmienku s dodaním 1-krát, 2-krát... Poprípade je možné requestom na PHP stránku obsah súboru vymazať, aby sa už nestiahol reťazec duplicitne. Projekt je veľmi jednoduché použiť i do projektov inteligentnej domácnosti, ovládania domu, monitoringu veličín.
Prostredníctvom hlasu môžeme ovládať aj vstupy, kedy po hlasovej požiadavke mikroprocesor získa zo vstupu údaj o teplote a vie ho zaslať/vypísať tam, kde používateľ potrebuje. V tomto systéme je veľmi jednoduché nakódovať automatický/manuálny režim.
Na vytvorenie systému podľa tutoriálu potrebujete:
- Webserver (lokálny/verejný) s HTTPS protokolom
- PHP súbory
- .txt súbor
- Mikroprocesor (Arduino, NodeMCU, ESP32, Raspberry, Orange Pi.. a iné)
- Pripojenie k internetu
- Prehliadač Chrome
Testovanie prebiehalo s notebookom a smartfónom s prehliadačom Chrome. Prvý krát je potrebné mikrofón potvrdiť. Pri opakovanej návšteve stránky už mikrofón funguje bezproblémovo a nie je nutné ho potvrdiť. Mikrofón ale funguje výlučne na HTTPS (šifrovanej) stránke, nakoľko na nešifrovanej stránke ho blokuje samotný prehliadač.
Na strane mikroprocesora som použil dosku NodeMCU v3 Lolin, kde som nenarazil na žiaden problém z pohľadu spracovania a vyhodnotenia stiahnutého obsahu súboru. Riešenie som testoval až pre 8 výstupov. V prípade použitia pripojenia na HTTPS stránku je nutné do kódu vložiť aj odtlačok HTTPS certifikátu stránky - (fingerprint) v kóde. Riešenie je kompatibilné aj s NodeMCU v2. Stiahnutý reťazec je v kóde pod premennou line. V kóde sa nachádza aj ukážka ovládania 4 led diód za pomoci stiahnutého reťazca, ktorý je možné pozmeniť hlasom. Fingerprint získate po návšteve vašej HTTPS stránky kliknutím pravým tlačidlom myši --> Preskúmať --> Security --> View certificate --> záložka Podrobnosti --> Odtlačok verejného kľúča(SHA1).
httpspripojenie.ino – súbor pre NodeMCU je ke stažení zde.
PHP časť – web-serverová časť pozostáva z dvoch php súborov, css súboru a jedného obrázku.
index.php - -> zadávanie klávesnicou/hlasom - -> hlas sa aktivuje kliknutím na mikrofón na stránke, php kód v súbore spracuje požiadavku zadanú klávesnicou
ajax.php --> spracuje výsledok reči na text a vloží ho do .txt súboru rovnako ako php kód na index.php
Decibel.png – obrázok mikrofónu - Non copyright
stylesheet.css – CSS štýly pre index.php súbor – grafika
preklady.txt --> textový súbor, ktorý sa neustále prepisuje php súbormi, sťahuje ho mikroprocesor
Knižnice k .ino súboru pre NodeMCU: https://ulozto.sk/!RqkW7KJhe6XG/esp8266-https-%20http-rar
PHP súbory: https://ulozto.sk/!h20FDroE7wWx/ovladanie-hlasom-%20svetelektro-rar
Heslo: svetelektro.sk
Video z testu s jednou LED-kou na ukážku funkčnosti:
Odporúčania: Skryte si PHP časť za heslo, stránku neindexujte, je to dobré pre zaistenie integrity ovládania práve vami. Nezabudnite na HTTPS protokol a prehliadač Chrome! Ak si po požiadavke hlasom prezeráte .txt súbor a nie je v ňom zmena, stlačte Ctrl+F5! Riešenie je možné použiť pre dosky Arduino, Raspberry, Orange Pi a akékoľvek iné, ktoré je možné napojiť do internetu akoukoľvek technológiou, Ethernet, Wifi, GSM, GPRS, 3G, LTE. Akonáhle certifikát expiruje, alebo je obnovený s novým --> iným odtlačkom, NodeMCU sa nepripojí na stránku! Sledujte preto dátum expirácie vášho HTTPS certifikátu.
Značky: nodemcu, lolin, v3, ovládanie hlasom, hlasové ovládanie, hlas, voice, voice recongnition, automatizácia, ovládanie svetiel, redundancia, dvojité ovládanie, požiadavka, request, .txt súbor, php, hlas a text
V PHP súboroch sa využívajú užitočné funkcie pre uľahčenie práce s reťazcami: htmlspecialchars --> prevod špeciálnych znakov na bezpečné, chráni pred XSS – spusteniu javascriptov trim --> Medzery orezané v reťazci napr „Ahoj ako? “ bude transformované na: „Ahoj ako?“ Podporiť ma môžete a nájsť zaujímavé projekty, ktoré som realizoval na: https://arduino.php5.sk Projekt je aj na githube: https://github.com/martinius96/ovladanie-hlasom-nodemcu-arduino-raspberry-orangepi-php
P.S. čoskoro plánujem zverejniť aj projekt inteligentnej domácnosti s ovládaním 8 výstupov so zdrojovými kódmi na platforme klienta NodeMCU Cieľom článku bolo ukázať novú metódu vstupu, ktorú je možné ľahko integrovať aj do existujúcich projektov. Nejedná sa o profi riešenie!