Kā tulkot zīmju valodu uz tekstu, izmantojot Arduino?

Mēs esam konsekventi pieņēmuši, ka tehnoloģijai jābūt pieejamai visiem un par labu, neatkarīgi no tā, vai viņi ir normāli cilvēki vai īpaši kvalificēti cilvēki. Inovāciju galvenā priekšrocība ir iesaistīt indivīdus un viņus uzlabot, nevis iekarot, bet gan palīdzēt.



Parakstieties uz tekstu

Cilvēki ar nespēju runāt, lai nodotu savus ziņojumus, izmanto dažādus saziņas līdzekļus. Visizplatītākā no tām ir zīmju valoda. Zīmju valoda ir valoda, kas ziņu nodošanai izmanto žestu modalitāti. Zīmju valoda ir izplatīta starp cilvēkiem, kuri nespēj runāt vai klausīties. Tātad, šeit ir projekts, kas palīdzēs jums tulkot zīmju valodu tekstā, kas būs saprotams citiem cilvēkiem.



Kā izmantot Arduino, lai izveidotu Sign to Text tulkotāju?

Tagad virzīsimies uz turpmāku datu vākšanu, to analizēšanu, ķēdes izveidošanu un koda sadedzināšanu mikrokontrollerī.



1. solis: priekšnoteikumi

Pirms sākam strādāt, labāk ir apkopot un izpētīt aparātu, kuru izmantosim. Zemāk esošajā sarakstā ir parādīti visi vienumi, kas mums nepieciešami šajā projektā.



  • Arduino UNO
  • Vīriešu / sieviešu džemperu vadi
  • Rezistori (470 omi)
  • Maizes dēlis / Veroboard
  • Sieviešu galvenes
  • Cimds

2. solis: Aparāta iestatīšana

Žesta noteikšanai mēs izmantosim Flex sensorus. Elastīgais sensors ir sensors, kas katru reizi, kad tas ir saliekts, piešķir atšķirīgu pretestību un citu leņķi. Tam ir divas tapas, kas ir savienotas sprieguma dalītāja konfigurācijā. Šo tapu savienojums ar Arduino ir parādīts zemāk.

Ķēdes shēma

FLEX 1, FLEX 2, FLEX 3, FLEX 4, FLEX 5 ir elastīgie sensori, un RES1, RES2, RES3, RES4, RES5 ir 470 omu rezistori. Viens punkts no visiem elastīgajiem sensoriem ir kopīgs, un tam tiek piemērots 5V. No otras puses, visu rezistoru viena kāja ir kopīga un savienota ar zemi. Arduino tapu ievade saņems analogos datus no 0 līdz 1023, kas kodā tiks pārveidoti par digitālo formu.



Tagad, kad mēs zinām, kā darbojas elastīgais sensors, piestipriniet katru elastības sensoru uz cimda pirkstiem (izvairieties no līmju izmantošanas). Lodēšanas džempera vadi pie visiem elastīgajiem sensoriem un savieno tos uz Veroboard, kā parādīts iepriekšējā attēlā. Uzmanīgi pielodējiet savienojumus un veiciet nepārtrauktības pārbaudi. Ja nepārtrauktības pārbaude neizdodas, pārbaudiet lodētos savienojumus un salabojiet tos.

3. solis: darba sākšana ar Arduino

Ja jums nav Arduino IDE, lejupielādējiet jaunāko versiju no Arduino

  1. Savienojiet Arduino ar datoru un dodieties uz Vadības panelis> Aparatūra un skaņa> Ierīces un printeri, lai pārbaudītu porta nosaukumu, ar kuru Arduino ir savienots. Manā datorā tas ir COM14. Jūsu datorā tas var atšķirties.

    Porta numura atrašana

  2. Atveriet savu Arduino IDE un iestatiet tāfeli uz “Arduino / Genuino Uno”.

    Dēļu iestatīšana

  3. Atveriet savu Arduino IDE un iestatiet portu, kuru iepriekš novērojāt datorā.

    Portas iestatīšana

  4. Tagad lejupielādējiet zemāk pievienoto kodu un augšupielādējiet to savā Arduino dēlī, noklikšķinot uz pogas Augšupielādēt.

    Augšupielādēt

Lejupielādes saite: Noklikšķiniet šeit

4. solis: kods

Kods tiek komentēts labi, bet šeit ir sniegts vispārīgs skaidrojums, kā tas darbojas.

  1. Koda sākumā tiek inicializēti 5 Arduino analogie kontakti, lai tos izmantotu ar elastīgajiem sensoriem. Tiek inicializēts Vcc no Arduino un 4,7k om pretestība, kas tiek izmantota ķēdē. Pēc tam tiek inicializēta taisnā elastīgā sensora pretestība un pretestība 90 grādu leņķī. Šīs inicializācijas būs noderīgas, rakstot kodu.
  2. anulēt iestatīšanu () ir funkcija, kurā mēs inicializējam Arduino pārraides ātrumu, un visi pieci analogie kontakti tiek inicializēti, lai tos izmantotu kā INPUT. Bauda ātrums ir ātrums, kādā mikrokontrolleris sazinās.
  3. void loop () ir funkcija, kas ciklā darbojas nepārtraukti atkal un atkal. Šajā funkcijā visas analogās vērtības tiek nolasītas un pārvērstas ciparu vērtībās. Pēc tam, izmantojot sprieguma dalītāja formulu, tiek aprēķināta pretestība un caur šo pretestību tiek aprēķināts elastības sensora lieces leņķis.

Kad esat sapratis un augšupielādējis kodu, nēsājiet cimdus un veiciet dažādus žestus, lai tos pārtulkotu tekstā. Kodā varat pievienot vairāk pirkstu kustības kombināciju pēc jūsu izvēles un attiecīgi parādīt ziņojumu. Jūs redzēsiet, ka jūsu zīmju valoda tagad ir pārveidota par tekstu.

5. solis: Papildu

Šis projekts ir par zīmju valodas pārveidošanu tekstā un parādīšanu seriālajā monitorā. Tā kā izmantotais mikrokontrolleris ir Arduino, šī ierīce darbosies tikai tad, kad Arduino ir savienots ar datoru, izmantojot datu kabeli, jo Arduino nav iebūvēta WiFi moduļa. Lai padarītu šo projektu nedaudz interesantāku, varat pievienot ārēju WiFi moduli vai izmantot ESP moduli, nevis Arduino, atbrīvoties no datu kabeļa un baudīt zīmes uz runu tulkošanu, izmantojot WiFi.