Egy fotó kalóriát számít - Utehaeussler Ute Häußler
Egy fotó kalóriát számít
A fejlett AI, 3D és hiperspektrális technológiával a képfeldolgozás a hagyományos okostelefonokat precíz élelmiszer-elemző eszközökké alakítja.
Mobiltelefon használata a cukorbetegség elleni küzdelemhez, akárcsak az Instagram
Világszerte több mint 200 millió ember szenved 1-es vagy 2-es típusú cukorbetegségben és elhízásban. A modern látástechnika ma már segíthet e betegségek leküzdésében. Az amerikai start-up FoodPhone ™ kifejlesztett egy mobiltelefon tokot és alkalmazást, amely egy egyszerű okostelefonos fotó segítségével azonnal és tudományosan azonosítja az étkezés tápanyagtartalmát - akárcsak a közösségi médiában való megosztás. A FoodPhone ™ alkalmazás az Intel® RealSense ™ 3D technológián alapul, és egyetlen képpel határozza meg minden típusú étel mennyiségét, textúráját és alakját. A szénhidrátok és kalóriák számlálása mellett az innovatív beágyazott látási eset kémiai összetételük alapján felismeri az étel összetevőit, és azonnal megmutatja a felhasználónak, mint egy ismert táplálkozási táblázatot. Az ételek minősége, frissessége és érettségi foka még a boltban ellenőrizhető "a tál alatt" - a NIR funkciók (Near Infrared) észlelnek látható és láthatatlan apró hibákat vagy nyomásnyomokat. A gyümölcs vagy zöldség kiválasztása gyerekjáték lesz - az FoodPhone alkalmazással a mobiltelefon a jövőben a legjobb és legérettebb avokádóra fog mutatni.
Világszerte emberek milliárdjai figyelnek étrendjükre
A cukorbetegeknek, a sportolóknak, a fitnesz rajongóinak és sok másnak, aki figyeli a súlyát, figyelnie kell, hogy mit eszik. Csak az Egyesült Államokban naponta több mint 100 millió ember használ okostelefont súlyának, fitneszének és étrendjének ellenőrzésére. Az összes modern társadalomban gyorsan növekszik a cukorbetegség eseteinek száma. Különösen a cukorbetegek számára a szénhidrátok számlálása kulcsfontosságú betegségük kezelésében. Vészhelyzetben ez élet-halál kérdése, mert a szénhidrátok mennyisége befolyásolja a szabályozó inzulinadagot. Az étkezés szénhidrátjai tehát a legfontosabb információk, amelyekre a cukorbetegeknek szüksége van a vércukorszint folyamatos ellenőrzéséhez és az automatikus inzulinpumpák helyes beállításához. És pontosan itt rejlik a probléma: Ezek a készülékek, amelyek nagyon kíméletesek és kényelmesek a beteg számára, csak a helyes felhasználói bevitel esetén hasznosak. A kézi mennyiségbejegyzések azonban gyakran nagyon pontatlanok. Ez helytelen inzulinadagokhoz vezet, amelyek nemcsak nagyon veszélyesek, de akár életveszélyesek is lehetnek egy cukorbeteg számára.
Az egyetlen okostelefonról készült kép táplálkozási táblázatot készít
A mai okostelefonok jó kamerával, internet-hozzáféréssel és erős processzorokkal rendelkeznek, amelyek képesek feldolgozni a mesterséges intelligencia (AI) algoritmusait. Az Instagram jóvoltából a mobiltelefonok percenként milliónyi ételképet készítenek a mindennapi életben. A FoodPhone ötlete az, hogy ezeket az okostelefonokat olyan étrend-segédeszközökké alakítsa, amelyek közvetlenül a tányéron elemzik az ételeket. A FoodPhone alkalmazás szabadalmaztatott SpectraPixel ™ technológiájával képet készít, csatlakozik a vállalat saját felhőalapú mesterséges intelligenciájához, és felismeri az étkezés tartalmát - különös tekintettel a kémiai összetételre, az adag grammban, valamint a minőségre és az eltarthatóságra. Az alkalmazás megkülönböztethet többféle ételt a tányéron, és felismeri az elkészített ételeket is, például a burgonyapürét. Ezt számos multispektrális kamera és NIR szenzor éri el, amelyek egy szokásos mobiltelefon tokba vannak beépítve. A felhasználó azonnal megkapja az étkezés tudományos elemzését.
Ez az elemzés részleteket tartalmaz a szénhidrátokról, zsírokról, fehérjékről és egyéb tápanyagokról, valamint az ételek pontos adagolási méretéről. A különféle képfeldolgozási technológiák és a mesterséges intelligencia ötvözésével az FoodPhone azonosítja az ételek pontos mennyiségét és összetételét. A felhasználóknak nem kell adatokat megadniuk, nem kell megérinteniük az ételüket, vagy becsülniük kell az összeget. És azonnal megkapja az eredményt - a mobiltelefon tok nagyon felhasználóbarát és hatékony táplálkozási információkat nyújt, 90% feletti pontossággal. Christopher M. Mutti, az FoodPhone alapítója és vezérigazgatója szerint a technológia a mesterséges intelligencia és a kiterjesztett valóság keverékével pozitívan befolyásolja a cukorbetegség terjedését, és segíthet az étrendjüket figyelő embereknek céljaik elérésében.
2. és 3. kép: A képnek látszó kép elkészítésével a felhasználó azonnal megkapja étkezésének tudományos elemzését.
Ötlet, innováció és megvalósítás
"Eredetileg csak egy egyszerű módszert kerestem a kalóriák számolására" - mondja ma Mutti. Szenvedélyes hokis, kénytelen volt figyelni az étrendjét, kordában tartani a súlyát és a kalóriákat. A legjobb akart lenni. De az analóg időkben vagy később, a számítógépek és az internet segítségével a kalóriaszámolás nemcsak pontatlan volt számára, hanem rendkívül bonyolult és sokáig tartott. A képzett gépészmérnök egyszerű és gyors módon meg akarta tudni, mit és mennyit eszik. Eszébe jutott egy étkezés elemzése egy fényképezőgéppel vagy mobiltelefonnal készült képpel az ezredfordulón, de a technológia még nem volt kész. 2013-ban kezdett el dolgozni rajta.
Az okostelefonok számítási teljesítménye már eddig is fejlődött, így összetett algoritmusokat tudtak feldolgozni; és olyan úttörő projektek, mint a Stanford Egyetem ImageNet, elérhetővé tették a látásalapú AI technológiát. Mutti az ideghálózatok és az AI, a 3D és a hiperspektrális képfeldolgozás területén tapasztalt tudósok, valamint a kamera és az objektív tervezés területén tapasztalt mérnökökkel együtt Mutti úgy döntött, hogy szabadalmakat fejleszt ki, hogy ötletét a gyakorlatban megvalósítsa.
5. és 6. ábra: A FoodPhone mobiltelefon tok tervezési tanulmánya és prototípusa
Különböző látási adatok kombinálása mesterséges intelligencián keresztül
A FoodPhone alkalmazás multispektrális és 3D képfeldolgozással pontosan azonosítja a tápanyagokat, valamint a mennyiséget és az adagot. Mutti csapata marker nélkül fejlesztette ki a szükséges szoftvert, amely referenciaként szolgál a képfeldolgozó rendszer látómezőjében. A mérnökök azért választották az Intel® D435 RealSense mélységkamerát, mert ez egy USB kamera, amely sztereó párból, RGB kamerából és infravörös projektorból áll. A Mutti számos szabadalommal rendelkezik a hiperspektrális képek előállításához több kamera kimenetének és különféle típusú látási adatok egyesítésével.
A képfeldolgozó rendszer ugyanúgy működik, mint az ember, ha az ételét nézi: a szín az első elem, ami ráüt. A FoodPhone először az RGB kamerát használja a lemez színeinek azonosításához. Ezután a sztereó kamera előállítja a 3D-s adatokat az egyes ételek alakjának, körvonalának és textúrájának azonosításához - ugyanúgy, ahogy az emberi szem tenné. A 3D nyers adatok megadják az étel méreteit, teljes térfogatát vagy adagméretét. Több kamera és szenzor által rögzített NIR adatok segítségével a FoodPhone saját algoritmusai képesek értékelni egy élelmiszer kémiai összetételét, ahogyan az emberi íz- és szaglás is.
Ebből a célból egy több mint tíz kép és azok nyers adatainak átfedése látható fényre, színre, spektrális adatokra és 3D információkra oszlik. Ezután az egyes élelmiszerek sajátos és egyedi tulajdonságait az optikai, spektrális és fizikai információk alapján azonosítják. Ezen spektrális profilok segítségével minden étel egyértelműen azonosítható, mivel egyedi spektrális ujjlenyomatával rendelkezik.
7. és 8. fotó: Különböző spektrális profilok, mint egyedi zöldség és hús ujjlenyomat.
"Több millió képet használtunk a mesterséges intelligencia algoritmusaink képzésére" - mondja Christopher Mutti. „Nagyon sok munka volt több tízezer élelmiszer-osztályozás, összetévesztési táblázat és egyéb folyamatlépések elvégzése. De most elérjük a 90% feletti pontosságot. ”A táplálkozási táblázatok és a tömeg helyes kiszámításához az étel színének, állagának, spektrális aláírásának és térfogatának meg kell egyeznie. A nyers képadatokat először egy nagyon kicsi SoC (System on a Chip) Intel® Edison dolgozza fel a szénhidrátok, fehérjék, zsírok és víztartalom azonosítása érdekében. Innen az összes összegyűjtött információ átkerül a felhőbe, és az AI-alapú FoodPhone adatbázison fut. Az okostelefon megkapja az eredményeket, és táplálkozási táblázatként mutatja őket a mobiltelefon kijelzőjén.
A technológia sokkal többre képes
A FoodPhone technológia segít az embereknek elemezni az ételeket a mindennapi életben - nemcsak diétázás közben. A szupermarketben vásárolva az alkalmazás megmutatja a legfrissebb és legegészségesebb termékeket a polcon. Ez kevesebb rossz vásárlást és kevesebb elrontott terméket eredményez, ugyanakkor pénzt takarít meg. A fogyasztók valós időben az összes információt megtekinthetik az összetevőkről, a minőségről és a frissességről okostelefonjukon. Az ételallergiában szenvedők ellenőrizhetik ételük meghatározott összetevőit, és nem kell megfejteniük az összetevők "rejtélyes" listáit. Az étel egyszerű mobiltelefonos felvétele részletes összetevők listáját és pontos eltarthatóságát biztosítja. A NIR-adatok segítenek azonosítani érettségét, apró hibáit és lehetséges baktériumait, függetlenül a termék legelőnyösebb dátumától. A legfrissebb, érett avokádó csak egy kattintásnyira van.
A jövőorientált intelligens otthon forgatókönyveiben a FoodPhone technológia beépíthető minden háztartási konyhába. A pult fölé szerelve egy kis fényképezőgép beolvashatja az étkezés minden ételt vagy egyes összetevőjét. A felhasználó közvetlenül az elkészítés során megkapja összetevőinek tudományos elemzését és az összesített táplálkozási táblázatot. Ezenkívül az FoodPhone szoftvere automatikusan frissítheti a felhasználó heti bevásárlólistáját vagy szállítási rendelését.
A hálózatba kötött IoT hűtőszekrény (Internet of Things) a FoodPhone technológiájával nyomon követheti az elfogyasztott ételeket és azok eltarthatóságát, valamint közvetlenül összehasonlíthatja őket a vásárlási és szállítási listákkal. Nincs több "A kolbász minden" - egy családot azonnal értesítenek, ha egy népszerű étkezés fogyóban van, és újra megvásárolhatja -, vagy hagyhatja, hogy a hűtője megcsinálja.
Ezenkívül a képfeldolgozás és az AI-alapú élelmiszer-ellenőrzés leküzdheti az élelmiszer-csalást és feltárhatja az igazi összetevőket. Az emberek jobb, egészségesebb döntéseket hozhatnak olyan vegyi anyagok vagy titkos összetevők ismeretében, amelyeket egyes gyártók az eltarthatósági idő meghosszabbítására, az ételek jobb megjelenésére vagy az „addiktív” termékekre használják.
Első osztályú példa a képfeldolgozás jövőorientált használatára
Az innovatív FoodPhone technológia tökéletes példa arra, hogy a mindennapi eszközök, például a mobiltelefonok és az intelligens háztartási készülékek látásalapú alkalmazásai valóban innovatív alkalmazásokhoz használhatók és nagyon kevés helyet foglalnak el. Az AI-alapú képfeldolgozás különféle típusainak - jelen esetben 3D, RGB és NIR - kombinációja további információk kinyerése érdekében megmutatja, hogy milyen hatékonyak a modern látórendszerek. Az integrált mélységérzékelővel ellátott kamerák és infravörös projektorok alacsony áron, azonnal felhasználásra készek és nagyon kis méretben kaphatók. A könnyen használható és megfizethető gépi látástechnika az ipari és a fogyasztói piacokon történő alkalmazásokat új szintre emelheti. A gépek nem csak megtanulnak látni, hanem "a héj alatt" is nézni.