Í daglegu lífi okkar erum við vön að sjá lifandi, ítarlegar myndir. Hins vegar er falið leyndarmál: myndavélskynjarar eru í eðli sínu litar - blindir. Hver pixla getur aðeins greint birtustig, ekki lit. Að umbreyta þessum svarta - og - hvítum gögnum í litamynd þarf flókið kerfi. Kjarni þessa kerfis liggur Bayer -mynstrið (Bayer Filter) og myndmerki örgjörva (ISP). Þessir tveir þættir virka eins og heila og augu myndavélarinnar og vinna saman að því að móta ferlið frá hráum ljósmerki yfir í lokamyndina.
Sem ráðgjafi sem sérhæfir sig í myndavélareiningum mun þessi grein bjóða upp á í - dýptargreiningu á Bayer -mynstrinu, afhjúpa ISP vinnsluflæði og kanna hvernig þessi kjarnatækni hefur bein áhrif á forrit eins og uppgötvun hlutar í innbyggðum sjónkerfi. Við munum veita sérfræðilega innsýn frá sjónarhóli verkfræðings og hjálpa þér að skilja hvern lykilhlekk í myndkeðjunni.
Hvað er Bayer?
Til að skilja Bayer -mynstrið þarftu fyrst að skilja hvernig stafrænar myndavélar virka. Myndavélskynjari samanstendur af milljónum ljósnæmra díóða (pixla). Þegar ljóseindir slá á þessa pixla mynda þær rafhleðslu sem er í réttu hlutfalli við ljósstyrkinn. Hins vegar geta þessir pixlar ekki greint á milli ljósslita; Þeir skrá aðeins birtustig þess.
Bayer -mynstrið, oft kallað Bayer sía, er skáldsaga lausn. Það samanstendur af örlítið fjölda sía - rautt (r), grænt (g) og blátt (b) - nákvæmlega sett yfir hverja pixla. Þessi síu fylking gerir hverri pixla kleift að taka á móti og taka aðeins upp styrkleika tiltekins litar ljóssins undir honum. Sem dæmi má nefna að pixla þakið rauðri síu skrá aðeins birtustig rauðu ljóssins.
Þannig er hrágagnaframleiðsla skynjarans ekki aLitur RGB mynd, en einlita mósaíkamynstur, þekkt sem „Bayer Raw Data.“ Hver pixla í þessum gögnum inniheldur aðeins upplýsingar frá einni litarás.
Hvers vegna Green er tvisvar í Bayer mynstrinu
Ef þú lítur vel á dæmigert Bayer -mynstur muntu taka eftir því að það eru tvöfalt fleiri grænir pixlar en rauðir og bláir pixlar. Þetta er þekkt sem RGGB (eða GRBG, BGGR osfrv.) Fyrirkomulag.
Þessi hönnun er engin slys; Það er byggt á lífeðlisfræðilegum eiginleikum mannsins. Sjónhimnu manna er viðkvæmust fyrir grænu ljósi og veldur því að skynjun okkar á birtustigi (eða „gráskala“) kemur fyrst og fremst frá græna rásinni. Með því að úthluta fleiri pixlum til græns er myndavélin fær um að ná ríkari birtustig upplýsingum, sem leiðir til meiri skýrleika og minni hávaða þegar myndin er gerð að endurgerð og gerir myndina að lokum náttúrulegri og skarpari.
GGB vs. BGGR munur
Það eru ýmis fyrirkomulag Bayer -mynsturs, þar sem RGGB og BGRR eru þetta tveir algengustu. Þó að báðir fylgi „tvöföldu græna“ meginreglunni, er sérstaka fyrirkomulagið mismunandi.
Í RGGB fyrirkomulaginu eru rauðir og bláir pixlar settir á ská yfir frá grænum pixlum. Í BGRR fyrirkomulaginu eru grænir pixlar settir á ská yfir frá rauðu og bláu pixlum. Val á þessu fyrirkomulagi hefur áhrif á síðari ISP vinnslu, sérstaklega Demosaicing reiknirit.
Til dæmis hefur mismunandi fyrirkomulag áhrif á samsetningu aðliggjandi pixla við útreikninga á aðlögun. Fyrir innbyggð sjónkerfi er val á Bayer -mynstri oft háð ISP flísarhönnuninni og þarfnast samhæfingar vélbúnaðar og hugbúnaðar til að tryggja lokagæði myndar.
Hvað er ISP (myndmerki örgjörva)?
TheMyndmerki örgjörva (ISP)er gáfur myndavélakerfisins. Aðalverkefni þess er að fá óunnin Bayer RAW gögn frá skynjaranum og, með flókinni vinnsluleiðslu, umbreyta þeim í venjulegt mynd snið sem við sjáum, tilbúin til birtingar eða greiningar. ISP getur verið sjálfstætt flís eða samþætt í aðal stjórnflísina.
Skilvirk ISP er lykillinn að háu - frammistöðu myndavélareiningunni. Hvert skref sem það meðhöndlar skiptir sköpum og ákvarðar beint gæði myndarinnar.
ISP vinnsluleiðsla
Heill ISP leiðsla felur venjulega í sér tugi vinnsluskrefa. Við munum draga fram nokkur lykilskref hér:
1.. Slæm pixla leiðrétting
Meðan á framleiðsluferlinu stendur geta skynjarar þróað einstaka slæma pixla, sem eru annað hvort ekki - lýsandi eða varanlega lýsandi. Fyrsta skrefið í ISP er að bera kennsl á og gera við þessa slæmu pixla og skipta um gögn sín með því að blanda saman frá pixlum í kring.
2. Leiðrétting svart stigs
Jafnvel í fullkomnu myrkri framleiðir skynjarinn enn veikt rafmagnsmerki vegna „dökkrar straums.“ ISP dregur frá þessu föstum „svörtu stigi“ til að tryggja að svartir pixlar séu sannarlega núll og þar með bætir kraftmikið svið myndarinnar.
3.. Denoising
Þegar skynjarinn er í litlu ljósi býr hann til mikið magn af handahófi rafrænni hávaða. ISP notar flóknar reiknirit til að greina mynd smáatriði frá hávaða og beitir síðan hávaða. Þetta getur bætt verulega hreinleika myndar, en óhófleg hávaðaminnkun getur einnig eytt smáatriðum.
4.. Demosaicing
Þetta er ein af meginaðgerðum ISP. Demosaicing reikniritið fléttar saman upplýsingar um nærliggjandi rauð, græna og bláa pixla hverrar pixla til að álykta um allt RGB gildi þess pixla. Gæði Demosaicing reikniritsins ákvarðar beint litafritun og smáatriði lokamyndarinnar.
5. Sjálfvirkt hvítt jafnvægi
Mismunandi ljósgjafar (svo sem sólarljós, flúrljós og glóandi lýsing) gefa frá sér ljós með mismunandi litastigi. Sjálfvirkt hvít jafnvægisaðgerð greinir litardreifingu á myndinni og aðlagar sjálfkrafa ávinning rauðu, græna og bláu rásanna til að tryggja að hvítir hlutir séu nákvæmlega gerðir hvítir undir hvaða lýsingargjafa sem er. Þetta kraftmikla og flókna ferli er einn af kjarnasölupunktum ISP.
6. Litleiðrétting (CCM)
Jafnvel eftir hvíta jafnvægi er ekki víst að litafritun myndavélarinnar sé ekki nákvæm. ISP notar litamat til að rétta lit og kortleggja innfæddan litarými myndavélarinnar í venjulegt litarými (svo sem SRGB) til að tryggja litasamhengi í mismunandi tækjum.
7. Gamma leiðrétting
Gamma leiðrétting er ólínulegt ferli fyrir birtustig myndar til að passa við ólínulega sjónræn skynjun mannsins, sem gerir það að verkum að björt og dökk svæði virðast eðlilegri og ríkari.
8. Skerpa og aukahluta
ISP eykur brúnir í myndum og gerir það að verkum að þær birtast skýrari og skarpari. Hins vegar krefst þetta nákvæmrar stjórnunar, eins og yfir - skerpa getur kynnt óeðlilega skörpum gripum.
Áhrif ISP á tölvusjón
Fyrir innbyggða Vision verkfræðinga er ISP meira en bara tæki til fegrunar myndar. Sérhver vinnsluskref í ISP hefur bein áhrif á afköst Downstream Computer Vision reiknirit. Að hunsa hlutverk ISP getur leitt til banvænna galla í forritum eins og uppgötvun hlutar.
„Black Box“ áhrif ISP
Margir verkfræðingar líta ranglega út ISP sem „svartan kassa“, að því gefnu að það sé eingöngu ábyrgt fyrir því að framleiða „góða - útlit“. En þó að sum ISP vinnsla geti aukið sjóngæði, getur það einnig truflað reiknirit tölvusjónar.
Sem dæmi má nefna að of árásargjarn ISP hávaðaminnkun getur slétt út lúmskur áferð og smáatriði á myndinni, sem skiptir sköpum fyrir reiknirit til að greina hlut.
Áskorunin um sjálfvirkan hvítjafnvægi
Óstöðugt hvítt jafnvægi á sjálfvirkum tíma er mikill sársaukapunktur í tölvusjón. Við breyttar lýsingarskilyrði, ef sjálfvirkt hvítt jafnvægi tekst ekki að stilla litahita nákvæmlega, getur það valdið lit sem varpað er á myndina. Þetta getur veitt þjálfuðum hlutgreiningarlíkönum árangurslaus í raunverulegu - heimsforritum, þar sem þau geta ekki getað greint hluti með steypunni.
Hvernig á að taka á þessu
Til að tryggja styrkleika tölvusýn reiknirit þurfa verkfræðingar ISP sem eru fínstilltir fyrir sjónforrit. Þetta þýðir að breytur ISP verða að vera stjórnanleg og stillanleg, sem gerir verkfræðingum kleift að fínna - stilla myndvinnsluleiðsluna fyrir sérstakar atburðarásar (svo sem bjart úti ljós eða lágt - ljósskilyrði á nóttunni). Að auki skiptir það sköpum fyrirVeldu myndavélareiningÞað gefur frá sér hráa Bayer gögn. Þetta gerir verkfræðingum kleift að framkvæma ISP vinnslu í stuðningshugbúnaði og veita hámarks sveigjanleika og stjórn.
Yfirlit
Bayer -mynstrið og myndmerki örgjörva eru hornsteinar stafrænu myndakeðjunnar og vinna saman að því að umbreyta hráum ljósamerkjum í gagnlegar upplýsingar um mynd. Að skilja hvert vinnsluskref ISP og viðurkenna bein áhrif þess á reiknirit tölvusjónarnefndar er nauðsynleg fyrir hvern innbyggðan sjónrænan verkfræðing. ISP stuðlar ekki aðeins að fagurfræði mynda heldur ákvarðar einnig árangur AI forrita eins og uppgötvunar hlutar og mynd viðurkenningu.
MuchVision hjálpar við hagræðingu ISP
Ertu að glíma við ISP hagræðingu á myndavélinni fyrir verkefnið þitt?Hafðu samband við sérfræðingateymið okkar í dagOg við munum veita þér faglega myndamerki örgjörvaval og aðlögunarþjónustu til að hjálpa innbyggðu Vision Project þínum að ná árangri!
