INNGANGUR
Í nútíma stafrænum myndgreiningartækjum, frá snjallsímum til iðnaðar myndavélar, er myndavélareiningin lykillinn að því að ná sjónrænum upplýsingum. Eins og við vitum er myndskynjarinn ábyrgur fyrir því að umbreyta ljósi í rafmagnsmerki. Samt sem áður er ekki hægt að setja þessi hráu rafmagnsmerki eða gagnaafköst af skynjaranum beint sem skýrar og litar nákvæmar myndir sem við erum vön. Þeir þurfa að fara í gegnum röð flókinna útreikninga og umbreytingar.Um hvað er skynjari?
Sérstakur hluti sem framkvæmir þessi mikilvægu myndvinnsluverkefni er myndmerki örgjörva (ISP). ISP er óeiginlega líkt við „stafræna heila“ myndavélareiningarinnar eða allt myndgreiningarkerfið. Það er ábyrgt fyrir því að umbreyta hráum gögnum sem skynjarinn hefur náð í endanlega nothæfa stafræna mynd eða myndbandstraum.
Svo, hvað er ISP? Hvaða hlutverk gegnir það í myndgreiningarferlinu?
Hlutverk ISP í myndavélareiningunni
Í dæmigerðri stafrænu myndgreiningarkeðju er ISP staðsett á eftir myndskynjara, en áður en lokamyndagögnin eru geymd, sýnd eða send til aðal örgjörva. Grunnferlið er eftirfarandi:
Light -> Lens -> Image sensor (captures raw light signals and converts them into electrical signals, usually containing raw image data) -> ISP (receives and processes raw data) ->Framleiðsla (unnin stafræn mynd/myndband).
ISP er eins og háhraða gagnavinnsluverksmiðja, fær „hráefnin“ framleidd af skynjaranum og umbreyta þeim í hágæða „fullunnar“-stafrænar myndir í gegnum ýmsar innri vinnslueiningar og útreikninga.
Af hverju þurfum við ISP? Vandamálið með hráum skynjara gögnum
Myndskynjarar, sérstaklega þeir sem eru með litasíu fylki (CFA), framleiðsla hrá gögn (svo sem Bayer Format RAW gögn) með eftirfarandi einkennum, svo þeir þurfa að vinna með ISP:
- Ófullkominn litur:Vegna tilvistar CFA skráir hver pixla venjulega aðeins einn af þremur aðal litum rauðra, græna og bláa, frekar en fullkomins litapixla.
- Hávaði:Eigin rafræn virkni skynjarans og merkjasending mun kynna hávaða, sérstaklega þegar merkið er magnað í litlu ljósi umhverfi, hávaðinn er augljósari.
- Óhreinsað:Hrá gögn eru skynjara-sértækt snið sem er ekki þægilegt fyrir beina geymslu, skjá eða opnun með venjulegum mynd/myndbandshugbúnaði.
- Óleiðrétt:Hrá gögn hafa ekki verið breytt með hvítjafnvægi, litaleiðréttingu osfrv., Og geta ekki endurspeglað nákvæmlega lit og birtustig vettvangsins.
Tilvist ISP er að leysa þessi vandamál á skilvirkan hátt og umbreyta þessum hráu, ófullkomnu gögnum í myndir sem uppfylla staðla og hafa góð sjónræn áhrif.Um hvað er CFA?
Hvað gerir ISP? Grunnaðgerðir útskýrðar
ISP inniheldur röð af sérstökum vélbúnaðarvinnslueiningum sem framkvæma ýmsar flóknar reiknirit myndvinnslu. Kjarnaaðgerðir ISP eru:
RAW gagnabreyting:
- Demosaicing / afgreiðslu:Grunnverkefni ISP. Það notar reiknirit til að álykta um sem vantar litíhluti hvers pixils út frá litaupplýsingum hvers pixla og nærliggjandi pixla og endurgerir þar með allar upplýsingar um pixla.
- Gallað pixla leiðrétting:Greina og leiðréttu ógildum pixlum á skynjaranum.
Endurbætur á myndgæðum:
- Lækkun hávaða:ISP notar ýmsar reiknirit (svo sem staðbundin hávaðaminnkun og tímabundin hávaðaminnkun) til að bera kennsl á og fjarlægja hávaða á myndinni, sem gerir myndina sléttari, sem er sérstaklega mikilvæg í litlu ljósi.Um hvað er lágljós myndavélareining?
- Skerpa:Auka andstæða myndbrúnanna til að láta myndina líta út fyrir að vera skýrari og ítarlegri.
- Ljósbætur:Leiðréttu sjóngalla linsunnar, svo sem röskun og ljós tap á brún.
Litur og birtustýring:
- Sjálfvirkt hvítt jafnvægi (AWB):Greinir lýsingu á vettvangi og aðlagar litajafnvægi til að tryggja að hvítir hlutir birtist sem réttur hvítur og endurheimti raunverulegan lit vettvangsins.
- Litaleiðrétting:Aðlagar myndlit til að gera hann nákvæmari og í samræmi við skynjun mannsins eða sérstaka litastaðla.
- Sjálfvirk útsetning (AE) og ná stjórn:Greinir birtustig vettvangs og aðlagar sjálfkrafa útsetningartíma og skynjara ávinning til að fá mynd með viðeigandi birtustig.
- Tónkortlagning og gamma leiðrétting:Aðlagar birtustigsferilinn og andstæða myndarinnar til að láta myndina birtast best á skjánum.
Undirbúningur gagna:
- Snið:Að umbreyta unnum myndgögnum í venjulegt myndsnið (td YUV, RGB).
- Þjöppun:Þjappað myndir í skráarsnið (td JPEG) eða umritun vídeóstrauma í venjulegt snið (td H.264) fyrir skilvirka geymslu og sendingu. Þetta er venjulega gert með kóðara vélbúnaði inni í ISP.
Lykil reiknirit og aðgerðir framkvæmdar af ISP
ISP inniheldur röð af mjög bjartsýni vélbúnaðarhraðaeiningum og flóknum hugbúnaðaralgrími, sem saman mynda vinnsluleiðslu. Dæmigert ISP vinnsluflæði felur í sér en er ekki takmarkað við eftirfarandi lykilskref og reiknirit:
Forvinnsla:
- Frádráttur svartra stigs:Dregur frá viðmiðunarmerkinu sem skynjarinn myndar þegar það er ekkert ljós, sem tryggir að svört svæði séu sannarlega svört.
- Gallað pixla leiðrétting:Skynjar og viðgerðir skemmdar pixla á skynjaranum sem alltaf framleiða óeðlileg gildi.
Demosaicing:
- Þetta er ein mikilvægasta reiknirit ISP. Eins og áður hefur komið fram hafa upprunalegu gögnin aðeins einn lit á pixla. Demosaicing reikniritið áætlar hina tvo sem vantar litíhluta hvers pixla með því að greina litaupplýsingar pixilsins og nærliggjandi pixla hans og endurgera þar með fullkomnar RGB þriggja litar upplýsingar.
- Gæði Demosaicing reikniritsins hafa bein áhrif á skýrleika myndarinnar, litanákvæmni og hvort gripir (eins og Jagged eða False Colours) birtast á brúnunum.
Lækkun hávaða:
- Hráa gagnaafköst myndskynjarans, sérstaklega í litlu ljósi, mun innihalda áberandi hávaða. ISP framkvæmir ýmsar reiknirit til að draga úr hávaða til að draga úr þessari óæskilegu kornleika.
- Algengar reiknirit til að draga úr hávaða eru meðal annars lækkun á hávaða frá hávaða (að greina pixla innan sama ramma) og tímabundna hávaðaminnkun (greina líkt milli ramma í röð til að fjarlægja handahófi hávaða).
- Góður reiknirit til að draga úr hávaða getur í raun fjarlægt hávaða en varðveita smáatriðin um myndina eins mikið og mögulegt er.
Sjálfvirkt hvítt jafnvægi (AWB):
- Mismunandi ljósgjafar (glóandi, flúrperur, sólarljós, skuggi) hafa mismunandi lithita. Auto White Balance reiknirit ISP greinir frá ljósasamsetningu á svæðinu og aðlagar ávinning þriggja aðal lita rauðra, græna og bláa til að tryggja að hvítir hlutir í myndinni virðast hreinir hvítir, sem gerir litinn á allri myndinni vera náttúrulega og nákvæm.
Litaleiðrétting og umbreyting á litarými:
- ISP framkvæmir litaleiðréttingaralgrími til að bæta upp ójafn viðbrögð skynjara við mismunandi litum, sem gerir myndalitinn nær skynjun mannsins.
- Umbreyttu myndgögnum úr upprunalegu litarými skynjarans í venjulegt litarými (svo sem SRGB) til að fá réttan skjá á ýmsum skjám.
Sjálfvirk váhrif (AE) & GAIN CONTROL:
- ISP greinir heildar birtustig dreifingar sviðsins og reiknar út ákjósanlegan útsetningartíma og skynjara ávinning (merkismögnun þáttur) í gegnum sjálfvirkt útsetningaralgrími.
- ISP nærir þessum breytum aftur til myndskynjarans eða annarra hluta kerfisins til að aðlögun til að tryggja að myndin hafi miðlungs birtustig, hvorki ofreynsla til að missa björt smáatriði né undirstrikun til að missa dimm smáatriði.
Tónkortlagning og gamma leiðrétting:
- Þessar reiknirit aðlaga heildar birtustig og andstæða myndarinnar til að gera myndina út fyrir að vera lagskiptari og sjónrænt áhrifamikil á skjánum. Tónkortlagning er lykilskref, sérstaklega þegar vinnsla High Dynamic Range (HDR) myndir.
Skerpa:
- ISP framkvæmir skerpu reiknirit til að auka andstæða myndbrúnanna, láta myndina líta skýrari út og smáatriðin meira áberandi. Of skörp geta valdið því að haló eða hávaði er lögð áhersla á.
Ljósleiðrétting:
- Bætið fyrir sjóngalla á linsunni, svo sem röskun á tunnu, röskun á pincushion eða vignetting.
Myndþjöppun:
- Sumar ISP eða vélbúnaðareiningar sem eru náið samþættar við hlið ISP eru ábyrgir fyrir því að þjappa unnum myndum í venjulegt snið (svo sem JPEG), eða umrita myndbandsstrauma í snið eins og H.264 og H.265 fyrir skilvirka geymslu eða sendingu.
Hvers vegna ISP er nauðsynleg fyrir myndgæði
ISP gegnir afar mikilvægu hlutverki við að ákvarða lokagæði:
- Það er brúin frá hráum gögnum til myndar:Án ISP færðu aðeins fullt af hráum, ekki skoðanlegum skynjara gögnum.
- Það skilgreinir lokaútlit og tilfinningu myndarinnar:Gæði myndvinnslu reikniritsins sem framkvæmd er af ISP ákvarðar beinlínis lit, skýrleika, hávaðastig og heildar sjónræn áhrif myndarinnar. Hágæða ISP getur hámarkað möguleika myndskynjarans. Jafnvel þó að grunngæði skynjarans séu góð, getur vinnslukraftur ISP gert lokamyndina betri. Þvert á móti, afturábak ISP getur takmarkað afköst toppskynjara.
- Það styður háþróaða myndavélareiginleika:Útfærsla margra nútíma myndavélareigna (svo sem HDR, nokkur reikniljósmyndunaráhrif, aðstoð við viðurkenningu á vettvangi) treystir á vinnslukraft ISP og reikniritanna sem keyra í tengslum.
Hvar finnast ISP?
Líkamleg staðsetning ISP getur tekið ýmsar eyðublöð:
- Samþætt á skynjara flísinni (samþætt ISP / SOC):Margar myndavélareiningar fyrir snjallsíma, innbyggð tæki og neytendavörur samþætta ISP aðgerðina á sama flís og myndskynjarinn. Þessi mikla samþætting dregur úr stærð og kostnaði.
- Stakur ISP flís:Í sumum hágæða myndavélum, faglegum myndavélum eða sjónkerfum sem krefjast öflugrar og sveigjanlegrar vinnsluhæfileika, getur ISP verið sérstakur sérstök flís. Þetta veitir meiri vinnsluorku- og aðlögunarrými.
- Samþætt í hýsilvinnsluvélinni (ISP blokk í hýsingaraðila):Margir afkastamiklir gestgjafar örgjörvar (svo sem farsímar, tölvu SOC eða bifreiðaflís) innihalda ISP aðgerðareiningar inni. Á þessum tíma má myndavélareiningin aðeins framkvæma forkeppni eða framleiða hrá gögn beint til ISP hluta hýsilfíflsins til loka vinnslu.
Niðurstaða
Myndmerki örgjörva (ISP) er ómissandi kjarnaþáttur í nútíma stafrænu myndgreiningarferlinu. Það er eins og „stafrænn heili“ myndavélareiningarinnar, sem ber ábyrgð á því að framkvæma mengi flókinna reiknirita til að vinna á skilvirkan og á skilvirkan hátt, umbreyta og hámarka hráa, ófullkomin og hávaðasöm gögn sem myndskynjarinn, sem myndskynjarinn, og að lokum búa til skýr, litarefnin og smáatriði-ríkur stafræn mynd eða myndband.
Að skilja hvað ISP er, hvaða lykilverkefni það framkvæmir og staða hennar í myndakeðjunni mun hjálpa okkur að skilja betur hvernig myndavélareiningin virkar og hvers vegna árangur ISP er svo mikilvægur að fá hágæða myndaframleiðslu.
Tengdar spurningar:
1. Ertu með allar myndavélareiningar með eigin ISP?
A.Ekki eru allar myndavélareiningar með fullkomnum, óháðum ISP flís. Sumar einingar samþætta ISP aðgerðina á myndskynjara flísinni til að mynda „kerfis-á-flís“ (SOC) mát. Aðrar einingar mega aðeins framkvæma mjög grunnframvinnslu og síðan framleiða gögn til ytri aðal örgjörva flísar (sem getur verið með ISP aðgerð sem er samþætt að innan) til loka vinnslu. En sama hvar ISP er staðsett, er hlutverk þess í myndgreiningarferlinu nauðsynlegt.
2. Hvernig hefur vinnslukraftur ISP áhrif á afköst myndavélarinnar?
A.Vinnslukraftur ISP og gæði innri reikniritanna hefur bein áhrif á lokamyndagæðin (svo sem litanákvæmni, hvítjafnvægi osfrv.), Hraði að taka myndir (skilvirkni vinnsluleiðslunnar hefur áhrif á hraða stöðugrar myndatöku) og útfærsla háþróaðra aðgerða (svo sem HDR-myndun, áhrif á næturvettvangsáhrif, röskun, og sumir myndatengdar greiningaraðgerðir).
3.Ef myndskynjarinn sjálfur skilar sér ekki vel, getur ISP bætt myndgæðin verulega?
A.ISP getur bætt myndir frá meðaltali skynjara að einhverju leyti, svo sem að láta myndina líta út fyrir að vera hreinni með öflugri reikniritum til að draga úr hávaða, eða fínstilla lit og andstæða með greindum reikniritum.
Aðlögunarlausn myndavélareiningar
Sendu okkur kröfur þínar um myndavélareiningar og við munum aðlaga bestu lausnina fyrir þig. Með úrvals lausnum okkar geturðu bætt vörur þínar, ráðið viðskiptavinum þínum og opnað ný tækifæri til vaxtar og velgengni innbyggðra framtíðarsýn.
