Bayerkleur vergeleken met grijscamera

[JeroenL]

Zoals de meesten van jullie wel weten gebruiken de huidige digitale camera's een Bayerpatroon om kleur te krijgen. De fotosensoren meten alleen intensiteit(grijswaarde), maar door verschillende kleurenlensjes voor naburige pixels te zetten kun je achteraf berekenen wat de kleur daar geweest moet zijn.
Echter, omdat de waarde van een kleurenpixel daardoor bepaald wordt uit een combinatie van tenminste 3 (maar meestal 4) pixels, verlies je wel een heel stuk aan scherpte. Omdat ik moest weten hoeveel dit daadwerkelijk uitmaakt in de praktijk, heb ik een vergelijking gedaan.

Het gaat om industriele video camera's:
- AVT Stingray 046B (grijswaarde)
- AVT Stingray 046C (kleur)

Beide camera's zijn identiek, op het Bayer filter na.
Ze hebben een beeld resolutie van 780x580 pixels. Dit is een stuk lager dan een fotocamera, en is ook de reden dat ik de extra scherpte van de grijswaarde camera goed kan gebruiken.

De testbeelden zijn niet bewerkt (ook niet geschaald), afgezien van de de-Bayering in de kleurenfotos. In de linkerbovenhoeken staan 4x vergrotingen van een detail.

Als eerste het beeld van de grijswaarden camera:


Hieronder het beeld dat uit de kleurencamera komt zonder bewerking (RAW). De afbeelding heeft maar 1 kanaal, maar bevat alle kleurinformatie in het patroon. Het grid dat te zien is komt doordat het Bayer filter alternerend de helderheid van verschillende kleuren uit de scene laat zien.


Hieronder is het resultaat na pure 'ont-Bayering' van het bovenstaande Bayerpatroon:

De uitvergroting is hier ook te zien na converteren naar grijswaarden. Het is duidelijk dat de scherpte van een grijswaardenbeeld uit de kleurencamera niet in de buurt komt van de scherpte van een echte grijswaarden camera met dezelfde resolutie.

Omdat er op de kleurovergangen rare dingen gebeuren wordt er intern in de camera ook nog een smoothing en opscherping uitgevoerd (anti-aliasing). Hieronder het resultaat als je de camera zijn werk laat doen:


Tenslotte details van de 3 versies onder elkaar uitvergroot en omgezet naar grijswaarden:

Van boven naar onder: 1) Grijs-camera, 2) Kleurencamera na pure 'ont-Bayering', 3) Kleurencamera na 'ont-Bayering'+anti-aliasing

Een ander belangrijk voordeel van de grijswaarde camera is dat hij meer licht per pixel opvangt zonder kleurenfilters voor de pixels.
Sluitertijd van kleurencamera was 1/20, sluitertijd van grijscamera 1/60. Dat is dus anderhalve stop verlies door het kleurenfilter.
Dit is echter niet een geheel eerlijke vergelijking, aangezien er in de grijswaardencamera momenteel geen infrarood filter zit, en dus ook wat extra infrarood licht vangt. In deze foto is de hoeveelheid IR licht denk ik gering, en de camera is ook een stuk minder gevoelig voor IR licht, dus ik denk dat het met IR filter niet heel anders zou zijn.

Groeten, Jeroen

[regulus]

Ik dacht dat het algemene "softere" van een foto met Bayer lag aan het gebruik van een AA = antialias filter dat voor de sensor gemonteerd wordt om oa? Moiré storing te vermijden .. de sterkte van het AA filter speelt alleszins mee in de uiteindelijke scherpte van de foto zo lijkt mij .. zie de theoretische benaderingen op de web site van Norman Koren oa
http://www.normankoren.com/Tutorials/MTF7.html
en
onder "aliasing" op bvb Wikipedia
HTH

[JeroenL]

Oorspronkelijk geplaatst door regulus

Ik dacht dat het algemene "softere" van een foto met Bayer lag aan het gebruik van een AA = antialias filter dat voor de sensor gemonteerd wordt om oa? Moiré storing te vermijden .. de sterkte van het AA filter speelt alleszins mee in de uiteindelijke scherpte van de foto zo lijkt mij .. zie de theoretische benaderingen op de web site van Norman Koren oa
http://www.normankoren.com/Tutorials/MTF7.html
en
onder "aliasing" op bvb Wikipedia
HTH

Zoals je zag is het zonder AA filter ook niet zo scherp. In deze camera zit geen optisch AA filter. Ik heb de 'ont-Bayering' handmatig gedaan achteraf met de RAW op de computer. Daarbij heb ik geen andere filtering toegepast. Maar naar aanleiding van jouw post heb ik gekeken wat de camera doet als je hem zelf de kleuren laat berekenen. Hij blijkt dan wel AA toe te passen:

Oorspronkelijk geplaatst door handleiding Stingray

The color sensors capture the color information via so-called primary color
(R-G-B) filters placed over the individual pixels in a BAYER mosaic layout.
An effective BAYER -> RGB color interpolation already takes place in all
Stingray color version cameras.
In color interpolation a red, green or blue value is determined for each pixel.
An AVT proprietary BAYER demosaicing algorithm is used for this interpolation
(2x2), optimized for both sharpness of contours as well as reduction of
false edge coloring.

Dus ter vergelijking heb ik nog een foto gemaakt met de softwarematige AA van de camera zelf en hierboven toegevoegd. Dan zie je ook gelijk waar het AA filter voor dient. Namelijk om het kartelige effect van het Bayerpatroon te onderdrukken.

Groeten, Jeroen

[Donaldduck]

ik ben niet zo technisch dus over sensoren technologie ga ik niet lullen maar mss moeten ze maar eens zoals met analoge toestellen beginnen met camera's waar je verschillende sensoren in kan plaatsen al naargelang wat je wil , Tri-x... , Ilford ... , Portra .. , Velvia ..enz . Nu ben je gebonden aan een type sensor/camera maar vroeger kon je een prof film, goedkope film , vervallen film ...enz. in een Nikon EM/ FG /FE / FM / F4 ( camera's uit verschillende prijsklasse ) steken en met dezelfde lens zou je normaal geen verschil mogen hebben . De camera zou eigenlijk maar het bakske mogen zijn rond al wat er toe doet en dat is film/sensor en de lens en natuurlijk de fotograaf , een goedkope 2dehands Nikon EM maakt met dezelfde film/lens/fotograaf net dezelfde foto's als een F4 ( als we effe de sluitertijden van meer dan 1/1000 niet mee tellen natuurlijk )

[littlewan]

Interessant.
Heb je ook de parameters van die filters? Zou hier wel graag meer over weten.
Met welke software heb je die filters toegepast?

[regulus]

Oorspronkelijk geplaatst door Donaldduck

ik ben niet zo technisch dus over sensoren technologie ga ik niet lullen maar mss moeten ze maar eens zoals met analoge toestellen beginnen met camera's waar je verschillende sensoren in kan plaatsen al naargelang wat je wil , snip)

ja net zoals je in je auto een reeks verschillende motoren kan plaatsen (heb je die van Ferrari al geprobeerd ? ) die je wil, kompleet abstractie gemaakt van al wat aansluitingen en modellen is ... mooi niet dus ..

[JeroenL]

Oorspronkelijk geplaatst door regulus

ja net zoals je in je auto een reeks verschillende motoren kan plaatsen (heb je die van Ferrari al geprobeerd ? ) die je wil, kompleet abstractie gemaakt van al wat aansluitingen en modellen is ... mooi niet dus ..

Waarom niet? PC's zijn toch ook modulair? Camera's zijn tegenwoordig in feite kleine, herprogrammeerbare PC's. Gewoon een standaard bus maken voor de sensor, zoals expresscard ofzo. De image processing kan tegenwoordig volledig in herprogrammeerbare FPGA's worden gedaan. Dan installeer je gewoon de driver die bij de sensor hoort op de camera, zodat hij weet hoe hij met de sensordata om moet gaan. Ik vind het wel een goed idee.

Ik weet alleen niet of camera-producenten er erg blij mee zouden zijn. Die zien mensen liever complete nieuwe camera's kopen in plaats van alleen een sensor of een body. Aan de andere kant hoef je slechts een paar sensoren en een paar body's in je productielijn te hebben en kunnen mensen zelf de gewenste combinatie body/sensor kiezen. Dan creeer je een veel groter keuze-aanbod, wat een concurrentievoordeel biedt.

[JeroenL]

Oorspronkelijk geplaatst door littlewan

Interessant.
Heb je ook de parameters van die filters? Zou hier wel graag meer over weten.
Met welke software heb je die filters toegepast?

De laatste met anti-aliasing heb ik de camera zelf laten doen, dus dat is een black box voor mij. Dat stukje wat ik quotte uit de handleiding is alles wat ik weet.
De pure ont-Bayering heb ik gedaan met Streampix 4.
Daar kan je ook een Laplace filtering kiezen, en dan ziet het er ongeveer hetzelfde uit als de anti-aliasing van de camera hierboven. Laplace is de tweede afgeleide van een Gaussische functie. Die doet tegelijk een onderdrukking van (te) hoge frequenties(ruis e.d.), en een versterking van de frequenties daar net onder (de grovere details).

Ik heb ook zelf eens een ont-Bayerfunctie geprogrammeerd om in mijn eigen software met RAW data om te kunnen gaan. Dat is een simpele bewerking op een 2x2 blok van naburige pixels. Bij de stingray camera heb je dan altijd twee groene pixels, 1 rode en 1 blauwe.
De formule om de kleur voor een blok te berekenen staat in de stingray technical manual, pagina 145. Rood en blauw worden direct overgenomen en van de 2 groene pixels wordt het gemiddelde genomen (wat overigens resulteert in minder ruis in het groenkanaal)
Dat geeft je een kleur voor elk punt tussen 4 pixels. Dus een halve pixel verschoven met de pixels van de CCD en 1 rij en 1 kolom minder.

Groeten, Jeroen

[littlewan]

Oorspronkelijk geplaatst door JeroenL

Waarom niet? PC's zijn toch ook modulair? Camera's zijn tegenwoordig in feite kleine, herprogrammeerbare PC's. Gewoon een standaard bus maken voor de sensor, zoals expresscard ofzo. De image processing kan tegenwoordig volledig in herprogrammeerbare FPGA's worden gedaan. Dan installeer je gewoon de driver die bij de sensor hoort op de camera, zodat hij weet hoe hij met de sensordata om moet gaan. Ik vind het wel een goed idee.

Ik weet alleen niet of camera-producenten er erg blij mee zouden zijn. Die zien mensen liever complete nieuwe camera's kopen in plaats van alleen een sensor of een body. Aan de andere kant hoef je slechts een paar sensoren en een paar body's in je productielijn te hebben en kunnen mensen zelf de gewenste combinatie body/sensor kiezen. Dan creeer je een veel groter keuze-aanbod, wat een concurrentievoordeel biedt.

Een camera gaan vergelijken met een herprogrammeerbare PC vind ik echt wel te ver gezocht. Zo kan je over alles wat elektronica bevat gaan redeneren.
Ook denk ik niet dat de verwerkingen in de camera door een FPGA (die trouwens altijd programmeerbaar is) gedaan wordt. Dat dit in de ontwikkeling zo gebeurd kan ik verstaan, maar in productie wordt zeker en vast gebruikgemaakt van een ASIC. Deze processoren worden doorgaans in meerdere camera's gebruikt.

Het modulaire idee klinkt misschien wel leuk, maar ik dacht dat dit op middenformaat wel mogelijk is. Je kiest je camera, en je back onafhankelijk van elkaar (of heb ik het mis). Dus in de professionele wereld wordt het weldegelijk toegepast.

Wat de semi/pro tot instap betreft lijkt het mij geen goed idee om de sensor apart te gaan verkopen. Technisch is dat perfect mogelijk, maar praktisch stel ik mij toch een paar vragen.
Stel dat je maar een module in te pluggen hebt, dan zal je wel problemen kunnen ondervinden met de afstand tot de lens. Een beetje speling zal voor front of backfocus zorgen. Ook zie ik mensen al spelen met die sensor en deze verprutsen door hun onhandige nieuwsgierigheid of iets dergelijks. Die dingen zijn gewoon niet consument proof.

Ook kan ik me inbeelden dat de verschillende technologien voor incompatibiliteit zouden zorgen. Je moet nog alle fabrikanten overtuigen om mee te gaan doen aan een standaard. Zelfs bij laptops hebben ze nog steeds niets die ze modulair maakt zoals een desktop.

Het zou inderdaad allemaal meer mogelijkheden scheppen, maar of het haalbaar is en of de consument er zit op te wachten... Als het zo was, dan was het al lang op de markt denk ik.
We blijven nog maar wat verder dromen zeker

[Donaldduck]

Oorspronkelijk geplaatst door JeroenL

Waarom niet? PC's zijn toch ook modulair? Camera's zijn tegenwoordig in feite kleine, herprogrammeerbare PC's. Gewoon een standaard bus maken voor de sensor, zoals expresscard ofzo. De image processing kan tegenwoordig volledig in herprogrammeerbare FPGA's worden gedaan. Dan installeer je gewoon de driver die bij de sensor hoort op de camera, zodat hij weet hoe hij met de sensordata om moet gaan. Ik vind het wel een goed idee.

Ik weet alleen niet of camera-producenten er erg blij mee zouden zijn. Die zien mensen liever complete nieuwe camera's kopen in plaats van alleen een sensor of een body. Aan de andere kant hoef je slechts een paar sensoren en een paar body's in je productielijn te hebben en kunnen mensen zelf de gewenste combinatie body/sensor kiezen. Dan creeer je een veel groter keuze-aanbod, wat een concurrentievoordeel biedt.

juist je snapt wat ik bedoel , het probleem is wat vroeger film was is nu dus de sensor en het is de camera fabrikant die ze maakt , bij film had je de keus en die is er nu niet meer of je moet van camera veranderen . vroeger moesten camerafabrikanten hun camera's ook maar bouwen rond een bestaand film formaat , kleinbeeld , middenformaat enz als dat nu ook zou zijn voor de sensor dan zou je veel meer mogelijkheden hebben en de vroegere filmfabrikanten die het nu moeilijk krijgen zouden zich op een eigen specifieke sensor kunnen richten , eigenlijk zijn ze even op de goede weg geweest met de digi achterwand van Leica met Kodak sensor

[Donaldduck]

Oorspronkelijk geplaatst door littlewan

Die dingen zijn gewoon niet consument proof.

das juist maar veel dingen zijn dat , een auto bv , elke dag rijden mensen zich in de kreukels en bij veel is dat gewoon door onkunde en de autofabrikanten laten zich niet tegenhouden om nieuwe sportwagens te bouwen met veel te veel pk's dan je ooit nodig hebt

[regulus]

Overtuig de fabrikanten dat ze hun specifieke eisen voor de aanmaak van sensoren laten vallen en volgens een ISO standaard gaan werken, en overtuig sensor fabrikanten dat ze dat accepteren ! idem ditto voor de ontwikkeling van hun eigen "processing engine" (=cpu) weeral volgens een op te stellen ISO norm anders zijn die dingen gewoon niet uitwisselbaar in te zetten ... resultaat ? .. eenheidsworst voor iedereen, als je "uitzonderingen" toestaat heb je meteen geen standaard meer. Weg diversiteit van cameras !
Buiten het feit dat zoals iemand anders opmerkte, dit een ongelofelijk geklieder wordt van technisch niet zo onderlegde gebruikers ... 't zal iets gecompliceerder zijn dan het vervangen van het wiel van uw auto
.. en BTW de computer analogie loopt goed mank ... niet alle cpu's gaan op elk mobo .. buiten het feit natuurlijk dat een grote reeks zaken daar al .. gestandardiseerd zijn

[JeroenL]

Oorspronkelijk geplaatst door littlewan

Ook denk ik niet dat de verwerkingen in de camera door een FPGA (die trouwens altijd programmeerbaar is) gedaan wordt. Dat dit in de ontwikkeling zo gebeurd kan ik verstaan, maar in productie wordt zeker en vast gebruikgemaakt van een ASIC. Deze processoren worden doorgaans in meerdere camera's gebruikt.

Hoe dat met fotocamera's zit weet ik niet, maar de allied vision camera's, zoals de stingray, werken volledig in FPGA. Met een nieuwe firmware update kun je in principe een complete nieuwe camera krijgen. De ontwikkelingen op FPGA gebied gaan ook flink hard door. Bijvoorbeeld het real-time aanpassen van (een subset) van circuits. Dan hoef je niet voor elke mogelijke functie een apart deel van de FPGA (of ASIC) te gebruiken (is nu nog niet mogelijk, maar een collega doet daar onderzoek naar).

Je zou cardridges met beeldsensoren consumer-proof kunnen maken op dezelfde manier als waarop diskettes automatisch afgesloten werden als je ze uit de drive haalde. Op zich hoeft het niet gelijk gestandaardiseerd te worden om nuttig te zijn. Als 1 fabrikant compatibiliteit biedt in een produktlijn dan is dat wellicht al genoeg. Net zoals objectieven vaak alleen uitwisselbaar zijn tussen verschillende camera's van dezelfde fabrikant.

Niet alleen nuttig om tussen kleur en scherp&snel zw/w te kunnen wisselen, maar ook bijvoorbeeld om een kleine/lichte vakantie-body erbij te hebben met live view, zonder de spiegelreflex, maar wel met dezelfde beeldkwaliteit (afgezien van de kleinere lens die je dan ook wilt natuurlijk).

[regulus]

Ik denk dat je een beetje op hol slaat door een professioneel "dedicated" product voor industrieele toepassingen als norm te nemen ..

Denk je dat het praktisch is om naast een zak lenzen ook nog een zak sensoren, memory cards en cpu's met periferals er aan mee te zeulen ? vooropgesteld dat de camera al geen 20 kilo weegt natuurlijk .. BTW ik heb vlug eens gekeken op die site die je vermeld ... qua sensoren zijn die cameras en dat in vergelijking met APS-C niet veel soeps he ... of vergis ik mij ? (site heel vlug doorlopen)
Ik wil niet betwisten dat dit er ooit nog komt maar ik denk dat de evolutie eerder zal zitten in een all-in-one verstielere sensor dan gepruts met het in/uit nemen van sensoren en al wat er moet aan hangen .. BTW al eens gedacht wat een stofprobleem dat gaat worden ? .. en niet enkel op de sensor

[JeroenL]

Oorspronkelijk geplaatst door regulus

Ik denk dat je een beetje op hol slaat door een professioneel "dedicated" product voor industrieele toepassingen als norm te nemen ..

Het is slechts een voorbeeld van een camera waarbij FPGA wordt gebruikt in het uiteindelijke product. Het is daardoor juist een een heel veelzijdige camera, dus helemaal niet 'dedicated', behalve dat je het alleen kunt kopen met KvK nummer en alleen in combinatie met een PC kunt gebruiken. Ik vind het moeilijk te geloven dat AVT de enige is die FPGA's toepast in een uiteindelijk product. Voorlopg doen ze het in elk geval nog prima, dus ik zie geen reden waarom niet ook toe te passen in toekomstige veelzijdige fotocameras.

Oorspronkelijk geplaatst door regulus

Denk je dat het praktisch is om naast een zak lenzen ook nog een zak sensoren, memory cards en cpu's met periferals er aan mee te zeulen ? vooropgesteld dat de camera al geen 20 kilo weegt natuurlijk ..

Als je toch een zak met objectieven en filters meesleept zal je die paar sensoren niet erg voelen volgens mij.

Oorspronkelijk geplaatst door regulus

BTW ik heb vlug eens gekeken op die site die je vermeld ... qua sensoren zijn die cameras en dat in vergelijking met APS-C niet veel soeps he ... of vergis ik mij ? (site heel vlug doorlopen)

Ligt eraan welk criterium je neemt. Als het je alleen gaat om aantal pixels dan is het niet erg bevredigend nee. Maar probeer maar eens 61 frames per seconde te halen met een APS-C. Hogere snelheden zijn zelfs mogelijk (tot 500 frames per seconde) door binning, sub-sampeling of croppen. Verder is de lichtgevoeligheid hoger en ruis minder door de grotere pixels.

Maar hoe dan ook, dit topic gaat niet over of AVT goede sensoren gebruikt (die kopen ze gewoon van sony, o.a.), maar over het verschil tussen wel en geen Bayer. Op het moment hebben vrijwel alle kleuren-camera's hetzelfde Bayerfilter, of iets dat er heel erg op lijkt.

Oorspronkelijk geplaatst door regulus

Ik wil niet betwisten dat dit er ooit nog komt maar ik denk dat de evolutie eerder zal zitten in een all-in-one verstielere sensor dan gepruts met het in/uit nemen van sensoren en al wat er moet aan hangen .. BTW al eens gedacht wat een stofprobleem dat gaat worden ? .. en niet enkel op de sensor

Altijd nog minder gepruts dan verwisselen van fotorolletjes. Vooral als ze nog niet vol zijn. En als je je sensor toch moet afstoffen omdat je steeds lenzen verwisselt, is het makkelijker om hem er gewoon even uit te kunnen halen

Ik ben ook geen profeet voor wat er wel en niet gaat komen op cameragebied. Maar een beetje brainstormen over wat mogelijk/wenselijk is kan geen kwaad, toch?
Ik zie de komende 20 jaar echter nog geen all-in-one sensor komen. Het blijft altijd een afweging tussen weinig ruis, scherpte, kleur, aantal frames per seconde, resolutie, afmeting, prijs, etc.
En als je dan ook nog een body erbij wilt met precies die features die je nodig hebt (en liefst niet meer), dan houdt de keuze al snel op als je alles in 1 camera wilt.