大多數現代光學顯微鏡技術需要使用數碼相機。通過使用數字設備，研究人員可以在屏幕上實時觀察標本，或者獲取和存儲圖像以及可量化的數據。從基本的明場成像到先進的超分辨率技術，各種各樣的應用都需要相機。
可用的數碼相機技術的性能和多樣性已大大提高，為研究人員提供了廣泛的探測器以滿足他們的科學需求。數字成像傳感器的選擇可能會對圖像特性產生重大影響，因此，對它們的工作原理和彼此區別有一個基本的了解是很重要的。在這里，我們介紹科學成像中常見的徠卡顯微鏡數碼相機數碼相機技術背后的基本原理。
徠卡顯微鏡數碼相機-基本原理
成像傳感器的任務是將光信號轉換為電信號。成像傳感器的這一原理基于所謂的光伏效應，該效應描述了光子如何與材料相互作用以釋放電子，從而導致電荷積聚。在大多數相機中，硅是用于此目的的基材。在所有情況下，都通過吸收光子將電子從其結合中移除。
硅的自然特性使其非常適合用作大多數成像傳感器基本單元的主要成分：像素。
徠卡顯微鏡數碼相機-像素點
與傳感器的類型無關，可以將像素視為基本單位。像素的主要元素依次是與硅耦合到電子存儲阱的光敏光電二極管（圖1）。硅負責產生電子，然后電子可以被收集，移動并最終轉換為數字信號。像素的其他組件包括電氣控制電路和顏料層，以排除不需要的波長或破壞性波長。
光電二極管
圖1：光電二極管。感光二極管的主要復合材料是光電硅。傳入的光子能量用于激發硅中的電子，這些電子又被收集在一個存儲阱（橙色）中，然后轉移到放大器中。完整的數字成像傳感器（右）通常由數百萬個嵌入單個像素的光電二極管組成。
在成像過程中，撞擊光電二極管的光子被轉換為電子。這些電子存儲在電子存儲井中，以便隨后傳輸（讀數）到放大器（圖2）。該放大器讀出累積的電子，并將它們轉換成電壓，而在相鄰的模擬-數字（AD）轉換器做數字化，并產生等效的數字信號。
基本成像原理
圖2：基本成像原理。入射光以光子的形式撞擊圖像傳感器，從而產生電子。它們逐個像素地傳輸到串行寄存器，然后通過放大器運行。所產生的電壓可以由模數轉換器（未示出）轉換為數字圖像信號。
像素中產生的電荷與撞擊傳感器的光子數量成正比，通常受曝光時間（積分時間），檢測到的波長以及重要的是光強度影響。根據經驗，像素大小定義了在不使像素飽和的情況下可以收集的電子數量。對于顯微鏡成像傳感器，像素大小通常在2-24μm2之間變化。
由于典型的像素體系結構，并非像素的整個表面都是光敏的。圖像傳感器的填充因子描述了像素的感光面積與其總面積的關系?？梢詫⑽⑼哥R添加到像素，以更好地將光聚焦到光敏區域上，從而提高填充率。
完整的數字成像傳感器由數百萬個按幾何陣列組織的像素組成。通常，像素數量與“分辨率”混合在一起。值得注意的是，不僅是像素數，而且像素的大小也決定了相機芯片的分辨率。通常，較小的像素將比較大的像素提供更高的分辨率。最后，顯微鏡系統的分辨率不僅取決于傳感器陣列，還取決于整個光學系統。
徠卡顯微鏡數碼相機-噪聲和信噪比
冷卻。熱能會產生暗噪聲，這意味著像素中的電子是隨機生成的。防止暗噪聲的措施是例如借助Peltier元件和散熱片來冷卻相機。
不幸的是，噪聲是影響所有信號的物理基礎。不同傳感器類型的影響和主要噪聲的類型有所不同。通常，可以根據其來源將相機噪聲分為三大類：
暗噪聲（也稱為暗電流）是傳感器中存在的基本噪聲。暗噪聲是由硅中的熱能隨機產生的像素中的電子引起的。隨著曝光時間的增加，暗噪聲會以像素為單位累積。它以每像素每秒的電子數（e-/px/sec）表示。對于具有短曝光時間的快速應用來說，它就不再那么重要了。當需要較長的曝光時間（例如一秒鐘或更長時間）以發出微弱的熒光信號時，這種噪聲類型可能會成為主要問題。通過冷卻傳感器來降低暗噪聲，每8度的冷卻將暗電流減半（圖3）。
讀取噪聲源自涉及量化信號的傳感器的電氣讀取電路。根據經驗，可以通過降低像素讀出率來降低讀取噪聲。該像素讀出速率定義了從傳感器讀出電荷的速度（單位：MHz）。由于這決定了相機的幀速率，因此對于像活細胞的高速延時這樣的快速實驗，必須考慮到噪聲。某些相機提供了更改讀取速率的可能性，從而可以針對暗光應用針對快速讀取模式或較慢的低噪聲模式進行優化。讀出噪聲的單位為e-并且與積分時間無關。讀取噪聲和暗噪聲可用于確定特定相機是否適合于弱光熒光應用。
作為另一個噪聲源的光子散粒噪聲是基于對入射光子計數的不確定性。換句話說，它是由光子撞擊傳感器的隨機性引起的，但不是由傳感器本身引入的。通過想象您正在嘗試捕捉桶中的雨滴來解釋。即使每個桶的大小和形狀都相同，也不是每個桶都會捕獲到完全相同數量的液滴，因此可以將芯片上光子的檢測結果顯示為泊松分布。
在信號強度低的熒光燈等弱光條件下，不同的噪聲源會影響信噪比，從而對圖像質量產生重大影響。因此，對于應用程序使用合適的相機對于捕獲優質圖像至關重要。
信噪比（SNR）是圖像，該圖像在很大程度上受該傳感器類型的影響的總體質量的度量。從廣義上講，可以將其指定為敏感性。盡管這可能相當復雜，但SNR表示將目標信號與背景噪聲區分開的程度（圖4）。這里有幾個因素需要探討，因為信號取決于到達傳感器的光子數量，以及將這些光子轉換為信號的傳感器能力以及相機對不良噪聲的控制能力。這就是為什么例如填充因子和微透鏡在這里以及傳感器的量子效率中起著重要作用的原因（請參見“量子效率”一節）。
信噪比（SNR）
圖4：信噪比（SNR）：上面的圖像顯示了同一對象，并且SNR不斷提高。左側幾乎無法區分真實信號和背景。中間圖像顯示出改善的SNR。右邊的圖像具有更佳的SNR，這也可以從上面的圖表中得到解釋，其中沿綠線測量像素強度。左側圖像中的峰很少分散背景噪聲，而右側的峰很容易區分。
最后重要的一點是，來自樣品的光學噪聲，自發熒光或染色不良通常是圖像中的主要噪聲源。使用高等傳感器無法幫助您克服制備不良的樣品。
徠卡顯微鏡數碼相機-全阱容量
全阱容量在很大程度上取決于像素的物理尺寸。它是指單個像素的電荷存儲容量。這是飽和之前可以收集的更大電子數。達到滿井能力可以與裝滿水的水桶進行比較（圖5）。
全孔處理能力。FWC可以比得上裝滿水的水。較大的水桶分別。像素可以容納更多的水。電子比小電子。
更大的像素具有更大的全阱容量比小像素（通常18000e-6.45微米像素VS300000e-對于24微米像素）。為了獲得更大的全井容量而犧牲了空間分辨率，這反過來又會影響動態范圍（請參見“動態范圍”一節）。
超過全阱容量的電子無法量化。在某些情況下，電荷可能泄漏到相鄰的像素中，從而導致被稱為“起霜”的現象（圖6）。一些傳感器包含防起霜的電子器件，這些電子器件試圖釋放多余的電荷以控制起霜的偽像。
徠卡顯微鏡數碼相機-盛開的人工制品盛開的人工制品
盛開的人工制品。在左圖中，水桶的容積足以容納所有進入的水滴。相應的顯微圖像顯示在其旁邊。如果流入的水超過了水桶的容量，水將溢出并注滿鄰近的容器。溢出的電子會導致在顯微鏡圖像上可見的光暈偽影。
徠卡顯微鏡數碼相機-動態范圍
動態范圍是與全井能力直接相關的特征。這描述了傳感器同時記錄低強度和高強度信號的能力。從實際意義上講，這意味著較弱的信號不會在噪聲中丟失，而亮的信號不會使傳感器飽和。用數學術語表示的動態范圍定義為全井容量（FWC）除以相機噪聲。
動態范圍公式
通常以分貝（dB）為單位進行描述：
動態范圍公式
如果全井能力更高且相機噪聲更低，則動態范圍會改善?？梢越频卣f，以下參數會影響動態范圍：
像素尺寸（全阱容量）
溫度（暗噪聲）
讀出率（讀出噪聲）
對于熒光應用，較大的動態范圍是記錄暗背景下的明亮熒光信號的主要好處（圖7），尤其是在量化信號時。
徠卡顯微鏡數碼相機-動態范圍
動態范圍。較大的動態范圍-傳感器同時記錄低強度和高強度信號的能力-有助于在深色背景上成像明亮的熒光信號。
動態范圍直接受到所施加增益的影響。術語“增益”在此用于表示所生成信號的放大。例如，如果您將傳感器的增益提高一倍，則可以將全阱容量有效地減半，這反過來會減小動態范圍。因此，經常需要在靈敏度和動態范圍之間進行權衡。
如果傳感器的固有動態范圍不足以用于應用（分別是樣本），則可以考慮采集“高動態范圍”（HDR）。在此過程中，將獲得一系列具有不同曝光強度的圖像。通過應用不同的算法來計算得到的圖像（圖8）。這種方法的缺點是獲取圖像所需的時間較長。因此，這對于快速移動或光敏樣品不是優選的。
徠卡顯微鏡數碼相機-HDR采集HDR采集HDR采集
HDR采集。該標本（T蟲規格）的熒光信號強（上部），熒光信號弱（下部）。相機的動態范圍不足以同時記錄黑暗區域和明亮區域。因此，只能優化曝光強度以對強（左）或弱（中）熒光信號成像。HDR圖片（右）由一系列具有不同曝光強度的圖像組成，這些圖像組合在一起形成一個圖像。
量子效率
在理想世界中，人們會假設100個光子能夠產生100個電子。與傳感器相互作用時，光子可能會被吸收，反射甚至直接穿過。傳感器吸收特定波長的光并將其轉換為電子的能力被稱為量子效率（QE）。
傳感器的量子效率受許多因素影響，包括：
填充系數
微透鏡的添加/性能
防反射涂層
傳感器格式（背照式或前照式）
量子效率始終是入射光波長的函數?？茖W成像中常用的硅探測器能夠探測到可見光范圍以外的波長（約400至1000nm）。通過查看QE曲線，您可以看到特定傳感器將特定波長轉換為信號的效率（圖9）。
徠卡顯微鏡數碼相機-量子效率（QE）
量子效率（QE）。光子到電子的轉換永遠不會100％，但會因多種因素而衰減。傳感器吸收光子并將其轉換為電子的能力稱為QE。QE始終取決于波長，可以描述為曲線。
大部分相機傳感器都是前照式，入射光從像素的前面進入，在碰到感光硅之前必須經過包含像素電路的半透明層（圖1）。這些層會造成一些光損失，因此前照式傳感器的更大QE通常約為50-60％。由于傳感器表面上的電子設備只能產生局部電場，因此它們無法操縱在硅晶片中形成的更深的電荷（圖10）。
在采用背照式傳感器的情況下，光直接從“背”射到感光硅上，而不必通過像素電路，從而使更大QE接近95％。為了制造背照式傳感器（也稱為背照式傳感器），需要將這種額外的硅研磨掉（這是一項昂貴的過程），以形成難以置信的薄硅層，在該層中，所有電荷都可以由像素的電子設備操縱。
徠卡顯微鏡數碼相機-正面和背面照明
正面和背面照明。光電二極管的照明可以發生在“正面”（左側）或“背面”（右側）。由于較少的光子猝滅層，在背面照明的情況下，電子產生的效率高于正面照明的二極管。
徠卡顯微鏡數碼相機-位深
比特深度可以與動態范圍相關，但不應與動態范圍混淆，它是指模擬信號如何數字化（或切碎）為灰度值或灰度級。數碼相機傳感器的動態范圍取決于其FWC和噪聲。位深度取決于AD轉換器將生成的電子數量轉換為灰度值的能力。它可以輸出的灰度越多，可以再現的細節就越多（圖11）。
一些相機提供的灰度值比光子可以產生的大電子數量更多（例如16位數字化將信號切成約65K灰度單位）。在極端情況下，傳感器可能會飽和到1000光子/像素以下，但圖像仍顯示65,000灰度值。此外，計算機屏幕通常只能顯示8位數據。這就是為什么必須按比例縮小顯示超過8位的攝像機信號的原因。用戶可以借助查找表（LUT）來影響此過程。玩游戲通?？梢越沂緢D像中隱藏的細節。
徠卡顯微鏡數碼相機-動態范圍與位深度的關系動態范圍與位深度的關系
動態范圍與位深度的關系，傳感器的動態范圍是指其同時記錄低強度和高強度信號的能力。這可以追溯到其像素的FWC及其噪聲屬性。高FWC有助于檢測許多光子撞擊像素的高強度信號。另一方面，低噪聲有利于檢測低強度信號。動態范圍主要是指像素的特性，而位深度是AD轉換器的屬性。位深度越大，就可以更好地解析圖像的整個動態范圍。使用2位AD轉換器，數字成像傳感器可以輸出4個灰度級，而使用4位AD轉換器16等。
成像速度和合并
數碼相機的成像速度以表示為每秒幀數（fps）的幀速率進行測量。這是相機在一秒鐘內可以獲取的圖像（幀）數。許多因素都會影響相機的更大可達到幀頻。在給定的曝光時間，需要考慮以下參數：
像素數
像素讀出率
電腦介面（USB2.0/USB3.0/CamLink等）
增加幀率的簡單方法是通過切換到較小的關注區域（ROI）來減少讀出的像素數量。隨著幀速率的增加，到達傳感器的光子數量將減少，因此，根據樣品類型的不同，需要額外的靈敏度?？梢杂脕硖岣咚俣群徒档驮肼暤囊环N技巧是“片上合并”。
在合并過程中，不是從各個像素分別讀取數據，而是將幾個相鄰像素的數據組合在串行寄存器的芯片上，并作為“超級像素”讀出。以這種方式，可以合并來自2x2、3x3或4x4以及更多像素的數據（圖12）。
徠卡顯微鏡數碼相機-合并
合并。對于弱光應用，數碼相機芯片能夠匯總一定數量的相鄰像素的信息（左）。在2x2合并處理的情況下，會將4個相鄰的正方形像素的信息視為一個大的“超級像素”等。使用這種方法，可以以空間分辨率為代價來提高速度和SNR。右側的序列說明了片上裝倉的過程。t1顯示將要組合的四個像素。在t2，下一行被傳輸到串行寄存器。在t3，下一行傳輸到串行寄存器，它們的電子被合并（由較淺的顏色指示）。在t4，來自串行寄存器的兩個像素被組合，從而進一步增加了像素的亮度。
合并以降低分辨率為代價提高了信噪比。假設每個像素包含100個電子，讀取的噪聲為10個電子，則逐一讀取信噪比為10/1。如果以2x2裝倉，則現在讀出的信號為400，而讀取的噪聲仍然為10，因此信噪比急劇增加到40/1。由于讀出電子設備必須處理更少的數據點（如果是2x2裝箱，則數據點要少4倍），因此幀速率也會增加。合并的主要缺點是分辨率下降，因為有效像素大小按bin值平方增加（圖13）。
合并。右側的圖像是通過合并記錄的。達到提高的SNR的代價是分辨率降低。
裝倉是快速熒光成像（例如快速延時）的標準配置。目的是減少噪聲，數據大小并減少曝光時間。后者特別值得一提，因為這減少了活細胞的漂白和光誘導損傷。
對于明場應用（例如染色病理組織的記錄），通常將合并應用于實時圖像，從而在移動顯微鏡載物臺時獲得平滑的屏幕上圖像。
徠卡顯微鏡數碼相機-傳感器類型
對于顯微鏡中的所有類型的成像傳感器，大多數上述特征和參數都是通用的。但是，基于歷史發展和技術進步，顯微鏡師可以分別在不同類型的傳感器和相機之間進行選擇。它們在原理架構（例如CCDvs.CMOS），增強信號的能力（例如EMCCDs。CCD）和圖像質量（例如CMOSvs.sCMOS）方面有所不同。
CCD傳感器-帶電耦合設備：基于這種傳感器類型的相機是明場和熒光成像的主要工具。典型地，在像素中產生的電荷從一個像素到另一像素在整個表面上移動到串行寄存器中（圖14）。電荷從串行寄存器中逐一傳遞到讀出的電子設備，在電子設備中，信號被轉換為電壓，然后進行放大，量化和數字化處理。因此，通常通過單個輸出節點讀取CCD傳感器中的所有數據。
EMCCD傳感器-電子倍增CCD：EMCCD傳感器基本上是CCD傳感器，在傳感器和讀出的電子器件之間增加了EM增益寄存器。該EM增益寄存器放大信號遇到讀出電子前。除此以外，EMCCD攝像機還采用了背面減薄的傳感器技術，通常可提供90％的峰值QE。這些類型的相機用于極端弱光應用，并且可能對單光子敏感。這些相機的價格通常明顯高于常規CCD相機。
CMOS-互補金屬氧化物半導體：原來在手機和低端相機，CMOS技術已經顯著在近年來有所改善，并已成為在顯微鏡標準明應用的重要成像設備。與CCD相比，主要區別在于像素內電子設備和省時的傳感器讀出原理，與傳統CCD傳感器中使用的單個讀出節點相比，具有數千個讀出節點。
sCMOS-科學CMOS：幾年前推出的這種類型的傳感器克服了CMOS傳感器的常見缺點，例如高噪聲水平。這種類型的傳感器用于高端熒光成像，這得益于快速幀頻，高動態范圍和低噪聲。
傳感器類型。CCD（左）：入射光以光子的形式撞擊圖像傳感器，從而產生電子。它們逐個像素地傳輸到串行寄存器，然后通過放大器運行。所產生的電壓可以由模數轉換器（未示出）轉換為數字圖像信號以例如顯示在計算機屏幕上。EMCCD（中）：根據常規的CCD傳感器，EMCD中的光感應電子被傳輸到串行寄存器。在到達放大器的途中，它們通過了一個附加寄存器，即電子倍增（EM）寄存器，電子數量增加1000倍。sCMOS（右）：在sCMOS傳感器中，每個像素都有自己的放大器。此外，每一列在每一側（未示出）具有附加的放大器和自己的模數轉換器。這種結構可以加快讀出速度，因為電子不必將單個下游像素傳遞給串行寄存器。
徠卡顯微鏡數碼相機-總結
沒有數碼相機技術，現代光學顯微鏡是不可想象的。大多數顯微鏡用戶要么想在監視器上實時觀看標本，要么想在計算機上保存和處理他們的發現。此外，如果沒有數碼相機傳感器的興起，某些顯微鏡技術，例如定位顯微鏡，甚至是不可能的。本文的讀者應該已經學習了如何產生數字顯微圖像。反過來，這將有助于正確使用數碼相機，以及如何以正確的方式解釋生成的數據。
