香農定理與奈奎斯特準則是信息通信論的最基本理論，為信息通信技術的發展奠定了基礎。

一、香農定理及公式

所謂信息速率，是指單位時間內傳輸的信息量，單位為bps。顯然，在信息源那里，如果已知每一消息所含的平均信息量H和每秒內產生消息的速率r，則信息源發出的信息速率R即由下式表示：

R = rH   bps         （公式1）

那么，信息源能否把它的信息以R的速度送到對方呢？這一問題由信息論中的基本定理--香農定理給出了解答。詳細敘述這個定理是較復雜的，這里僅介紹其結果。

香農定理指出，如果信息源的信息速率R小于或者等于一個所謂的信道容量C，那么，在理論上存在一種方法可使信息源的輸出能夠以任意小的差錯概率通過信道傳輸。同時該定理還指出：如果R＞C，則沒有任何辦法傳遞這樣的信息，或者說傳遞這樣的二進制信息的差錯率為1/2。

所謂信道容量C，是指信道極限的傳輸能力，它常用最大信息速率來表述。任何信道都不可避免地存在噪聲，而且其帶寬也總是受限制的。因此，信道的極限傳輸能力會受噪聲和帶寬的限制。可以嚴格地證明，在被白色高斯噪聲干擾的信道中，傳送的最大信息速率C由下表1中的公式2確定。式中，B是信道帶寬(Hz)，S是信號功率(W)，N是噪聲功率（W）。公式2通常稱為香農公式。

表1：香農定理介紹所用公式

為對香農公式有確切的理解，我們準備用工程觀點在數字信道上來闡明這個公式的正確性。在有擾信道中，傳輸每個符號需要一定幅值的脈沖。如果要傳送M個符號，可用M種不同幅度值的脈沖代表。為了提高傳送的脈沖的信息量，希望M增加。在傳輸的信號功率受限的情況下，脈沖幅度取值的數目越多，則各種脈沖取值之間的量化分層間隔越小。當脈沖取值間隔小到一定程度時，由于信道中噪聲的干擾，使接收端難以分辨出所發送的是哪一個幅度的脈沖，這將沒法獲取信息量。若信號功率為S(W)，信道中白色高斯噪聲的功率為N(W)，則它的均方根電壓值為N^1/2。為了使信號幅度分層數（或稱量化取值數）最多而又能使接收端可分辨，則各取值之間的最小間隔應大于等于N^1/2。所以接收端能夠無誤辨別的最大電平數目為公式3所示（列于表1中）。L個電平的每一波形能夠傳送的最大平均信息量公式4（列于表1中）。

另外，可以證明，帶寬為B(Hz)的系統每秒最多能傳送2B個脈沖（這就是下面要講的奈奎斯特準則）。因此，根據公式1指出的信息速率定義，帶寬為B(Hz）的信道能夠傳送的最大信息速率為公式5（列于表1中）。

由公式5可以看出，擴大信道的傳輸帶寬或提高信號傳輸的信噪比都可以增加容量。但應當注意，由于信號功率的受限和噪聲的存在，信噪比不能無限增加。而且信道中白色高斯噪聲的功率與信道帶寬成正比，即N = n₀B (n₀為信道中噪聲的功率譜密度）。在信道帶寬無限擴大時，信道容量趨于某一極限值。可見在有擾信道中，信道容量不可能無限大，C總是一個有限值。

香農信道容量公式（公式2）還告訴我們，在信道容量給定的情況下，信道帶寬和信噪比大小可以互換，即在信道容量保持不變的條件下，可以用較大的帶寬，較小的信噪比；也可以用較小的帶寬，較大的信噪比來傳輸信息。這一原理對通信系統的設計有著指導性意義。

實現了極限信息速率傳送的且能達到任意小差錯率的通信系統，還應該指出的是香農定理只證明了理想通信系統的“存在性”，但它卻沒有指出這種通信系統的實現方法。因此，理想系統通常只能作為其他系統的理論界限。另外，上述的討論均是在信道噪聲為高斯白噪聲的前提下進行的。對于其他類型的噪聲，則香農公式需要加以修正。

作為一個例題，下面我們將應用上述概念來計算傳輸電視圖像信號時所需的帶寬。電視圖像可以大致認為由300000個小像元組成。對于一般要求的對比度，每一像元大約取10個可辨別的亮度電平（例如對應黑色、深灰色、淺灰色、白色等）。現假設對于任何像元，10個亮度電平是等概率地出現的，每秒發送30幀圖像，還已知為了滿意地重現圖像，要求信噪比S/N為1000(30dB)。在這種條件下，我們來計算傳輸上述信號所需的帶寬。

首先計算每一像元所含的信息量，因為每一像元能以等概率取10個亮度電平，所以每個像元的信息量為log₂10= 3.32bit。每幀圖像的信息量為300000×3.32 = 996000bit。因為每秒有30幀，所以，每秒內傳送的信息量為996000×30 = 29.9×10⁶ bit。顯然，這就是需要傳送的信息速率。為了傳輸此信號，信道容量C必須至少等于29.9×10⁶ bps，即C=29.9×10⁶ bps。因為已知S/N=1000，因此，將C、S/N代人公式2可得所需信道的傳輸帶寬B如公式6（列于表1中）。所以，所求帶寬B約為3MHz。

二、奈奎斯特準則

香農定理是針對噪聲信道而言，它對模擬信道和數字信道都適用。對于無噪聲的數字信道而言，另有奈奎斯特（Nyquist）準則指明其信道容量。

奈奎斯特準則指出：頻帶寬度為B（Hz）的無噪聲數字信道，所能傳輸的信號的最高碼元速率為2B波特（Baud），則最大信息速率C由下式確定，式中，N為碼元所能取得的離散值的個數。

C = 2B log₂ N       bps                 （公式7）

另外，這里順便介紹一下信息速率與碼元速率的關系。在數字傳輸系統中有一個“碼元速率”的概念，碼元速率V指的是每秒信號狀態變化的次數，以波特（Baud）作為單位。由于某給定時刻信號可能取的離散值的個數（奈奎斯特公式中的N）對各個系統可以不一樣，碼元速率V和信息速率C在數值上是不一定相等的，但它們間有如下關系：

C = V log₂ N                            （公式8）

由于在許多場合下，通常信號只能取兩種不同的狀態（N=2），此時碼元速率V和信息速率C的數值就相等了。在這種情況下，Baud和bps（或b/s）這兩個單位就可以混用了。信息速率有時也稱為數據速率；碼元速率有時又稱為調制速率。

欲進一步了解摩爾定律的請進入。