コメント
テキスト版で読む
01シャノンの情報理論
シャノンの情報理論は、数学者クロード・シャノンが1948年に発表した論文「通信の数学的理論」に始まる、情報を定量的に扱う科学の基礎理論です。「情報量」「エントロピー」「符号化」といった概念を数式で定義し、デジタル通信・データ圧縮の理論的土台を築きました。このスライドでは、ビットと自己情報量・エントロピーの意味・データ圧縮の原理を解説します。
02情報量とビット
情報は「驚き」として測ることができます。1ビットは2択を区別する最小の情報単位です。自己情報量の式は I(x) = -log₂ p(x) で表され、確率が低いほど情報量が増えます。たとえば確率1/2の出来事は1ビット、確率1/8の出来事は3ビットの情報量を持ちます。起こりにくい出来事ほど、それが起きたときに多くの情報を受け取れるのです。
03エントロピーとは何か
エントロピーは平均的な不確かさを測る指標で、どれだけ先が読みにくいかを数値化します。計算式は H(X) = -Σ p(x) log₂ p(x) です。偏りが少ないほどエントロピーは大きく、不確かさが高いほど平均情報量も大きくなります。コインの例で見ると、公平なコイン（表50%・裏50%）は高エントロピーで予測しにくく、偏ったコイン（表90%・裏10%）は低エントロピーで予測しやすいです。エントロピーは一回の結果から得られる平均の情報量を表す指標です。
04冗長性と情報圧縮
情報源に規則性や偏りがあれば、データは圧縮できます。よく出る記号には短い符号を割り当て、冗長性が高いほど圧縮しやすくなります。代表的な手法であるハフマン符号は、出現確率に基づいて平均符号長を最小にする可変長符号を構成します。圧縮の意味は、保存容量を減らしてファイルサイズを小さくすること、通信量を減らして帯域を有効活用すること、データの規則性や偏りを活用してより短く表現することにあります。
05シャノンの通信モデル
情報理論は「何を言うか」より「どう伝わるか」を数理化します。シャノンの通信モデルは、情報源がメッセージを生み、送信機（符号化）がビット列へ変換し、通信路を経て受信機（復号）が元のメッセージに復元し、受信者に届くという流れです。このとき通信路にはノイズ（雑音）が介入します。重要な視点として、情報の意味は扱わず伝送効率を重視し、ノイズ下での性能を考える点が特徴です。このモデルはすべての通信システムで共通に使える枠組みとなり、現代ネットワークの基礎となっています。
06ノイズと誤り訂正
現実の通信では、ノイズによりビット反転や欠落が起こります。ノイズは信号を変化させるため、誤り検出と誤り訂正が必要です。代表的な手法としてパリティビットがあり、冗長性を追加することで誤りを見つけて正しいデータに戻します。誤り訂正が重要な理由は、通信の信頼性向上、保存データの保護、そして宇宙通信やインターネット通信などでノイズのない通信が不可欠なためです。
07通信路容量
シャノンは「どこまでなら正確に送れるか」という問いに数学的な答えを与えました。通信路容量 C は通信路の最大速度（単位：bit/秒など）を示します。送信レート R が容量 C を下回る（R < C）ときは信頼性の高い通信が可能で、R が C を超えると信頼性が下がります。シャノンの定理は「任意に小さい誤り率で通信できる符号化方法が必ず存在する」ことを示しており、通信路の理論上限の明確化・高速化と信頼性の両立・5Gや衛星通信の設計に不可欠な知識となっています。
08情報理論とAI
情報理論は学習・予測・圧縮をつなぐ考え方でもあります。AIの言語モデルはボトクラス確率を学び、クロスエントロピーは予測の誤りを測る損失関数として使われます。エントロピーの観点からは、圧縮と予測能力は深く結びついており、良い予測ができるモデルほどデータを効率よく符号化できます。AIは確率を扱い、損失関数に情報理論が応用されることで、自然言語処理・画像生成・音声認識など現代AIのデジタル知能の基礎概念となっています。
09デジタル社会への応用
私たちが使う通信・保存・配信の多くは、情報理論の上に成り立っています。スマートフォン通信とインターネット、画像・音声・動画の圧縮（JPEG・MP3など）、QRコード・センサー通信、クラウド保存などがその応用例です。Wi-Fiやモバイル通信、動画配信、データ保存、AIサービス、IoTすべてに情報理論が活かされています。社会的インパクトとして、高速で安定した通信の実現、大容量データの扱い、そして生活のデジタル化に直接つながっています。
10まとめ
シャノンの情報理論は、情報を量り、圧縮し、ノイズの中で届けるための普遍的な法則を示しました。ビットは情報の基本単位、エントロピーは不確かさの大きさ、冗長性の利用が圧縮を可能にし、通信路容量が伝達の限界を定めます。AIやインターネット社会の基礎にも情報理論は息づいており、「意味」を超えて伝達の普遍的な法則を与えた理論です。通信の本質を理解することは、デジタル技術の共通言語を持つことであり、未来のAI時代においても変わらぬ基盤となっています。今回はシャノンの情報理論についてお伝えしました。