From b883c3f353134d8b8d5ef63ca062d4a3e9c032be Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Sun, 27 Jul 2025 01:54:57 +0900 Subject: [PATCH 01/52] fix yml --- Gemfile.lock | 183 +++++++++++++++++++++++++++++++++++++++++++++++++++ _config.yml | 50 +++++++------- 2 files changed, 208 insertions(+), 25 deletions(-) create mode 100644 Gemfile.lock diff --git a/Gemfile.lock b/Gemfile.lock new file mode 100644 index 0000000000..202306eae6 --- /dev/null +++ b/Gemfile.lock @@ -0,0 +1,183 @@ +GEM + remote: https://rubygems.org/ + specs: + activesupport (8.0.2) + base64 + benchmark (>= 0.3) + bigdecimal + concurrent-ruby (~> 1.0, >= 1.3.1) + connection_pool (>= 2.2.5) + drb + i18n (>= 1.6, < 2) + logger (>= 1.4.2) + minitest (>= 5.1) + securerandom (>= 0.3) + tzinfo (~> 2.0, >= 2.0.5) + uri (>= 0.13.1) + addressable (2.8.7) + public_suffix (>= 2.0.2, < 7.0) + base64 (0.3.0) + benchmark (0.4.1) + bigdecimal (3.2.2) + colorator (1.1.0) + concurrent-ruby (1.3.5) + connection_pool (2.5.3) + csv (3.3.5) + drb (2.2.3) + em-websocket (0.5.3) + eventmachine (>= 0.12.9) + http_parser.rb (~> 0) + eventmachine (1.2.7) + ffi (1.17.2-aarch64-linux-gnu) + ffi (1.17.2-aarch64-linux-musl) + ffi (1.17.2-arm-linux-gnu) + ffi (1.17.2-arm-linux-musl) + ffi (1.17.2-arm64-darwin) + ffi (1.17.2-x86_64-darwin) + ffi (1.17.2-x86_64-linux-gnu) + ffi (1.17.2-x86_64-linux-musl) + forwardable-extended (2.6.0) + gemoji (4.1.0) + google-protobuf (4.31.1) + bigdecimal + rake (>= 13) + google-protobuf (4.31.1-aarch64-linux-gnu) + bigdecimal + rake (>= 13) + google-protobuf (4.31.1-aarch64-linux-musl) + bigdecimal + rake (>= 13) + google-protobuf (4.31.1-arm64-darwin) + bigdecimal + rake (>= 13) + google-protobuf (4.31.1-x86_64-darwin) + bigdecimal + rake (>= 13) + google-protobuf (4.31.1-x86_64-linux-gnu) + bigdecimal + rake (>= 13) + google-protobuf (4.31.1-x86_64-linux-musl) + bigdecimal + rake (>= 13) + html-pipeline (2.14.3) + activesupport (>= 2) + nokogiri (>= 1.4) + http_parser.rb (0.8.0) + i18n (1.14.7) + concurrent-ruby (~> 1.0) + jekyll (4.4.1) + addressable (~> 2.4) + base64 (~> 0.2) + colorator (~> 1.0) + csv (~> 3.0) + em-websocket (~> 0.5) + i18n (~> 1.0) + jekyll-sass-converter (>= 2.0, < 4.0) + jekyll-watch (~> 2.0) + json (~> 2.6) + kramdown (~> 2.3, >= 2.3.1) + kramdown-parser-gfm (~> 1.0) + liquid (~> 4.0) + mercenary (~> 0.3, >= 0.3.6) + pathutil (~> 0.9) + rouge (>= 3.0, < 5.0) + safe_yaml (~> 1.0) + terminal-table (>= 1.8, < 4.0) + webrick (~> 1.7) + jekyll-feed (0.17.0) + jekyll (>= 3.7, < 5.0) + jekyll-readme-index (0.3.0) + jekyll (>= 3.0, < 5.0) + jekyll-sass-converter (3.1.0) + sass-embedded (~> 1.75) + jekyll-watch (2.2.1) + listen (~> 3.0) + jemoji (0.13.0) + gemoji (>= 3, < 5) + html-pipeline (~> 2.2) + jekyll (>= 3.0, < 5.0) + json (2.13.1) + kramdown (2.5.1) + rexml (>= 3.3.9) + kramdown-parser-gfm (1.1.0) + kramdown (~> 2.0) + liquid (4.0.4) + listen (3.9.0) + rb-fsevent (~> 0.10, >= 0.10.3) + rb-inotify (~> 0.9, >= 0.9.10) + logger (1.7.0) + mercenary (0.4.0) + minitest (5.25.5) + nokogiri (1.18.9-aarch64-linux-gnu) + racc (~> 1.4) + nokogiri (1.18.9-aarch64-linux-musl) + racc (~> 1.4) + nokogiri (1.18.9-arm-linux-gnu) + racc (~> 1.4) + nokogiri (1.18.9-arm-linux-musl) + racc (~> 1.4) + nokogiri (1.18.9-arm64-darwin) + racc (~> 1.4) + nokogiri (1.18.9-x86_64-darwin) + racc (~> 1.4) + nokogiri (1.18.9-x86_64-linux-gnu) + racc (~> 1.4) + nokogiri (1.18.9-x86_64-linux-musl) + racc (~> 1.4) + pathutil (0.16.2) + forwardable-extended (~> 2.6) + public_suffix (6.0.2) + racc (1.8.1) + rake (13.3.0) + rb-fsevent (0.11.2) + rb-inotify (0.11.1) + ffi (~> 1.0) + rexml (3.4.1) + rouge (4.6.0) + safe_yaml (1.0.5) + sass-embedded (1.89.2-aarch64-linux-gnu) + google-protobuf (~> 4.31) + sass-embedded (1.89.2-aarch64-linux-musl) + google-protobuf (~> 4.31) + sass-embedded (1.89.2-arm-linux-gnueabihf) + google-protobuf (~> 4.31) + sass-embedded (1.89.2-arm-linux-musleabihf) + google-protobuf (~> 4.31) + sass-embedded (1.89.2-arm64-darwin) + google-protobuf (~> 4.31) + sass-embedded (1.89.2-x86_64-darwin) + google-protobuf (~> 4.31) + sass-embedded (1.89.2-x86_64-linux-gnu) + google-protobuf (~> 4.31) + sass-embedded (1.89.2-x86_64-linux-musl) + google-protobuf (~> 4.31) + securerandom (0.4.1) + terminal-table (3.0.2) + unicode-display_width (>= 1.1.1, < 3) + tzinfo (2.0.6) + concurrent-ruby (~> 1.0) + unicode-display_width (2.6.0) + uri (1.0.3) + webrick (1.9.1) + +PLATFORMS + aarch64-linux-gnu + aarch64-linux-musl + arm-linux-gnu + arm-linux-gnueabihf + arm-linux-musl + arm-linux-musleabihf + arm64-darwin + x86_64-darwin + x86_64-linux-gnu + x86_64-linux-musl + +DEPENDENCIES + jekyll + jekyll-feed + jekyll-readme-index + jemoji + webrick + +BUNDLED WITH + 2.6.2 diff --git a/_config.yml b/_config.yml index f4c1c9c7a2..a0afb0e02b 100644 --- a/_config.yml +++ b/_config.yml @@ -1,47 +1,47 @@ # Configurations -title: Jekyll Gitbook -longtitle: Jekyll Gitbook -author: HE Tao -email: sighingnow@gmail.com +title: Deeplearning_basic_math +longtitle: Deeplearning_basic_math +author: Jeongin Kim +email: jungin7612@gmail.com description: > Build Jekyll site with the GitBook style. -version: 1.0 -gitbook_version: 3.2.3 +version: 1.0 +gitbook_version: 3.2.3 -url: 'https://sighingnow.github.io' -baseurl: '/jekyll-gitbook' -rss: RSS +url: "https://jungin7612.github.io" +baseurl: "/Deeplearning_basic_math" +rss: RSS # bootstrap: use the remote theme for the site itself remote_theme: sighingnow/jekyll-gitbook toc: enabled: true - h_min: 1 - h_max: 3 + h_min: 1 + h_max: 3 # customize the link favicon in header, will be {{site.baseurl}}/{{site.favicon_path}} -favicon_path: /assets/gitbook/images/favicon.ico +favicon_path: /assets/gitbook/images/favicon.ico # markdown render engine. -markdown: kramdown +markdown: kramdown kramdown: - auto_ids: true - input: GFM - math_engine: mathjax - smart_quotes: lsquo,rsquo,ldquo,rdquo - toc_levels: 1..6 - syntax_highlighter: rouge + auto_ids: true + input: GFM + math_engine: mathjax + smart_quotes: lsquo,rsquo,ldquo,rdquo + toc_levels: 1..6 + syntax_highlighter: rouge syntax_highlighter_opts: - guess_lang: true + guess_lang: true syntax_highlighter_style: colorful -markdown_ext: markdown,mkdown,mkdn,mkd,md +markdown_ext: markdown,mkdown,mkdn,mkd,md # Permalinks -permalink: /:categories/:year-:month-:day-:title:output_ext +permalink: /:categories/:year-:month-:day-:title:output_ext # Disqus comments # disqushandler: sighingnow @@ -64,9 +64,9 @@ ordered_collections: page_width: 800px -destination: ./_site -incremental: false -regenerate: true +destination: ./_site +incremental: false +regenerate: true plugins: - jekyll-feed From da4383d83c0839554e1675bcf3c73ab596a26ffe Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EA=B9=80=EC=A0=95=EC=9D=B8?= <62785051+jungin7612@users.noreply.github.com> Date: Sun, 27 Jul 2025 02:02:29 +0900 Subject: [PATCH 02/52] Create jekyll.yml --- .github/workflows/jekyll.yml | 65 ++++++++++++++++++++++++++++++++++++ 1 file changed, 65 insertions(+) create mode 100644 .github/workflows/jekyll.yml diff --git a/.github/workflows/jekyll.yml b/.github/workflows/jekyll.yml new file mode 100644 index 0000000000..501686bcc9 --- /dev/null +++ b/.github/workflows/jekyll.yml @@ -0,0 +1,65 @@ +# This workflow uses actions that are not certified by GitHub. +# They are provided by a third-party and are governed by +# separate terms of service, privacy policy, and support +# documentation. + +# Sample workflow for building and deploying a Jekyll site to GitHub Pages +name: Deploy Jekyll site to Pages + +on: + # Runs on pushes targeting the default branch + push: + branches: ["master"] + + # Allows you to run this workflow manually from the Actions tab + workflow_dispatch: + +# Sets permissions of the GITHUB_TOKEN to allow deployment to GitHub Pages +permissions: + contents: read + pages: write + id-token: write + +# Allow only one concurrent deployment, skipping runs queued between the run in-progress and latest queued. +# However, do NOT cancel in-progress runs as we want to allow these production deployments to complete. +concurrency: + group: "pages" + cancel-in-progress: false + +jobs: + # Build job + build: + runs-on: ubuntu-latest + steps: + - name: Checkout + uses: actions/checkout@v4 + - name: Setup Ruby + # https://github.com/ruby/setup-ruby/releases/tag/v1.207.0 + uses: ruby/setup-ruby@4a9ddd6f338a97768b8006bf671dfbad383215f4 + with: + ruby-version: '3.1' # Not needed with a .ruby-version file + bundler-cache: true # runs 'bundle install' and caches installed gems automatically + cache-version: 0 # Increment this number if you need to re-download cached gems + - name: Setup Pages + id: pages + uses: actions/configure-pages@v5 + - name: Build with Jekyll + # Outputs to the './_site' directory by default + run: bundle exec jekyll build --baseurl "${{ steps.pages.outputs.base_path }}" + env: + JEKYLL_ENV: production + - name: Upload artifact + # Automatically uploads an artifact from the './_site' directory by default + uses: actions/upload-pages-artifact@v3 + + # Deployment job + deploy: + environment: + name: github-pages + url: ${{ steps.deployment.outputs.page_url }} + runs-on: ubuntu-latest + needs: build + steps: + - name: Deploy to GitHub Pages + id: deployment + uses: actions/deploy-pages@v4 From ce08a5a987391d97e9d74cdb7f8eec5d855c472f Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Sun, 27 Jul 2025 02:05:36 +0900 Subject: [PATCH 03/52] fix yml --- .github/workflows/jekyll.yml | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/.github/workflows/jekyll.yml b/.github/workflows/jekyll.yml index 501686bcc9..f0b865c682 100644 --- a/.github/workflows/jekyll.yml +++ b/.github/workflows/jekyll.yml @@ -37,7 +37,7 @@ jobs: # https://github.com/ruby/setup-ruby/releases/tag/v1.207.0 uses: ruby/setup-ruby@4a9ddd6f338a97768b8006bf671dfbad383215f4 with: - ruby-version: '3.1' # Not needed with a .ruby-version file + ruby-version: "3.2.2" # Not needed with a .ruby-version file bundler-cache: true # runs 'bundle install' and caches installed gems automatically cache-version: 0 # Increment this number if you need to re-download cached gems - name: Setup Pages From 1e06c86a22f9b24bdb600774c47505d1eb03af65 Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Sun, 27 Jul 2025 03:04:30 +0900 Subject: [PATCH 04/52] Update README and restructure posts for deep learning math course. Changed title and content to reflect new focus, added sections on topics covered, and reorganized post titles and categories for clarity. Removed outdated posts related to previous themes. --- README.md | 241 ++------------------- _posts/2019-04-27-why.md | 4 +- _posts/2019-04-28-howto.md | 10 +- _posts/2019-04-29-license.md | 68 +++++- _posts/2021-08-10-toc.md | 118 +++++----- _posts/2022-05-24-page_cover.md | 2 +- _posts/2022-06-26-wide_tables.md | 36 --- _posts/2022-06-30-tips_warnings_dangers.md | 67 ------ _posts/2023-08-31-mermaid.md | 73 ------- _posts/2023-10-14-math-latex.md | 47 ---- _posts/2023-12-12-footnotes.md | 125 ----------- 11 files changed, 144 insertions(+), 647 deletions(-) delete mode 100644 _posts/2022-06-26-wide_tables.md delete mode 100644 _posts/2022-06-30-tips_warnings_dangers.md delete mode 100644 _posts/2023-08-31-mermaid.md delete mode 100644 _posts/2023-10-14-math-latex.md delete mode 100644 _posts/2023-12-12-footnotes.md diff --git a/README.md b/README.md index fbe2938a01..273443dddd 100644 --- a/README.md +++ b/README.md @@ -1,235 +1,36 @@ --- layout: home -title: Jekyll Gitbook Theme +title: Deeplearning basic math permalink: / --- -Make Jelly site have a GitBook look! +# 연세대학교 학생들을 위한 딥러닝 기초 수학 -## Demo +## 저자 서문 -Live demo on Github Pages: [https://sighingnow.github.io/jekyll-gitbook](https://sighingnow.github.io/jekyll-gitbook) +딥러닝 기초 수학 과목을 선행하면서 내용을 정리하려고 만들었습니다. 연세대 학생 모두에게 큰 도움이 되길 바라며 저작권 문제가 있을 시 글 배포를 중지하겠습니다. -[![Jekyll Themes](https://img.shields.io/badge/featured%20on-JekyllThemes-red.svg)](https://jekyll-themes.com/jekyll-gitbook/) +이 문서의 전반적인 내용은 노알버트 교수님의 딥러닝 기초 수학 [CAS3230]을 바탕으로 하고 있습니다. -## Why Jekyll with GitBook +## 다루는 내용들 -GitBook is an amazing frontend style to present and organize contents (such as book chapters -and blogs) on Web. The typical to deploy GitBook at [Github Pages][1] -is building HTML files locally and then push to Github repository, usually to the `gh-pages` -branch. It's quite annoying to repeat such workload and make it hard for people do version -control via git for when there are generated HTML files to be staged in and out. +| idx | Title | Book | Lecture | Slide | +| :-: | :----------------: | :-----------------------------------------------------------------------: | :-------------------------------------------------------------------------------------------------------------------------: | :-----------------------------------------------------------------------------------: | +| 0 | Introduction | [Page](https://convex-optimization-for-all.github.io/contents/chapter01/) | [CMU Lecture](https://www.youtube.com/watch?v=XFKBNJ14UmY&ab_channel=RyanT) | [CMU Note](http://www.stat.cmu.edu/~ryantibs/convexopt-F16/lectures/intro.pdf) | +| 1 | Probability Review | [Page](https://convex-optimization-for-all.github.io/contents/chapter02/) | [Stanford Lecture](https://www.youtube.com/watch?v=P3W_wFZ2kUo&list=PL3940DD956CDF0622&index=3&ab_channel=Stanford) | [Stanford Note](https://web.stanford.edu/class/ee364a/lectures/sets.pdf) | +| 2 | Information Theory | [Page](https://convex-optimization-for-all.github.io/contents/chapter03/) | [Stanford Lecture](https://www.youtube.com/watch?v=kcOodzDGV4c&list=PL3940DD956CDF0622&index=4&ab_channel=Stanford) | [Stanford Note](https://see.stanford.edu/materials/lsocoee364a/03ConvexFunctions.pdf) | +| 3 | Estimattion | [Page](https://convex-optimization-for-all.github.io/contents/chapter04/) | [CMU Lecture](https://www.youtube.com/watch?v=Gij3dlqLUN8&list=PLjbUi5mgii6AVdvImLB9-Hako68p9MpIC&index=5&ab_channel=RyanT) | [CMU Note](http://www.stat.cmu.edu/~ryantibs/convexopt-F16/lectures/convex-opt.pdf) | +| 4 | Optimization | [Page](https://convex-optimization-for-all.github.io/contents/chapter04/) | [CMU Lecture](https://www.youtube.com/watch?v=Gij3dlqLUN8&list=PLjbUi5mgii6AVdvImLB9-Hako68p9MpIC&index=5&ab_channel=RyanT) | [CMU Note](http://www.stat.cmu.edu/~ryantibs/convexopt-F16/lectures/convex-opt.pdf) | -This theme takes style definition out of generated GitBook site and provided the template -for Jekyll to rendering markdown documents to HTML, thus the whole site can be deployed -to [Github Pages][1] without generating and uploading HTML bundle every time when there are -changes to the original repo. +## 참고한 자료들 -## How to Get Started +- [Convex Optimization - Boyd and Vandenberghe](https://web.stanford.edu/~boyd/cvxbook/) +- [Stanford Convex Optimization Lecture 2014](https://www.youtube.com/playlist?list=PL3940DD956CDF0622) +- [CMU Convex Optimization Lecture 2016](http://www.stat.cmu.edu/~ryantibs/convexopt-F16/) +- [CMU Convex Optimization Lecture 2019](http://www.stat.cmu.edu/~ryantibs/convexopt/) -This theme can be used just as other [Jekyll themes][1] and support [remote theme][12], -see [the official guide][13] as well. +## 테마 -You can introduce this jekyll theme into your own site by either +- [gitbook](https://github.com/sighingnow/jekyll-gitbook) by [sighingnow](https://github.com/mdo) -- [Fork][3] this repository and add your markdown posts to the `_posts` folder. -- Use as a remote theme in your [`_config.yml`][14](just like what we do for this - site itself), - -```yaml -remote_theme: sighingnow/jekyll-gitbook -``` - -### Deploy Locally with Jekyll Serve - -This theme can be ran locally using Ruby and Gemfiles. - -[Testing your GitHub Pages site locally with Jekyll](https://docs.github.com/en/pages/setting-up-a-github-pages-site-with-jekyll/testing-your-github-pages-site-locally-with-jekyll) - GitHub - -## Full-text search - -The search functionality in jekyll-gitbook theme is powered by the [gitbook-plugin-search-pro][5] plugin and is enabled by default. - -[https://sighingnow.github.io/jekyll-gitbook/?q=generated](https://sighingnow.github.io/jekyll-gitbook/?q=generated) - -## Code highlight - -The code highlight style is configurable the following entry in `_config.yaml`: - -```yaml -syntax_highlighter_style: colorful -``` - -The default code highlight style is `colorful`, the full supported styles can be found from [the rouge repository][6]. Customized -style can be added to [./assets/gitbook/rouge/](./assets/gitbook/rouge/). - -## How to generate TOC - -The jekyll-gitbook theme leverages [jekyll-toc][4] to generate the *Contents* for the page. -The TOC feature is not enabled by default. To use the TOC feature, modify the TOC -configuration in `_config.yml`: - -```yaml -toc: - enabled: true - h_min: 1 - h_max: 3 -``` - -## Google Analytics, etc. - -The jekyll-gitboook theme supports embedding the [Google Analytics][7], [CNZZ][8] and [Application Insights][9] website analytical tools with the following -minimal configuration in `_config.yaml`: - -```yaml -tracker: - google_analytics: "" -``` - -Similarly, CNZZ can be added with the following configuration in `_config.yaml` - -```yaml -tracker: - cnzz: "" -``` - -Application Insights can be added with the following configuration in `_config.yaml` - -```yaml -tracker: - application_insights: "" -``` - -## Disqus comments - -[Disqus](https://disqus.com/) comments can be enabled by adding the following configuration in `_config.yaml`: - -```yaml -disqushandler: "" -``` - -## Jekyll collections - -Jekyll's [collections][15] is supported to organize the pages in a more fine-grained manner, e.g., - -```yaml -collections: - pages: - output: true - sort_by: date - permalink: /:collection/:year-:month-:day-:title:output_ext - others: - output: true - sort_by: date - permalink: /:collection/:year-:month-:day-:title:output_ext -``` - -An optional `ordered_collections` key can be added to `_config.yaml` to control the order of collections in the sidebar: - -```yaml -ordered_collections: - - posts - - pages - - others -``` - -If not specified, the order of collections would be decided by Jekyll. Note that the key `posts` is a special collection -that indicates the `_posts` pages of Jekyll. - -## Extra StyleSheet or Javascript elements - -You can add extra CSS or JavaScript references using configuration collections: - -- extra_css: for additional style sheets. If the url does not start by http, the path must be relative to the root of the site, without a starting `/`. -- extra_header_js: for additional scripts to be included in the `` tag, after the `extra_css` has been added. If the url does not start by http, the path must be relative to the root of the site, without a starting `/`. -- extra_footer_js: for additional scripts to be included at the end of the HTML document, just before the site tracking script. If the url does not start by http, the path must be relative to the root of the site, without a starting `/`. - -## Customizing font settings - -The fonts can be customized by modifying the `.book.font-family-0` and `.book.font-family-1` entry in [`./assets/gitbook/custom.css`][10], - -```css -.book.font-family-0 { - font-family: Georgia, serif; -} -.book.font-family-1 { - font-family: "Helvetica Neue", Helvetica, Arial, sans-serif; -} -``` - -## Tips, Warnings and Dangers blocks - -The jekyll-gitbook theme supports customized kramdown attributes (`{: .block-tip }`, `{: .block-warning }`, -`{: .block-danger }`) like that displayed in [the discord.js website][11]. The marker can be used like - -```markdown -> ##### TIP -> -> This guide is last tested with @napi-rs/canvas^0.1.20, so make sure you have -> this or a similar version after installation. -{: .block-tip } -``` - -Rendered page can be previewed from - -[https://sighingnow.github.io/jekyll-gitbook/jekyll/2022-06-30-tips_warnings_dangers.html](https://sighingnow.github.io/jekyll-gitbook/jekyll/2022-06-30-tips_warnings_dangers.html) - -## Cover image inside pages - -The jekyll-gitbook theme supports adding a cover image to a specific page by adding -a `cover` field to the page metadata: - -```diff - --- - title: Page with cover image - author: Tao He - date: 2022-05-24 - category: Jekyll - layout: post -+ cover: /assets/jekyll-gitbook/dinosaur.gif - --- -``` - -The effect can be previewed from - -[https://sighingnow.github.io/jekyll-gitbook/jekyll/2022-05-24-page_cover.html](https://sighingnow.github.io/jekyll-gitbook/jekyll/2022-05-24-page_cover.html) - -## Diagrams with mermaid.js - -This jekyll-theme supports [mermaid.js](https://mermaid.js.org/) to render diagrams -in markdown. - -To enable the mermaid support, you need to set `mermaid: true` in the front matter -of your post. - -```markdown ---- -mermaid: true ---- -``` - -The example can be previewed from - -[https://sighingnow.github.io/jekyll-gitbook/jekyll/2023-08-31-mermaid.html](https://sighingnow.github.io/jekyll-gitbook/jekyll/2023-08-31-mermaid.html) - -## License - -This work is open sourced under the Apache License, Version 2.0. - -Copyright 2019 Tao He. - -[1]: https://pages.github.com -[2]: https://pages.github.com/themes -[3]: https://github.com/sighingnow/jekyll-gitbook/fork -[4]: https://github.com/allejo/jekyll-toc -[5]: https://github.com/gitbook-plugins/gitbook-plugin-search-pro -[6]: https://github.com/rouge-ruby/rouge/tree/master/lib/rouge/themes -[7]: https://analytics.google.com/analytics/web/ -[8]: https://www.cnzz.com/ -[9]: https://docs.microsoft.com/en-us/azure/azure-monitor/app/app-insights-overview -[10]: https://github.com/sighingnow/jekyll-gitbook/blob/master/gitbook/custom.css -[11]: https://discordjs.guide/popular-topics/canvas.html#setting-up-napi-rs-canvas -[12]: https://rubygems.org/gems/jekyll-remote-theme -[13]: https://docs.github.com/en/pages/setting-up-a-github-pages-site-with-jekyll/adding-a-theme-to-your-github-pages-site-using-jekyll -[14]: https://github.com/sighingnow/jekyll-gitbook/blob/master/_config.yml -[15]: https://jekyllrb.com/docs/collections/ +This project follows the [all-contributors](https://github.com/all-contributors/all-contributors) specification. Contributions of any kind welcome! diff --git a/_posts/2019-04-27-why.md b/_posts/2019-04-27-why.md index 81af6b7b61..56571459d0 100644 --- a/_posts/2019-04-27-why.md +++ b/_posts/2019-04-27-why.md @@ -1,5 +1,5 @@ --- -title: Why Jekyll with GitBook +title: 00. Introduction author: Tao He date: 2019-04-27 category: Jekyll @@ -17,4 +17,4 @@ for Jekyll to rendering markdown documents to HTML, thus the whole site can be d to [Github Pages][1] without generating and uploading HTML bundle every time when there are changes to the original repository. -[1]: https://pages.github.com \ No newline at end of file +[1]: https://pages.github.com diff --git a/_posts/2019-04-28-howto.md b/_posts/2019-04-28-howto.md index d1e9750fb1..3ceed511c8 100644 --- a/_posts/2019-04-28-howto.md +++ b/_posts/2019-04-28-howto.md @@ -1,5 +1,5 @@ --- -title: How to Get Started +title: 01. Probability Review author: Tao He date: 2019-04-28 category: Jekyll @@ -19,16 +19,16 @@ You can introduce this jekyll theme into your own site by either ```yaml # Configurations -title: Jekyll Gitbook -longtitle: Jekyll Gitbook +title: Jekyll Gitbook +longtitle: Jekyll Gitbook -remote_theme: sighingnow/jekyll-gitbook +remote_theme: sighingnow/jekyll-gitbook ``` > ##### TIP > > No need to push generated HTML bundle. -{: .block-tip } +> {: .block-tip } [1]: https://pages.github.com [2]: https://github.com/sighingnow/jekyll-gitbook/fork diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index 793e52a6ee..e7a49349f1 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -1,12 +1,72 @@ --- -title: License +title: 02. Information Theory author: Tao He date: 2019-04-29 category: Jekyll layout: post --- -This work is open sourced under the Apache License, Version 2.0, using the -same license as the original [GitBook](https://github.com/GitbookIO/gitbook) repository. +## 2.1 Entropy -Copyright 2019 Tao He. +long contents ..... + +1. a +2. b +3. c +4. d + +## 2.2 Properties of Entropy + +long contents ..... + +- 1 +- 2 +- 3 +- 4 + +## 2.3 Cross Entropy Loss + +long contents ..... + +1. e +2. f +3. g +4. h + +## 2.4 Jointly Distributed Random Variables + +### 2.4.1 Joint Entropy + +### 2.4.2 Conditional Entropy + +### 2.4.3 Mutual Information + +### 2.4.4 Properties of Mutual Information + +### 2.4.5 Conditional Mutual Information + +## 2.5 Random Process + +### 2.5.1 What is Markovian? + +### 2.5.2 1st Order Markov Process + +### 2.5.3 kth Order Markov Process + +### 2.5.4 Stationary Distribution + +### 2.5.5 Stationary Markov Process + +## 2.6 Continuous Random Variables + +### 2.6.1 Probability Density Function + +### 2.6.2 Gaussian + +### 2.6.3 Differential Entropy + +### 2.6.4 Properties of Differential Entropy + +### 2.6.5 Joint Differential Entropy + +### 2.6.6 Maximum Differential Entropy diff --git a/_posts/2021-08-10-toc.md b/_posts/2021-08-10-toc.md index 6ad1f81967..2291b17e1d 100644 --- a/_posts/2021-08-10-toc.md +++ b/_posts/2021-08-10-toc.md @@ -1,22 +1,21 @@ --- -title: How to Generate TOC +title: 03. Estimattion author: Tao He date: 2021-08-10 category: Jekyll layout: post --- -The jekyll-gitbook theme leverages [jekyll-toc][1] to generate the *Contents* for the page. +The jekyll-gitbook theme leverages [jekyll-toc][1] to generate the _Contents_ for the page. The TOC feature is not enabled by default. To use the TOC feature, modify the TOC configuration in `_config.yml`: ```yaml toc: - enabled: true + enabled: true ``` -Why this repo -------------- +## Why this repo long contents ..... @@ -31,18 +30,16 @@ long contents ..... ### Sub title 3 -Why this repo -------------- +## Why this repo long contents ..... -+ 1 -+ 2 -+ 3 -+ 4 +- 1 +- 2 +- 3 +- 4 -Why this repo -------------- +## Why this repo long contents ..... @@ -51,16 +48,14 @@ long contents ..... 3. g 4. h -Why this repo -------------- +## Why this repo -+ 5 -+ 6 -+ 7 -+ 8 +- 5 +- 6 +- 7 +- 8 -Why this repo -------------- +## Why this repo long contents ..... @@ -69,18 +64,16 @@ long contents ..... 3. c 4. d -Why this repo -------------- +## Why this repo long contents ..... -+ 1 -+ 2 -+ 3 -+ 4 +- 1 +- 2 +- 3 +- 4 -Why this repo -------------- +## Why this repo long contents ..... @@ -89,16 +82,14 @@ long contents ..... 3. g 4. h -Why this repo -------------- +## Why this repo -+ 5 -+ 6 -+ 7 -+ 8 +- 5 +- 6 +- 7 +- 8 -Why this repo -------------- +## Why this repo long contents ..... @@ -107,18 +98,16 @@ long contents ..... 3. c 4. d -Why this repo -------------- +## Why this repo long contents ..... -+ 1 -+ 2 -+ 3 -+ 4 +- 1 +- 2 +- 3 +- 4 -Why this repo -------------- +## Why this repo long contents ..... @@ -127,16 +116,14 @@ long contents ..... 3. g 4. h -Why this repo -------------- +## Why this repo -+ 5 -+ 6 -+ 7 -+ 8 +- 5 +- 6 +- 7 +- 8 -Why this repo -------------- +## Why this repo long contents ..... @@ -145,18 +132,16 @@ long contents ..... 3. c 4. d -Why this repo -------------- +## Why this repo long contents ..... -+ 1 -+ 2 -+ 3 -+ 4 +- 1 +- 2 +- 3 +- 4 -Why this repo -------------- +## Why this repo long contents ..... @@ -165,12 +150,11 @@ long contents ..... 3. g 4. h -Why this repo -------------- +## Why this repo -+ 5 -+ 6 -+ 7 -+ 8 +- 5 +- 6 +- 7 +- 8 [1]: https://github.com/allejo/jekyll-toc diff --git a/_posts/2022-05-24-page_cover.md b/_posts/2022-05-24-page_cover.md index 44a57e2fbe..661916e2df 100644 --- a/_posts/2022-05-24-page_cover.md +++ b/_posts/2022-05-24-page_cover.md @@ -1,5 +1,5 @@ --- -title: Page with cover image +title: 04. Optimization author: Tao He date: 2022-05-24 category: Jekyll diff --git a/_posts/2022-06-26-wide_tables.md b/_posts/2022-06-26-wide_tables.md deleted file mode 100644 index 9693b161ea..0000000000 --- a/_posts/2022-06-26-wide_tables.md +++ /dev/null @@ -1,36 +0,0 @@ ---- -title: Wide tables -author: Tao He -date: 2022-06-26 -category: Jekyll -layout: post ---- - -A wide tables needs to be wrapped into a `div` with class `table-wrapper` -to make sure it displayed as expected on mobile devices. For example, - -```markdown -
- -|title1|title2|title3|title4|title5|title6|title7|title8| -|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:| -|1|2|3|4|5|6|7|8| -|1|2|3|4|5|6|7|8| -|1|2|3|4|5|6|7|8| -|1|2|3|4|5|6|7|8| - -
-``` - -Will be rendered as - -
- -|title1|title2|title3|title4|title5|title6|title7|title8| -|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:| -|1|2|3|4|5|6|7|8| -|1|2|3|4|5|6|7|8| -|1|2|3|4|5|6|7|8| -|1|2|3|4|5|6|7|8| - -
diff --git a/_posts/2022-06-30-tips_warnings_dangers.md b/_posts/2022-06-30-tips_warnings_dangers.md deleted file mode 100644 index 0dfb55d1f6..0000000000 --- a/_posts/2022-06-30-tips_warnings_dangers.md +++ /dev/null @@ -1,67 +0,0 @@ ---- -title: Tips, Warnings, and Dangers -author: Tao He -date: 2022-06-30 -category: Jekyll -layout: post ---- - -This jekyll-theme supports tips, warnings, and dangers blocks and the style is referred -from [the discord.js website][1]. - -You could have the following [markdown attributes (supported by kramdown)][2]: - -### Tips - -Using a `{: .block-tip}` attribute: - -```markdown -> ##### TIP -> -> This guide is last tested with @napi-rs/canvas^0.1.20, so make sure you have -> this or a similar version after installation. -{: .block-tip } -``` - -> ##### TIP -> -> This guide is last tested with @napi-rs/canvas^0.1.20, so make sure you have -> this or a similar version after installation. -{: .block-tip } - -### Warnings - -Using a `{: .block-warning}` attribute: - -```markdown -> ##### WARNING -> -> Be sure that you're familiar with things like async/await and object destructuring -> before continuing, as we'll be making use of features like these. -{: .block-warning } -``` - -> ##### WARNING -> -> Be sure that you're familiar with things like async/await and object destructuring -> before continuing, as we'll be making use of features like these. -{: .block-warning } - -### Dangers - -Using a `{: .block-danger}` attribute: - -```markdown -> ##### DANGER -> -> You cannot delete an ephemeral message. -{: .block-danger } -``` - -> ##### DANGER -> -> You cannot delete an ephemeral message. -{: .block-danger } - -[1]: https://discordjs.guide/popular-topics/canvas.html#setting-up-napi-rs-canvas -[2]: https://kramdown.gettalong.org/quickref.html#block-attributes diff --git a/_posts/2023-08-31-mermaid.md b/_posts/2023-08-31-mermaid.md deleted file mode 100644 index 5aec3057a3..0000000000 --- a/_posts/2023-08-31-mermaid.md +++ /dev/null @@ -1,73 +0,0 @@ ---- -title: Diagrams with mermaid.js -author: Tao He -date: 2023-08-31 -category: Jekyll -layout: post -mermaid: true ---- - -This jekyll-theme supports [mermaid.js](https://mermaid.js.org/) to render diagrams -in markdown. - -To enable the mermaid support, you need to set `mermaid: true` in the front matter -of your post. - -```markdown ---- -title: Diagrams with mermaid.js -date: 2023-08-31 -layout: post -mermaid: true ---- -``` - -Then you can use mermaid syntax in your markdown: - -``` -graph TD; - A-->B; - A-->C; - B-->D; - C-->D; -``` - -```mermaid -graph TD; - A-->B; - A-->C; - B-->D; - C-->D; -``` - -Or, even some complex examples: - -``` -sequenceDiagram - participant Alice - participant Bob - Alice->>John: Hello John, how are you? - loop Healthcheck - John->>John: Fight against hypochondria - end - Note right of John: Rational thoughts
prevail! - John-->>Alice: Great! - John->>Bob: How about you? - Bob-->>John: Jolly good! -``` - -```mermaid -sequenceDiagram - participant Alice - participant Bob - Alice->>John: Hello John, how are you? - loop Healthcheck - John->>John: Fight against hypochondria - end - Note right of John: Rational thoughts
prevail! - John-->>Alice: Great! - John->>Bob: How about you? - Bob-->>John: Jolly good! -``` - -Refer to the [mermaid.js website](https://mermaid.js.org/intro/) for more examples. diff --git a/_posts/2023-10-14-math-latex.md b/_posts/2023-10-14-math-latex.md deleted file mode 100644 index 36a9cd353c..0000000000 --- a/_posts/2023-10-14-math-latex.md +++ /dev/null @@ -1,47 +0,0 @@ ---- -title: MathJax and LaTeX -author: Tao He -date: 2023-10-14 -category: Jekyll -layout: post -mermaid: true ---- - -This jekyll-theme supports [MathJax](https://www.mathjax.org/) to render $\LaTeX$ -and mathematics expressions. - -> ##### TIP -> -> Currently, Kramdown uses double dollar sign delimiters for inline and display math: -> [https://kramdown.gettalong.org/syntax.html#math-blocks](https://kramdown.gettalong.org/syntax.html#math-blocks). -{: .block-tip } - -e.g., - -```markdown -The well known Pythagorean theorem $x^2 + y^2 = z^2$ was -proved to be invalid for other exponents. -Meaning the next equation has no integer solutions: - -$$ x^n + y^n = z^n $$ -``` - -The well known Pythagorean theorem $x^2 + y^2 = z^2$ was -proved to be invalid for other exponents. -Meaning the next equation has no integer solutions: - -$$ x^n + y^n = z^n $$ - -Another example with more complex markups: - -```markdown -When $a \ne 0$, there are two solutions to $ax^2 + bx + c = 0$ and they are - -$$x = {-b \pm \sqrt{b^2-4ac} \over 2a}.$$ -``` - -When $a \ne 0$, there are two solutions to $ax^2 + bx + c = 0$ and they are - -$$x = {-b \pm \sqrt{b^2-4ac} \over 2a}.$$ - -Refer to the [MathJax website](https://docs.mathjax.org/en/latest/index.html) for more examples. diff --git a/_posts/2023-12-12-footnotes.md b/_posts/2023-12-12-footnotes.md deleted file mode 100644 index eae423aff8..0000000000 --- a/_posts/2023-12-12-footnotes.md +++ /dev/null @@ -1,125 +0,0 @@ ---- -title: Using Footnotes -author: Tao He -date: 2023-12-12 -category: Jekyll -layout: post -mermaid: true ---- - -This jekyll-theme supports [MathJax](https://www.mathjax.org/) to render footnotes -in markdown. - -e.g., - -```markdown -The well known Pythagorean theorem $x^2 + y^2 = z^2$ was -proved to be invalid for other exponents[^1]. -Meaning the next equation has no integer solutions: - -$$ x^n + y^n = z^n $$ -``` - -The well known Pythagorean theorem $x^2 + y^2 = z^2$ was -proved to be invalid for other exponents[^1]. -Meaning the next equation has no integer solutions: - -$$ x^n + y^n = z^n $$ - -Long contents -------------- - -long contents ..... - -1. a -2. b -3. c -4. d - -### Sub title 1 - -### Sub title 2 - -### Sub title 3 - -Long contents -------------- - -long contents ..... - -1. a -2. b -3. c -4. d - -### Sub title 1 - -### Sub title 2 - -### Sub title 3 - -Long contents -------------- - -long contents ..... - -1. a -2. b -3. c -4. d - -### Sub title 1 - -### Sub title 2 - -### Sub title 3 - -Long contents -------------- - -long contents ..... - -1. a -2. b -3. c -4. d - -### Sub title 1 - -### Sub title 2 - -### Sub title 3 - -Long contents -------------- - -long contents ..... - -1. a -2. b -3. c -4. d - -### Sub title 1 - -### Sub title 2 - -### Sub title 3 - -Long contents -------------- - -long contents ..... - -1. a -2. b -3. c -4. d - -### Sub title 1 - -### Sub title 2 - -### Sub title 3 - -[^1]: [https://en.wikipedia.org/wiki/Fermat%27s_Last_Theorem](https://en.wikipedia.org/wiki/Fermat%27s_Last_Theorem) From 2824f29f26d90601c1b997f44885ecec38a8075d Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Sun, 27 Jul 2025 15:37:22 +0900 Subject: [PATCH 05/52] Add content on random processes and i.i.d. processes to license.md --- _posts/2019-04-29-license.md | 50 ++++++++++++++++++++++++++++++++++++ 1 file changed, 50 insertions(+) diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index e7a49349f1..dcdb385113 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -47,6 +47,56 @@ long contents ..... ## 2.5 Random Process +**확률 과정(Random Process)이란?** + +확률 과정은 다음과 같이 정의됩니다: + +$$ +X = \{X_n\}_{n=1}^{\infty} +$$ + +이것은 순서를 가진 확률 변수들의 집합이며, 각 $X_n$은 특정 확률 분포를 따릅니다. + +- 여기서 $n$은 꼭 시간(time)을 의미하지 않아도 됩니다. +- 예시: + - 텍스트: $X_1$은 첫 번째 문자, $X_2$는 두 번째 문자 등 + - 이미지: $X_{i,j}$는 $i$행 $j$열 픽셀의 밝기 + - 시계열: $X_t$는 $t$초 후의 값 + +**핵심**: 인덱스가 시간일 필요는 없으며, **순서만 있으면 확률 과정**이 됩니다. + +--- + +**i.i.d. 과정이란?** + +i.i.d.는 independent and identically distributed의 약자입니다. + +- **독립(independent)**: 각 $X_n$이 서로 영향을 주지 않음 +- **동일 분포(identically distributed)**: 모든 $X_n$이 동일한 확률 분포를 따름 + +전체 확률은 다음처럼 단순 곱으로 계산할 수 있습니다: + +$$ +P(X_1 = x_1, \dots, X_n = x_n) = \prod_{i=1}^{n} P(X_i = x_i) +$$ + +--- + +**현실은 대부분 i.i.d.가 아님** + +예: 텍스트 + +- "progra_ing"이라는 단어에서 빈칸에 'm'이 올 가능성이 높다고 판단할 수 있음 +- 이는 앞뒤 문맥이 영향을 주기 때문 → 요소들 간에 **의존성 존재** + +**결론**: 현실의 데이터는 보통 독립적이지 않고, 앞뒤 요소에 영향을 받습니다. + +i.i.d.가 아닌 경우 사용하는 모델들: + +- 마르코프 모델 (Markov Model) +- 순환 신경망 (Recurrent Neural Network, RNN) +- 트랜스포머 (Transformer) + ### 2.5.1 What is Markovian? ### 2.5.2 1st Order Markov Process From ad206324501b9c3dd7e012490c39587a5c64c383 Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 28 Jul 2025 16:56:48 +0900 Subject: [PATCH 06/52] Enhance content on random processes in license.md by adding structured explanations, examples, and a summary table to clarify the relationship between i.i.d. and 1st-order Markov processes. --- _posts/2019-04-29-license.md | 86 ++++++++++++++++++++++++++++++++---- 1 file changed, 77 insertions(+), 9 deletions(-) diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index dcdb385113..8223fb5f15 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -47,7 +47,7 @@ long contents ..... ## 2.5 Random Process -**확률 과정(Random Process)이란?** +> **확률 과정(Random Process)이란?** 확률 과정은 다음과 같이 정의됩니다: @@ -82,14 +82,13 @@ $$ --- -**현실은 대부분 i.i.d.가 아님** - -예: 텍스트 - -- "progra_ing"이라는 단어에서 빈칸에 'm'이 올 가능성이 높다고 판단할 수 있음 -- 이는 앞뒤 문맥이 영향을 주기 때문 → 요소들 간에 **의존성 존재** - -**결론**: 현실의 데이터는 보통 독립적이지 않고, 앞뒤 요소에 영향을 받습니다. +> [!warning] **현실은 대부분 i.i.d.가 아님** +> 예: 텍스트 +> +> - "progra_ing"이라는 단어에서 빈칸에 'm'이 올 가능성이 높다고 판단할 수 있음 +> - 이는 앞뒤 문맥이 영향을 주기 때문 → 요소들 간에 **의존성 존재** +> +> $\therefore$ 현실의 데이터는 보통 독립적이지 않고, 앞뒤 요소에 영향을 받습니다. i.i.d.가 아닌 경우 사용하는 모델들: @@ -99,6 +98,75 @@ i.i.d.가 아닌 경우 사용하는 모델들: ### 2.5.1 What is Markovian? +i.i.d. ←────────────|────────────→ Practical +**1st-order Markov** + +**1차 마르코프 체인(first-order Markov chain)의 개념은, i.i.d. 가정과 실제 현실에서의 데이터 구조 사이를 연결해주는 중간 다리 역할을 합니다.** +"마르코프(Markov)"라는 말은 **1차 상관성(first-order correlation)**이 있다는 의미입니다. +즉, 현재 상태는 **직전 상태에만 의존**하고, 그 이전의 상태에는 의존하지 않는다는 것입니다. + +--- + +**예제 41: 랜덤 워크(Random Walk)** + +확률 과정 $X = \{X_n\}$를 다음과 같이 정의합니다: + +초기 상태: + +$$ +X_0 = 0 +$$ + +이후 각 $n$에 대해: + +$$ +X_n = +\begin{cases} +X_{n-1} + 1 & \text{with probability } \frac{1}{2} \\ +X_{n-1} - 1 & \text{with probability } \frac{1}{2} +\end{cases} +$$ + +즉, 현재 위치에서 매 스텝마다 동전 던지기로 1만큼 앞 또는 뒤로 이동하는 무작위 행보입니다. + +예를 들어 다음과 같은 정보가 주어졌다고 해 봅시다: + +$$ +X_{101} = 51 +$$ + +이때 $X_{102}$는 다음 두 가지 중 하나입니다: + +- $X_{102} = 50$ +- $X_{102} = 52$ + +추가로 $X_{100} = 50$이라는 정보를 안다고 해도, +$X_{102}$가 어떻게 될지를 예측하는 데 **아무런 도움이 되지 않습니다.** + +이것은 **1차 마르코프 체인의 특성**과 정확히 일치합니다: + +> **미래 상태는 현재 상태에만 의존하며, 과거는 무시됩니다.** + +--- + +**핵심 요약** + +| 구분 | 설명 | +| -------------- | ---------------------------------------------------------------- | +| i.i.d. | 각 값이 서로 독립이고 동일한 분포를 가짐 | +| 1차 마르코프 | 현재 상태는 바로 직전 상태에만 의존함 | +| 현실 데이터 | 대부분 i.i.d.는 아니며, 1차 마르코프 모델이 더 현실적 | +| 랜덤 워크 예시 | $X_{n}$은 $X_{n-1}$만으로 결정되며, $X_{n-2}$는 영향을 주지 않음 | + +--- + +**요약 구조** + +i.i.d. ←────────────|────────────→ 현실 데이터 +          ↑ +        1st-order Markov +   (현재 상태는 직전 상태에만 의존) + ### 2.5.2 1st Order Markov Process ### 2.5.3 kth Order Markov Process From 1f8eadab0e50d00339226ab7a61caf172bc52ef2 Mon Sep 17 00:00:00 2001 From: 2024148052 Date: Sat, 2 Aug 2025 20:01:56 +0900 Subject: [PATCH 07/52] Fix: Update conditional entropy derivation --- _posts/2019-04-29-license.md | 87 ++++++++++++++++++++++++++++++++++++ 1 file changed, 87 insertions(+) diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index 8223fb5f15..38a6499788 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -39,6 +39,93 @@ long contents ..... ### 2.4.2 Conditional Entropy +>**Conditonal Entropy란?** + +이미 알고 있는 정보가 존재할 때, 추가로 모르는 정보가 주는 정보량이다. + +이미 알고 있는 정보 $Y$가 주어졌을 때, $X$에 관한 정보량은 $$H(X|Y)$$와 같이 나타내고 아래와 같이 정의된다. + +$$ +H(X|Y) = \mathbb{E}\Big[\log \frac{1}{p_{X|Y}(X|Y)}\Big] += \sum_{x,y} p_{X,Y}(x,y) \log \frac{1}{p_{X|Y}(x|y)}. +$$ + +위의 경우에서 우리가 기댓값을 계산하고자 하는 함수는 $\log \frac{1}{p_{X|Y}(X|Y)}$이며 $x$ ,$y$의 확률은 joint distribution $p_{X,Y}(X,Y)$로 나타낼 수 있다. + +우리는 기대값을 계산하기 위해 변수 $X$와 $Y$를 고려하고 있다. 결합 엔트로피(joint entropy)는 개별 엔트로피의 합이며, 각각의 $y$와 전체 엔트로피에 대한 각각의 기여(contribution)를 고려할 때 명확해진다. 특정 조건 y를 고정하는 경우를 생각해 보면 다음과 같이 나타낼 수 있다. + +$$ +H(X|Y = y) = \mathbb{E}\Big[ \log \frac{1}{p_{X|Y}(X|Y = y)} \Big] +$$ + +이제 위 수식에서 $X$만이 유일한 변수이다. 그러므로 위 수식을 다음과 같이 나타낼 수 있다. + +$$ + += \sum_{x} p_{X|Y}(x|y) \log \frac{1}{p_{X|Y}(x|y)} + +$$ + +만약 우리가 특정 조건 $y$에 대한 모든 가능한 조건부 엔트로피를 합하면, $Y$에 주어진 $X$의 전체 조건부 엔트로피를 다음과 같이 나타낼 수 있다 + +$$ +H(X|Y) = \sum_{y} p_Y(y) H(X|Y = y) +$$ + +이제 엔트로피 $H(X)$와 $H(Y|X)$를 고려해보자. $H(X)$는 $X$에 대한 정보이고, $H(Y|X)$는 $X$의 정보가 주어졌을 때 $H(X,Y)$에서의 '남은'정보이다. 따라서 우리는 $H(X) + H(Y|X) = H(X,Y)$라고 기대할 수 있고 아래와 같이 증명가능하다. + +$$ +\mathbb{E}\Big[ \log \frac{1}{p_X(X)} \Big] ++ \mathbb{E}\Big[ \log \frac{1}{p_{Y|X}(Y|X)} \Big] += \mathbb{E}\Big[ \log \frac{1}{p_X(X) p_{Y|X}(Y|X)} \Big] +$$ + +$$ += \mathbb{E}\Big[ \log \frac{1}{p_{X,Y}(X,Y)} \Big] +$$ +$$ += H(X,Y). +$$ + +$p_{Y|X}(Y|X) = \frac{p_{X,Y}(X,Y)}{p_X(X)}$ +를 이용하면 위 증명이 성립함을 쉽게 알 수 있다. + +**Exercise 35. 위의 추론 게임(guess game)에서 다음을 계산하여라** + 1. $H(Y2|Y1)$ + 2. $H(Y4|Y1)$ + +풀이: + +1. +$\mathbb{E}\Big[ \log \frac{1}{p_{Y2|Y1}(Y2|Y1)} \Big]$을 구하면 된다. + +이 경우에서는 $Y1$과 $Y2$가 독립이므로 $\mathbb{E}\Big[ \log \frac{1}{p_{Y2}(Y2)} \Big]$를 구하면 된다. + +즉, $\sum_{y} p_{Y2}(y) \log \frac{1}{p_{Y2}(y)}$를 계산하면 된다. + +답: 1 + +2. + +$p_(Y4=0|Y1=0) = 3/4$ + +$p_(Y4=1|Y1=0) = 1/4$ + +$p_(Y4=0|Y1=1) = 1/4$ + +$p_(Y4=1|Y1=1) = 3/4$ + +를 이용하면 $H(Y4|Y1=0)$은 $3/4\log4/3+1/4\log4$이고 + +$H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다. + +따라서 $H(Y4|Y1)$은 $1/2*3/4\log4/3+1/4\log4$+$1/2*3/4\log4/3+1/4\log4$이다. + +이를 $H(Y4)=1$와 비교해보면 더 작은 것을 알 수 있다. + +따라서 조건이 존재할 경우 정보가 같거나 줄어든다는 사실을 알 수 있다. + + ### 2.4.3 Mutual Information ### 2.4.4 Properties of Mutual Information From dde115e3aac1013b56a687da6faa2e234afb66ac Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=9D=B4=ED=95=98=EB=9E=8C?= Date: Sun, 3 Aug 2025 17:48:24 +0900 Subject: [PATCH 08/52] fix 4.1 --- _posts/2019-04-29-license.md | 53 ++++++++++++++++++++++++++++++++++++ 1 file changed, 53 insertions(+) diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index 8223fb5f15..afa3cac2a1 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -36,7 +36,60 @@ long contents ..... ## 2.4 Jointly Distributed Random Variables ### 2.4.1 Joint Entropy +> 결합 엔트로피(Joint Entropy)란? +결합 엔트로피 H(X1,X2)는 두 확률 변수 X1,X2​가 동시에 가질 정보량의 기대값이다. + +$$ +H(X_1, X_2) = \mathbb{E} \left[ \log \frac{1}{p_{X_1,X_2}(X_1,X_2)} \right] = \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1,X_2}(x_1,x_2)} +$$ +Thm. 30(Property of Entropy) + +만약 $X_1$과 $X_2$가 독립이면 $H(X_1, X_2) = H(X_1) + H(X_2)$ 이다. + +*Proof.* +$$ +\begin{aligned} +H(X_1,X_2) &= \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1}(x_1)p_{X_2}(x_2)} \\ +&= \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \left( \log \frac{1}{p_{X_1}(x_1)} + \log \frac{1}{p_{X_2}(x_2)} \right) \\ +&= \sum_{x_1} p_{X_1}(x_1) \log \frac{1}{p_{X_1}(x_1)} + \sum_{x_2} p_{X_2}(x_2) \log \frac{1}{p_{X_2}(x_2)} \\ +&= H(X_1) + H(X_2) +\end{aligned} +$$ + +$\therefore$ 두 변수가 독립인 경우 두 변수에서 얻는 정보량은 각 변수에서 얻는 정보량의 합으로 계산 + +만약 X1​과 X2가 강하게 상관되어 있다면, (X1,X2)로부터 얻는 정보량은 X1​으로부터 얻는 정보량과 거의 비슷할 것이다. + +--- + +**Exercise 32** +> 만약 $H(X_1, X_2) = H(X_1) + H(X_2)$이면, 이것이 독립을 의미하는가? + +**Exercise 33** +* Alice가 $X$를 균등분포로 $\{1, 2, \dots, 8\}$ 중에서 뽑는다. + +- Bob이 세 가지 Yes or No 질문을 한다. + i. $X \in \{5, 6, 7, 8\}$ 인가? + ii. $X \in \{1, 2, 5, 6\}$ 인가? + iii. $X \in \{1, 3, 5, 7\}$ 인가? + $$ Y_i = \begin{cases} 1 & \text{예} \\ 0 & \text{아니오} \end{cases} $$ + +각 $Y_i$는 베르누이 확률 변수이고, 서로 독립이다. + +$$ +H(Y_1) = H(Y_2) = H(Y_3) = 1 +$$ + +$$ +H(Y_1, Y_2, Y_3) = H(Y_1) + H(Y_2) + H(Y_3) = 3 +$$ + +$$ +H(X) = \log_2 8 = 3 +$$ + +$\therefore$ 세 질문으로 \(X\)를 완벽하게 구분할 수 있음. ### 2.4.2 Conditional Entropy ### 2.4.3 Mutual Information From 4298fb9625bcf9a041df779d768fd63a3e5854eb Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=9D=B4=ED=95=98=EB=9E=8C?= Date: Sun, 3 Aug 2025 17:53:24 +0900 Subject: [PATCH 09/52] fix 4.1 --- _posts/2019-04-29-license.md | 15 ++++++++++----- 1 file changed, 10 insertions(+), 5 deletions(-) diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index afa3cac2a1..2f33fa8a22 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -40,14 +40,17 @@ long contents ..... 결합 엔트로피 H(X1,X2)는 두 확률 변수 X1,X2​가 동시에 가질 정보량의 기대값이다. + $$ H(X_1, X_2) = \mathbb{E} \left[ \log \frac{1}{p_{X_1,X_2}(X_1,X_2)} \right] = \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1,X_2}(x_1,x_2)} $$ + Thm. 30(Property of Entropy) 만약 $X_1$과 $X_2$가 독립이면 $H(X_1, X_2) = H(X_1) + H(X_2)$ 이다. *Proof.* + $$ \begin{aligned} H(X_1,X_2) &= \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1}(x_1)p_{X_2}(x_2)} \\ @@ -57,6 +60,7 @@ H(X_1,X_2) &= \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1}(x_1)p_{X \end{aligned} $$ + $\therefore$ 두 변수가 독립인 경우 두 변수에서 얻는 정보량은 각 변수에서 얻는 정보량의 합으로 계산 만약 X1​과 X2가 강하게 상관되어 있다면, (X1,X2)로부터 얻는 정보량은 X1​으로부터 얻는 정보량과 거의 비슷할 것이다. @@ -67,14 +71,15 @@ $\therefore$ 두 변수가 독립인 경우 두 변수에서 얻는 정보량은 > 만약 $H(X_1, X_2) = H(X_1) + H(X_2)$이면, 이것이 독립을 의미하는가? **Exercise 33** -* Alice가 $X$를 균등분포로 $\{1, 2, \dots, 8\}$ 중에서 뽑는다. +Alice가 $X$를 균등분포로 $\{1, 2, \dots, 8\}$ 중에서 뽑는다. +Bob이 세 가지 Yes or No 질문을 한다. +1) $X \in \{5, 6, 7, 8\}$ 인가? +2) $X \in \{1, 2, 5, 6\}$ 인가? +3) $X \in \{1, 3, 5, 7\}$ 인가? -- Bob이 세 가지 Yes or No 질문을 한다. - i. $X \in \{5, 6, 7, 8\}$ 인가? - ii. $X \in \{1, 2, 5, 6\}$ 인가? - iii. $X \in \{1, 3, 5, 7\}$ 인가? $$ Y_i = \begin{cases} 1 & \text{예} \\ 0 & \text{아니오} \end{cases} $$ + 각 $Y_i$는 베르누이 확률 변수이고, 서로 독립이다. $$ From bd5fd8319c861801c98c76036399a39faaec478b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=9D=B4=ED=95=98=EB=9E=8C?= Date: Sun, 3 Aug 2025 17:55:32 +0900 Subject: [PATCH 10/52] fix 4.1 --- _posts/2019-04-29-license.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index 2f33fa8a22..77b88d6211 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -71,8 +71,8 @@ $\therefore$ 두 변수가 독립인 경우 두 변수에서 얻는 정보량은 > 만약 $H(X_1, X_2) = H(X_1) + H(X_2)$이면, 이것이 독립을 의미하는가? **Exercise 33** -Alice가 $X$를 균등분포로 $\{1, 2, \dots, 8\}$ 중에서 뽑는다. -Bob이 세 가지 Yes or No 질문을 한다. + +Alice가 $X$를 균등분포로 $\{1, 2, \dots, 8\}$ 중에서 뽑고, Bob이 세 가지 Yes or No 질문을 한다. 1) $X \in \{5, 6, 7, 8\}$ 인가? 2) $X \in \{1, 2, 5, 6\}$ 인가? 3) $X \in \{1, 3, 5, 7\}$ 인가? From 96f190fca7fdaefae49e0fb6ae9124ac2349e96f Mon Sep 17 00:00:00 2001 From: 2024148052 Date: Sun, 3 Aug 2025 22:40:19 +0900 Subject: [PATCH 11/52] Fix: Minor edits in condi-entropy1 --- _posts/2019-04-29-license.md | 16 ++++++---------- 1 file changed, 6 insertions(+), 10 deletions(-) diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index 38a6499788..31618ae67a 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -61,9 +61,7 @@ $$ 이제 위 수식에서 $X$만이 유일한 변수이다. 그러므로 위 수식을 다음과 같이 나타낼 수 있다. $$ - = \sum_{x} p_{X|Y}(x|y) \log \frac{1}{p_{X|Y}(x|y)} - $$ 만약 우리가 특정 조건 $y$에 대한 모든 가능한 조건부 엔트로피를 합하면, $Y$에 주어진 $X$의 전체 조건부 엔트로피를 다음과 같이 나타낼 수 있다 @@ -75,9 +73,7 @@ $$ 이제 엔트로피 $H(X)$와 $H(Y|X)$를 고려해보자. $H(X)$는 $X$에 대한 정보이고, $H(Y|X)$는 $X$의 정보가 주어졌을 때 $H(X,Y)$에서의 '남은'정보이다. 따라서 우리는 $H(X) + H(Y|X) = H(X,Y)$라고 기대할 수 있고 아래와 같이 증명가능하다. $$ -\mathbb{E}\Big[ \log \frac{1}{p_X(X)} \Big] -+ \mathbb{E}\Big[ \log \frac{1}{p_{Y|X}(Y|X)} \Big] -= \mathbb{E}\Big[ \log \frac{1}{p_X(X) p_{Y|X}(Y|X)} \Big] +\mathbb{E}\Big[ \log \frac{1}{p_X(X)} \Big]+ \mathbb{E}\Big[ \log \frac{1}{p_{Y|X}(Y|X)} \Big]= \mathbb{E}\Big[ \log \frac{1}{p_X(X) p_{Y|X}(Y|X)} \Big] $$ $$ @@ -107,19 +103,19 @@ $\mathbb{E}\Big[ \log \frac{1}{p_{Y2|Y1}(Y2|Y1)} \Big]$을 구하면 된다. 2. -$p_(Y4=0|Y1=0) = 3/4$ +$p_{}(Y4=0|Y1=0) = 3/4$ -$p_(Y4=1|Y1=0) = 1/4$ +$p_{}(Y4=1|Y1=0) = 1/4$ -$p_(Y4=0|Y1=1) = 1/4$ +$p_{}(Y4=0|Y1=1) = 1/4$ -$p_(Y4=1|Y1=1) = 3/4$ +$p_{}(Y4=1|Y1=1) = 3/4$ 를 이용하면 $H(Y4|Y1=0)$은 $3/4\log4/3+1/4\log4$이고 $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다. -따라서 $H(Y4|Y1)$은 $1/2*3/4\log4/3+1/4\log4$+$1/2*3/4\log4/3+1/4\log4$이다. +따라서 $H(Y4|Y1)$은 ($1/2$)($3/4\log4/3+1/4\log4$)+($1/2$) ($3/4\log4/3+1/4\log4$)이다. 이를 $H(Y4)=1$와 비교해보면 더 작은 것을 알 수 있다. From d4132af1d23dd9ad887367aece82486e7b7116f2 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=9D=B4=ED=95=98=EB=9E=8C?= Date: Sun, 3 Aug 2025 23:24:16 +0900 Subject: [PATCH 12/52] Fix: Update 4.1 --- _posts/2019-04-29-license.md | 85 ++++++++++++++++++++++++++++++++++++ 1 file changed, 85 insertions(+) diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index 77b88d6211..50236cca16 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -95,8 +95,93 @@ H(X) = \log_2 8 = 3 $$ $\therefore$ 세 질문으로 \(X\)를 완벽하게 구분할 수 있음. + + ### 2.4.2 Conditional Entropy +>**Conditonal Entropy란?** + +이미 알고 있는 정보가 존재할 때, 추가로 모르는 정보가 주는 정보량이다. + +이미 알고 있는 정보 $Y$가 주어졌을 때, $X$에 관한 정보량은 $$H(X|Y)$$와 같이 나타내고 아래와 같이 정의된다. + +$$ +H(X|Y) = \mathbb{E}\Big[\log \frac{1}{p_{X|Y}(X|Y)}\Big] += \sum_{x,y} p_{X,Y}(x,y) \log \frac{1}{p_{X|Y}(x|y)}. +$$ + +위의 경우에서 우리가 기댓값을 계산하고자 하는 함수는 $\log \frac{1}{p_{X|Y}(X|Y)}$이며 $x$ ,$y$의 확률은 joint distribution $p_{X,Y}(X,Y)$로 나타낼 수 있다. + +우리는 기대값을 계산하기 위해 변수 $X$와 $Y$를 고려하고 있다. 결합 엔트로피(joint entropy)는 개별 엔트로피의 합이며, 각각의 $y$와 전체 엔트로피에 대한 각각의 기여(contribution)를 고려할 때 명확해진다. 특정 조건 y를 고정하는 경우를 생각해 보면 다음과 같이 나타낼 수 있다. + +$$ +H(X|Y = y) = \mathbb{E}\Big[ \log \frac{1}{p_{X|Y}(X|Y = y)} \Big] +$$ + +이제 위 수식에서 $X$만이 유일한 변수이다. 그러므로 위 수식을 다음과 같이 나타낼 수 있다. + +$$ += \sum_{x} p_{X|Y}(x|y) \log \frac{1}{p_{X|Y}(x|y)} +$$ + +만약 우리가 특정 조건 $y$에 대한 모든 가능한 조건부 엔트로피를 합하면, $Y$에 주어진 $X$의 전체 조건부 엔트로피를 다음과 같이 나타낼 수 있다 + +$$ +H(X|Y) = \sum_{y} p_Y(y) H(X|Y = y) +$$ + +이제 엔트로피 $H(X)$와 $H(Y|X)$를 고려해보자. $H(X)$는 $X$에 대한 정보이고, $H(Y|X)$는 $X$의 정보가 주어졌을 때 $H(X,Y)$에서의 '남은'정보이다. 따라서 우리는 $H(X) + H(Y|X) = H(X,Y)$라고 기대할 수 있고 아래와 같이 증명가능하다. + +$$ +\mathbb{E}\Big[ \log \frac{1}{p_X(X)} \Big]+ \mathbb{E}\Big[ \log \frac{1}{p_{Y|X}(Y|X)} \Big]= \mathbb{E}\Big[ \log \frac{1}{p_X(X) p_{Y|X}(Y|X)} \Big] +$$ + +$$ += \mathbb{E}\Big[ \log \frac{1}{p_{X,Y}(X,Y)} \Big] +$$ +$$ += H(X,Y). +$$ + +$p_{Y|X}(Y|X) = \frac{p_{X,Y}(X,Y)}{p_X(X)}$ +를 이용하면 위 증명이 성립함을 쉽게 알 수 있다. + +**Exercise 35. 위의 추론 게임(guess game)에서 다음을 계산하여라** + 1. $H(Y2|Y1)$ + 2. $H(Y4|Y1)$ + +풀이: + +1. +$\mathbb{E}\Big[ \log \frac{1}{p_{Y2|Y1}(Y2|Y1)} \Big]$을 구하면 된다. + +이 경우에서는 $Y1$과 $Y2$가 독립이므로 $\mathbb{E}\Big[ \log \frac{1}{p_{Y2}(Y2)} \Big]$를 구하면 된다. + +즉, $\sum_{y} p_{Y2}(y) \log \frac{1}{p_{Y2}(y)}$를 계산하면 된다. + +답: 1 + +2. + +$p_{}(Y4=0|Y1=0) = 3/4$ + +$p_{}(Y4=1|Y1=0) = 1/4$ + +$p_{}(Y4=0|Y1=1) = 1/4$ + +$p_{}(Y4=1|Y1=1) = 3/4$ + +를 이용하면 $H(Y4|Y1=0)$은 $3/4\log4/3+1/4\log4$이고 + +$H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다. + +따라서 $H(Y4|Y1)$은 ($1/2$)($3/4\log4/3+1/4\log4$)+($1/2$) ($3/4\log4/3+1/4\log4$)이다. + +이를 $H(Y4)=1$와 비교해보면 더 작은 것을 알 수 있다. + +따라서 조건이 존재할 경우 정보가 같거나 줄어든다는 사실을 알 수 있다. + + ### 2.4.3 Mutual Information ### 2.4.4 Properties of Mutual Information From 4a5cad6ca811ff9dc85566cf8daddfe8d0a25923 Mon Sep 17 00:00:00 2001 From: 2024148034 <1221ohr@yonsei.ac.kr> Date: Mon, 4 Aug 2025 02:13:40 +0900 Subject: [PATCH 13/52] Write summary for Chapter 5.3 --- _posts/2019-04-29-license.md | 12 ++++++++++++ 1 file changed, 12 insertions(+) diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index 50236cca16..b172de959e 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -314,6 +314,18 @@ i.i.d. ←────────────|─────────── ### 2.5.3 kth Order Markov Process +확률 과정 X에 대해, +$$ +P_{X_i | X^{i-1}}(x_i \mid x^{i-1}) = P_{X_i | X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}), +$$ +이 성립하는 시퀀스는 **k차 마르코프 과정(kth Order Markov Process)**를 따릅니다. + +즉, k차 마르코프 과정을 따르는 시퀀스에 대해서 +$$ +P_{X^n}(x^n) = \prod_{i=1}^{n} P_{X_i \mid X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}) +$$ +이 성립합니다. + ### 2.5.4 Stationary Distribution ### 2.5.5 Stationary Markov Process From e10ec70e449358f1a7449b273b32c3ca18f85017 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=98=A4=EC=9C=A0=EB=A6=BC?= Date: Mon, 4 Aug 2025 11:43:31 +0900 Subject: [PATCH 14/52] Add 2.4.4 Properties of Mutual Information --- _posts/2019-04-29-license.md | 233 +++++++++++++++++++++++++++++++++++ 1 file changed, 233 insertions(+) diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index 50236cca16..8b403bcc40 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -185,6 +185,239 @@ $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다. ### 2.4.3 Mutual Information ### 2.4.4 Properties of Mutual Information +# 2.4.4 상호정보량의 성질 + +## 정리 36 (데이터 처리 부등식 I) +**정리.** \(f\)가 결정론적 함수라면, +\[ +H(X) \ge H(f(X)) +\] +이다. + +**증명.** +\[ +H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X) \tag{80--81} +\] +또한, +\[ +H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X)) \tag{82--83} +\] +따라서 \(H(X) \ge H(f(X))\)이다. +(\(f\)가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 \(H(X)=H(f(X))\).) + +--- + +## 정리 37 (Mutual information은 대칭적이다) +**정리.** +\[ +I(X;Y) = I(Y;X) +\] + +**증명.** +\[ +\begin{aligned} +I(X;Y) &= H(X) - H(X\mid Y) \tag{84} \\ + &= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \tag{85} \\ + &= H(X) + H(Y) - H(X,Y) \tag{86} \\ + &= I(Y;X) \tag{87} +\end{aligned} +\] + +--- + +## 정리 38 (Mutual information은 비음수이다) +**정리.** +\[ +I(X;Y) \ge 0 +\] + +**증명.** +\[ +\begin{aligned} +H(X) - H(X\mid Y) +&= \mathbb{E}\left[\log \frac{1}{p_X(X)}\right] - \mathbb{E}\left[\log \frac{1}{p_{X\mid Y}(X\mid Y)}\right] \tag{88} \\ +&= \mathbb{E}\left[\log \frac{p_{X\mid Y}(X\mid Y)}{p_X(X)}\right] \tag{89} \\ +&= \mathbb{E}\left[\log \frac{p_{X,Y}(X,Y)}{p_X(X)p_Y(Y)}\right] \tag{90} \\ +&= \sum_{x,y} p_{X,Y}(x,y) \log \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)} \tag{91} \\ +&= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 \tag{92} +\end{aligned} +\] +따라서 \(I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0\). +여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다. +또한 부등식 \(H(X) \ge H(X\mid Y)\)는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다. + +--- + +## 정리 39 (데이터 처리 부등식 II) +**정리.** 임의의 함수 \(f: \mathcal{X} \to \mathbb{R}\)에 대해 다음이 성립한다: +\[ +I(X;Y) \ge I(f(X);Y) +\] + +**증명.** +\[ +\begin{aligned} +I(X;Y) &= H(Y) - H(Y\mid X) \tag{93} \\ + &= H(Y) - H(Y\mid X, f(X)) \tag{94} \\ + &\ge H(Y) - H(Y\mid f(X)) \tag{95} \\ + &= I(f(X);Y) \tag{96} +\end{aligned} +\] + +**일반화.** +\(X - Y - Z\)가 마르코프 체인(또는 \(X\)와 \(Z\)가 \(Y\)를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다: +1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\) \tag{97} +2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다. \tag{98} +3. 모든 \(x,y,z\)에 대해 \(p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)\). \tag{99} + +--- + +## 정리 40 (데이터 처리 부등식 III) +**정리.** +만약 \(X - Y - Z\)가 마르코프 체인을 이룬다면, +\[ +I(X;Z) \le I(Y;Z) +\] +또는 대칭적으로 \(I(Z;X) \le I(Z;Y)\). + +**증명.** +\[ +\begin{aligned} +I(Y;Z) &= H(Z) - H(Z\mid Y) \tag{100} \\ + &= H(Z) - H(Z\mid X, Y) \tag{101} \\ + &\ge H(Z) - H(Z\mid X) \tag{102} \\ + &= I(X;Z) \tag{103} +\end{aligned} +\] +따라서 \(I(Y;Z) \ge I(X;Z)\), 즉 \(I(Z;Y) \ge I(Z;X)\)이다. + +--- + +# 문제 29.(b) + +## 문제 29. +\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라. +**(b)** \(I(X, Y; Z) \ge I(X; Z)\). + +## 풀이 + +### 1. 체인 룰(chain rule) 적용 +상호 정보의 체인 룰에 따르면: +\[ +I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X). +\] +이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을 +먼저 \(X\)가 주는 정보량과, \(X\)를 알고 난 뒤 \(Y\)가 더 주는 추가 정보량으로 분해한 식이다. + +### 2. 조건부 상호 정보의 비음성 +항상 +\[ +I(Y; Z \mid X) \ge 0 +\] +이다. (KL 발산 형태로 증명할 수 있다.) + +### 3. 부등식 결론 +따라서 +\[ +I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z). +\] + +### 4. 등호 성립 조건 +등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면 +\[ +I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X +\] +이어야 한다. +즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다. +이 역시 \(Y \to X \to Z\) 형태의 마르코프 사슬과 동치이다. + +--- + +# 문제 31 + +## 문제 31. +임의의 결정론적 함수 \(g\)에 대하여, +\[ +H(X \mid g(Y)) = H(X \mid Y) +\] +이 성립하려면 어떤 조건이 필요한가? + +## 풀이 + +### 1. 데이터 처리 부등식 I (조건부 형태) +이미 알고 있는 바: +\[ +H(X \mid g(Y)) \ge H(X \mid Y), +\] +왜냐하면 “\(Y\)를 알면 \(g(Y)\)를 알 수 있지만, \(g(Y)\)를 안다고 해서 항상 \(Y\)가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다. + +### 2. 등호 조건 분석 +\[ +H(X \mid g(Y)) = H(X \mid Y) +\] +일 때, 양쪽 사이에 끼어 있는 +\[ +H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0 +\] +이다. +즉, “\(g(Y)\)를 조건으로 \(X\)와 \(Y\)가 독립”이어야 한다. + +### 3. 마르코프 사슬 해석 +\[ +I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y). +\] +이는 바로 +\[ +X \longrightarrow g(Y) \longrightarrow Y +\] +꼴의 마르코프 사슬 형태가 성립함을 뜻한다. + +### 4. 특수 사례 +- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립. +- 또 \(X\)와 \(Y\)가 본래 독립이라도 + \[ + H(X \mid g(Y)) = H(X) = H(X \mid Y) + \] + 이므로 등호가 된다. + 이 두 경우는 포함되지만, **유일한 경우는 아닙니다.** + +--- + +# 문제 42.(b) + +## 문제 42. +다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라. +**(b)** \(I(g(X); Y)\) vs. \(I(X; Y)\). + +## 풀이 + +### 1. 데이터 처리 부등식 II +이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 \(g\)에 대하여: +\[ +I(g(X); Y) \le I(X; Y). +\] + +### 2. 직관 +- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고, +- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) → +- \(g(X)\)가 \(Y\)에 제공할 수 있는 정보도 당연히 \(I(X;Y)\) 이하여야 한다. + +### 3. 형식적 증명 +\[ +\begin{aligned} +I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\ + &\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\ + &= I(X; Y). +\end{aligned} +\] + +### 4. 등호 성립 조건 +등호가 되려면 +\[ +H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X). +\] +즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다. +다시 말해 \(g(X)\)를 기준으로 \(X\)와 \(Y\)는 더 이상의 상호 정보(조건부)가 없다. ### 2.4.5 Conditional Mutual Information From 4adef9917a0aad3137d5a2a7496b18a459094e47 Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 4 Aug 2025 13:35:36 +0900 Subject: [PATCH 15/52] fix readme --- README.md | 7 +++++++ 1 file changed, 7 insertions(+) diff --git a/README.md b/README.md index 273443dddd..8b81127443 100644 --- a/README.md +++ b/README.md @@ -6,6 +6,13 @@ permalink: / # 연세대학교 학생들을 위한 딥러닝 기초 수학 +지각 시 CU 음료수 쏘기 +지각 기준 : 4시 5분 이후 도착 + +포스트 안 써오면 만원씩 + +posting convention + ## 저자 서문 딥러닝 기초 수학 과목을 선행하면서 내용을 정리하려고 만들었습니다. 연세대 학생 모두에게 큰 도움이 되길 바라며 저작권 문제가 있을 시 글 배포를 중지하겠습니다. From a9f6272515bea5498a447501caa6699051e56b0f Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 4 Aug 2025 15:21:48 +0900 Subject: [PATCH 16/52] Refactor and enhance clarity in 2.4 Jointly Distributed Random Variables section, including formatting adjustments and improved phrasing for exercises and definitions. --- _posts/2019-04-29-license.md | 225 ++++++++++++++++++++++++++--------- 1 file changed, 169 insertions(+), 56 deletions(-) diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index 8b403bcc40..fb1be7f3e0 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -36,11 +36,11 @@ long contents ..... ## 2.4 Jointly Distributed Random Variables ### 2.4.1 Joint Entropy + > 결합 엔트로피(Joint Entropy)란? 결합 엔트로피 H(X1,X2)는 두 확률 변수 X1,X2​가 동시에 가질 정보량의 기대값이다. - $$ H(X_1, X_2) = \mathbb{E} \left[ \log \frac{1}{p_{X_1,X_2}(X_1,X_2)} \right] = \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1,X_2}(x_1,x_2)} $$ @@ -49,7 +49,7 @@ Thm. 30(Property of Entropy) 만약 $X_1$과 $X_2$가 독립이면 $H(X_1, X_2) = H(X_1) + H(X_2)$ 이다. -*Proof.* +_Proof._ $$ \begin{aligned} @@ -60,7 +60,6 @@ H(X_1,X_2) &= \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1}(x_1)p_{X \end{aligned} $$ - $\therefore$ 두 변수가 독립인 경우 두 변수에서 얻는 정보량은 각 변수에서 얻는 정보량의 합으로 계산 만약 X1​과 X2가 강하게 상관되어 있다면, (X1,X2)로부터 얻는 정보량은 X1​으로부터 얻는 정보량과 거의 비슷할 것이다. @@ -68,17 +67,18 @@ $\therefore$ 두 변수가 독립인 경우 두 변수에서 얻는 정보량은 --- **Exercise 32** + > 만약 $H(X_1, X_2) = H(X_1) + H(X_2)$이면, 이것이 독립을 의미하는가? **Exercise 33** Alice가 $X$를 균등분포로 $\{1, 2, \dots, 8\}$ 중에서 뽑고, Bob이 세 가지 Yes or No 질문을 한다. -1) $X \in \{5, 6, 7, 8\}$ 인가? -2) $X \in \{1, 2, 5, 6\}$ 인가? -3) $X \in \{1, 3, 5, 7\}$ 인가? - $$ Y_i = \begin{cases} 1 & \text{예} \\ 0 & \text{아니오} \end{cases} $$ +1. $X \in \{5, 6, 7, 8\}$ 인가? +2. $X \in \{1, 2, 5, 6\}$ 인가? +3. $X \in \{1, 3, 5, 7\}$ 인가? +$$ Y_i = \begin{cases} 1 & \text{예} \\ 0 & \text{아니오} \end{cases} $$ 각 $Y_i$는 베르누이 확률 변수이고, 서로 독립이다. @@ -96,10 +96,9 @@ $$ $\therefore$ 세 질문으로 \(X\)를 완벽하게 구분할 수 있음. - ### 2.4.2 Conditional Entropy ->**Conditonal Entropy란?** +> **Conditonal Entropy란?** 이미 알고 있는 정보가 존재할 때, 추가로 모르는 정보가 주는 정보량이다. @@ -139,6 +138,7 @@ $$ $$ = \mathbb{E}\Big[ \log \frac{1}{p_{X,Y}(X,Y)} \Big] $$ + $$ = H(X,Y). $$ @@ -147,15 +147,15 @@ $p_{Y|X}(Y|X) = \frac{p_{X,Y}(X,Y)}{p_X(X)}$ 를 이용하면 위 증명이 성립함을 쉽게 알 수 있다. **Exercise 35. 위의 추론 게임(guess game)에서 다음을 계산하여라** - 1. $H(Y2|Y1)$ - 2. $H(Y4|Y1)$ + +1. $H(Y2|Y1)$ +2. $H(Y4|Y1)$ 풀이: -1. -$\mathbb{E}\Big[ \log \frac{1}{p_{Y2|Y1}(Y2|Y1)} \Big]$을 구하면 된다. +1. $\mathbb{E}\Big[ \log \frac{1}{p_{Y2|Y1}(Y2|Y1)} \Big]$을 구하면 된다. -이 경우에서는 $Y1$과 $Y2$가 독립이므로 $\mathbb{E}\Big[ \log \frac{1}{p_{Y2}(Y2)} \Big]$를 구하면 된다. +이 경우에서는 $Y1$과 $Y2$가 독립이므로 $\mathbb{E}\Big[ \log \frac{1}{p_{Y2}(Y2)} \Big]$를 구하면 된다. 즉, $\sum_{y} p_{Y2}(y) \log \frac{1}{p_{Y2}(y)}$를 계산하면 된다. @@ -177,17 +177,18 @@ $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다. 따라서 $H(Y4|Y1)$은 ($1/2$)($3/4\log4/3+1/4\log4$)+($1/2$) ($3/4\log4/3+1/4\log4$)이다. -이를 $H(Y4)=1$와 비교해보면 더 작은 것을 알 수 있다. +이를 $H(Y4)=1$와 비교해보면 더 작은 것을 알 수 있다. 따라서 조건이 존재할 경우 정보가 같거나 줄어든다는 사실을 알 수 있다. - ### 2.4.3 Mutual Information ### 2.4.4 Properties of Mutual Information + # 2.4.4 상호정보량의 성질 -## 정리 36 (데이터 처리 부등식 I) +## 정리 36 (데이터 처리 부등식 I) + **정리.** \(f\)가 결정론적 함수라면, \[ H(X) \ge H(f(X)) @@ -207,7 +208,8 @@ H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X)) \tag{82--83} --- -## 정리 37 (Mutual information은 대칭적이다) +## 정리 37 (Mutual information은 대칭적이다) + **정리.** \[ I(X;Y) = I(Y;X) @@ -217,15 +219,16 @@ I(X;Y) = I(Y;X) \[ \begin{aligned} I(X;Y) &= H(X) - H(X\mid Y) \tag{84} \\ - &= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \tag{85} \\ - &= H(X) + H(Y) - H(X,Y) \tag{86} \\ - &= I(Y;X) \tag{87} +&= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \tag{85} \\ +&= H(X) + H(Y) - H(X,Y) \tag{86} \\ +&= I(Y;X) \tag{87} \end{aligned} \] --- -## 정리 38 (Mutual information은 비음수이다) +## 정리 38 (Mutual information은 비음수이다) + **정리.** \[ I(X;Y) \ge 0 @@ -238,17 +241,18 @@ H(X) - H(X\mid Y) &= \mathbb{E}\left[\log \frac{1}{p_X(X)}\right] - \mathbb{E}\left[\log \frac{1}{p_{X\mid Y}(X\mid Y)}\right] \tag{88} \\ &= \mathbb{E}\left[\log \frac{p_{X\mid Y}(X\mid Y)}{p_X(X)}\right] \tag{89} \\ &= \mathbb{E}\left[\log \frac{p_{X,Y}(X,Y)}{p_X(X)p_Y(Y)}\right] \tag{90} \\ -&= \sum_{x,y} p_{X,Y}(x,y) \log \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)} \tag{91} \\ -&= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 \tag{92} +&= \sum*{x,y} p*{X,Y}(x,y) \log \frac{p*{X,Y}(x,y)}{p_X(x)p_Y(y)} \tag{91} \\ +&= D\!\left(p*{X,Y} \,\|\, p*X p_Y\right) \ge 0 \tag{92} \end{aligned} \] -따라서 \(I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0\). +따라서 \(I(X;Y) = D(p*{X,Y}\,\|\,p_X p_Y) \ge 0\). 여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다. 또한 부등식 \(H(X) \ge H(X\mid Y)\)는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다. --- -## 정리 39 (데이터 처리 부등식 II) +## 정리 39 (데이터 처리 부등식 II) + **정리.** 임의의 함수 \(f: \mathcal{X} \to \mathbb{R}\)에 대해 다음이 성립한다: \[ I(X;Y) \ge I(f(X);Y) @@ -258,21 +262,23 @@ I(X;Y) \ge I(f(X);Y) \[ \begin{aligned} I(X;Y) &= H(Y) - H(Y\mid X) \tag{93} \\ - &= H(Y) - H(Y\mid X, f(X)) \tag{94} \\ - &\ge H(Y) - H(Y\mid f(X)) \tag{95} \\ - &= I(f(X);Y) \tag{96} +&= H(Y) - H(Y\mid X, f(X)) \tag{94} \\ +&\ge H(Y) - H(Y\mid f(X)) \tag{95} \\ +&= I(f(X);Y) \tag{96} \end{aligned} \] **일반화.** \(X - Y - Z\)가 마르코프 체인(또는 \(X\)와 \(Z\)가 \(Y\)를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다: -1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\) \tag{97} -2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다. \tag{98} -3. 모든 \(x,y,z\)에 대해 \(p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)\). \tag{99} + +1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\) \tag{97} +2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다. \tag{98} +3. 모든 \(x,y,z\)에 대해 \(p*{Z\mid X,Y}(z\mid x,y) = p*{Z\mid Y}(z\mid y)\). \tag{99} --- -## 정리 40 (데이터 처리 부등식 III) +## 정리 40 (데이터 처리 부등식 III) + **정리.** 만약 \(X - Y - Z\)가 마르코프 체인을 이룬다면, \[ @@ -284,9 +290,9 @@ I(X;Z) \le I(Y;Z) \[ \begin{aligned} I(Y;Z) &= H(Z) - H(Z\mid Y) \tag{100} \\ - &= H(Z) - H(Z\mid X, Y) \tag{101} \\ - &\ge H(Z) - H(Z\mid X) \tag{102} \\ - &= I(X;Z) \tag{103} +&= H(Z) - H(Z\mid X, Y) \tag{101} \\ +&\ge H(Z) - H(Z\mid X) \tag{102} \\ +&= I(X;Z) \tag{103} \end{aligned} \] 따라서 \(I(Y;Z) \ge I(X;Z)\), 즉 \(I(Z;Y) \ge I(Z;X)\)이다. @@ -295,13 +301,15 @@ I(Y;Z) &= H(Z) - H(Z\mid Y) \tag{100} \\ # 문제 29.(b) -## 문제 29. +## 문제 29. + \(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라. **(b)** \(I(X, Y; Z) \ge I(X; Z)\). ## 풀이 -### 1. 체인 룰(chain rule) 적용 +### 1. 체인 룰(chain rule) 적용 + 상호 정보의 체인 룰에 따르면: \[ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X). @@ -309,20 +317,23 @@ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X). 이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을 먼저 \(X\)가 주는 정보량과, \(X\)를 알고 난 뒤 \(Y\)가 더 주는 추가 정보량으로 분해한 식이다. -### 2. 조건부 상호 정보의 비음성 +### 2. 조건부 상호 정보의 비음성 + 항상 \[ I(Y; Z \mid X) \ge 0 \] 이다. (KL 발산 형태로 증명할 수 있다.) -### 3. 부등식 결론 +### 3. 부등식 결론 + 따라서 \[ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z). \] -### 4. 등호 성립 조건 +### 4. 등호 성립 조건 + 등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면 \[ I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X @@ -335,7 +346,8 @@ I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X # 문제 31 -## 문제 31. +## 문제 31. + 임의의 결정론적 함수 \(g\)에 대하여, \[ H(X \mid g(Y)) = H(X \mid Y) @@ -344,14 +356,16 @@ H(X \mid g(Y)) = H(X \mid Y) ## 풀이 -### 1. 데이터 처리 부등식 I (조건부 형태) +### 1. 데이터 처리 부등식 I (조건부 형태) + 이미 알고 있는 바: \[ H(X \mid g(Y)) \ge H(X \mid Y), \] 왜냐하면 “\(Y\)를 알면 \(g(Y)\)를 알 수 있지만, \(g(Y)\)를 안다고 해서 항상 \(Y\)가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다. -### 2. 등호 조건 분석 +### 2. 등호 조건 분석 + \[ H(X \mid g(Y)) = H(X \mid Y) \] @@ -362,7 +376,8 @@ H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0 이다. 즉, “\(g(Y)\)를 조건으로 \(X\)와 \(Y\)가 독립”이어야 한다. -### 3. 마르코프 사슬 해석 +### 3. 마르코프 사슬 해석 + \[ I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y). \] @@ -373,7 +388,8 @@ X \longrightarrow g(Y) \longrightarrow Y 꼴의 마르코프 사슬 형태가 성립함을 뜻한다. ### 4. 특수 사례 -- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립. + +- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립. - 또 \(X\)와 \(Y\)가 본래 독립이라도 \[ H(X \mid g(Y)) = H(X) = H(X \mid Y) @@ -385,33 +401,38 @@ X \longrightarrow g(Y) \longrightarrow Y # 문제 42.(b) -## 문제 42. +## 문제 42. + 다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라. **(b)** \(I(g(X); Y)\) vs. \(I(X; Y)\). ## 풀이 -### 1. 데이터 처리 부등식 II +### 1. 데이터 처리 부등식 II + 이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 \(g\)에 대하여: \[ I(g(X); Y) \le I(X; Y). \] -### 2. 직관 -- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고, -- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) → +### 2. 직관 + +- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고, +- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) → - \(g(X)\)가 \(Y\)에 제공할 수 있는 정보도 당연히 \(I(X;Y)\) 이하여야 한다. -### 3. 형식적 증명 +### 3. 형식적 증명 + \[ \begin{aligned} I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\ - &\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\ - &= I(X; Y). +&\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\ +&= I(X; Y). \end{aligned} \] -### 4. 등호 성립 조건 +### 4. 등호 성립 조건 + 등호가 되려면 \[ H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X). @@ -421,6 +442,98 @@ H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X) ### 2.4.5 Conditional Mutual Information +> **조건부 상호정보량이란?** + +조건부 상호정보량은 변수 \\( Y \\)가 주어졌을 때, \\( X \\)와 \\( Z \\) 사이의 상호정보량을 의미한다. + +\\[ +I(X; Z \mid Y) = H(X \mid Y) - H(X \mid Y, Z) +\\] + +또는 다음과 같이도 표현된다. + +\\[ +I(X; Z \mid Y) = H(Z \mid Y) - H(Z \mid Y, X) +\\] + +이는 \\( Z \\)를 알면 \\( X \\)의 불확실성이 얼마나 줄어드는지를 나타낸다. + +--- + +> **조건부 상호정보량이 0이 되는 조건** + +조건부 상호정보량이 0이 되려면, \\( X \\)와 \\( Z \\)가 \\( Y \\)가 주어졌을 때 조건부 독립이어야 한다. + +\\[ +P(X, Z \mid Y) = P(X \mid Y) \cdot P(Z \mid Y) +\\] + +이는 마코프 체인 구조인 \\( X \rightarrow Y \rightarrow Z \\)와 동일하다. + +--- + +> [!warning] +> 조건부 상호정보량 \\( I(X; Z \mid Y) \\) 와 일반 상호정보량 \\( I(X; Z) \\)는 일반적으로 관계가 없다. + +예시 1: 조건부 상호정보량이 일반 상호정보량보다 클 수 있다. + +\\[ +I(X; Z \mid Y) > I(X; Z) +\\] + +- \\( X \in \{0, 1\} \\), \\( Z \in \{0, 1\} \\) +- 각 확률은 다음과 같다: + +\\[ +P(X = 0) = P(X = 1) = \frac{1}{2}, \quad P(Z = 0) = P(Z = 1) = \frac{1}{2} +\\] + +- \\( Y = X \oplus Z \\) (XOR 연산) + +이 경우 다음이 성립한다: + +\\[ +I(X; Z) = 0, \quad I(X; Z \mid Y) = 1 +\\] + +즉, 조건 없이 보면 \\( X \\)와 \\( Z \\)는 독립이지만, \\( Y \\)를 알면 종속이 된다. + +--- + +예시 2: 일반 상호정보량은 존재하지만 조건부 상호정보량은 0인 경우 + +\\[ +I(X; Z) > 0, \quad I(X; Z \mid Y) = 0 +\\] + +이는 마코프 체인 \\( X \rightarrow Y \rightarrow Z \\) 구조에서 발생한다. + +--- + +> **여러 변수에 대한 상호정보량** + +두 변수 \\( X, Y \\) 와 \\( Z \\) 사이의 상호정보량은 다음과 같이 체인 룰로 나눌 수 있다. + +\\[ +I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) +\\] + +--- + +> **상호정보량의 체인 분해** + +여러 변수 \\( X_1, X_2, \dots, X_n \\) 과 \\( Y \\) 간의 상호정보량은 다음과 같이 분해된다. + +\\[ +I(X_1, X_2, \dots, X_n; Y) = I(X_1; Y) + I(X_2; Y \mid X_1) + I(X_3; Y \mid X_1, X_2) + \dots +\\] + +또는 일반화하여 다음과 같이 표현된다: + +\\[ +I(X_n; Y) = \sum_{i=1}^{n} I(X_i; Y \mid X_1, \dots, X_{i-1}) +\\] + ## 2.5 Random Process > **확률 과정(Random Process)이란?** @@ -458,7 +571,7 @@ $$ --- -> [!warning] **현실은 대부분 i.i.d.가 아님** +> **현실은 대부분 i.i.d.가 아님** > 예: 텍스트 > > - "progra_ing"이라는 단어에서 빈칸에 'm'이 올 가능성이 높다고 판단할 수 있음 From 9bf5d9f26e18a9e11e4315830f27350aa602b2a1 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=98=A4=EC=9C=A0=EB=A6=BC?= Date: Mon, 4 Aug 2025 15:24:18 +0900 Subject: [PATCH 17/52] Fix font corruption --- _posts/2019-04-29-license.md | 233 ++++++++++++++--------------------- 1 file changed, 91 insertions(+), 142 deletions(-) diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index 8b403bcc40..6ca81d992e 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -188,236 +188,185 @@ $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다. # 2.4.4 상호정보량의 성질 ## 정리 36 (데이터 처리 부등식 I) -**정리.** \(f\)가 결정론적 함수라면, -\[ -H(X) \ge H(f(X)) -\] -이다. +**정리.** f가 결정론적 함수라면, +H(X) ≥ H(f(X)) 이다. **증명.** -\[ -H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X) \tag{80--81} -\] -또한, -\[ -H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X)) \tag{82--83} -\] -따라서 \(H(X) \ge H(f(X))\)이다. -(\(f\)가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 \(H(X)=H(f(X))\).) +H(X, f(X)) = H(X) + H(f(X) | X) = H(X) (식 80–81) +또한 +H(X, f(X)) = H(f(X)) + H(X | f(X)) ≥ H(f(X)) (식 82–83) +따라서 H(X) ≥ H(f(X)). +(f가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 H(X) = H(f(X)).) --- ## 정리 37 (Mutual information은 대칭적이다) **정리.** -\[ I(X;Y) = I(Y;X) -\] **증명.** -\[ -\begin{aligned} -I(X;Y) &= H(X) - H(X\mid Y) \tag{84} \\ - &= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \tag{85} \\ - &= H(X) + H(Y) - H(X,Y) \tag{86} \\ - &= I(Y;X) \tag{87} -\end{aligned} -\] +위 정의들을 평문으로 쓰면 다음과 같다: +``` +I(X;Y) = H(X) - H(X | Y) (식 84) + = H(X) - (H(X,Y) - H(Y)) (식 85) + = H(X) + H(Y) - H(X,Y) (식 86) + = I(Y;X) (식 87) +``` --- ## 정리 38 (Mutual information은 비음수이다) **정리.** -\[ -I(X;Y) \ge 0 -\] +I(X;Y) ≥ 0 **증명.** -\[ -\begin{aligned} -H(X) - H(X\mid Y) -&= \mathbb{E}\left[\log \frac{1}{p_X(X)}\right] - \mathbb{E}\left[\log \frac{1}{p_{X\mid Y}(X\mid Y)}\right] \tag{88} \\ -&= \mathbb{E}\left[\log \frac{p_{X\mid Y}(X\mid Y)}{p_X(X)}\right] \tag{89} \\ -&= \mathbb{E}\left[\log \frac{p_{X,Y}(X,Y)}{p_X(X)p_Y(Y)}\right] \tag{90} \\ -&= \sum_{x,y} p_{X,Y}(x,y) \log \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)} \tag{91} \\ -&= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 \tag{92} -\end{aligned} -\] -따라서 \(I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0\). -여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다. -또한 부등식 \(H(X) \ge H(X\mid Y)\)는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다. +``` +H(X) - H(X | Y) += E[ log(1 / p_X(X)) ] - E[ log(1 / p_{X|Y}(X | Y)) ] (식 88) += E[ log( p_{X|Y}(X | Y) / p_X(X) ) ] (식 89) += E[ log( p_{X,Y}(X,Y) / (p_X(X) p_Y(Y)) ) ] (식 90) += sum_{x,y} p_{X,Y}(x,y) * log( p_{X,Y}(x,y) / (p_X(x) p_Y(y)) ) (식 91) += D( p_{X,Y} || p_X p_Y ) ≥ 0 (식 92) +``` +따라서 I(X;Y) = D( p_{X,Y} || p_X p_Y ) ≥ 0. +여기서 p_X p_Y는 X와 Y가 각각 주변분포 p_X, p_Y를 가지지만 서로 독립인 (X,Y)에 대한 분포이다. +또한 부등식 H(X) ≥ H(X | Y)는 “조건부를 취하면 불확실성이 줄어들거나 유지된다”는 해석을 가질 수 있다. --- ## 정리 39 (데이터 처리 부등식 II) -**정리.** 임의의 함수 \(f: \mathcal{X} \to \mathbb{R}\)에 대해 다음이 성립한다: -\[ -I(X;Y) \ge I(f(X);Y) -\] +**정리.** 임의의 함수 f: X → R에 대해 다음이 성립한다: +I(X;Y) ≥ I(f(X);Y) **증명.** -\[ -\begin{aligned} -I(X;Y) &= H(Y) - H(Y\mid X) \tag{93} \\ - &= H(Y) - H(Y\mid X, f(X)) \tag{94} \\ - &\ge H(Y) - H(Y\mid f(X)) \tag{95} \\ - &= I(f(X);Y) \tag{96} -\end{aligned} -\] +``` +I(X;Y) = H(Y) - H(Y | X) (식 93) + = H(Y) - H(Y | X, f(X)) (식 94) + ≥ H(Y) - H(Y | f(X)) (식 95) + = I(f(X);Y) (식 96) +``` **일반화.** -\(X - Y - Z\)가 마르코프 체인(또는 \(X\)와 \(Z\)가 \(Y\)를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다: -1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\) \tag{97} -2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다. \tag{98} -3. 모든 \(x,y,z\)에 대해 \(p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)\). \tag{99} +X - Y - Z가 마르코프 체인(또는 X와 Z가 Y를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다: + +1. X - Y - Z ⟷ X와 Z가 Y를 주었을 때 독립 (즉, X ⟂ Z | Y) (식 97) +2. Y가 알려져 있을 때 X는 Z를 추정하는 데 쓸모없다. (식 98) +3. 모든 x,y,z에 대해 p_{Z|X,Y}(z | x,y) = p_{Z|Y}(z | y). (식 99) --- ## 정리 40 (데이터 처리 부등식 III) **정리.** -만약 \(X - Y - Z\)가 마르코프 체인을 이룬다면, -\[ -I(X;Z) \le I(Y;Z) -\] -또는 대칭적으로 \(I(Z;X) \le I(Z;Y)\). +만약 X - Y - Z가 마르코프 체인을 이룬다면, +I(X;Z) ≤ I(Y;Z) +또는 대칭적으로 I(Z;X) ≤ I(Z;Y). **증명.** -\[ -\begin{aligned} -I(Y;Z) &= H(Z) - H(Z\mid Y) \tag{100} \\ - &= H(Z) - H(Z\mid X, Y) \tag{101} \\ - &\ge H(Z) - H(Z\mid X) \tag{102} \\ - &= I(X;Z) \tag{103} -\end{aligned} -\] -따라서 \(I(Y;Z) \ge I(X;Z)\), 즉 \(I(Z;Y) \ge I(Z;X)\)이다. +``` +I(Y;Z) = H(Z) - H(Z | Y) (식 100) + = H(Z) - H(Z | X, Y) (식 101) + ≥ H(Z) - H(Z | X) (식 102) + = I(X;Z) (식 103) +``` +따라서 I(Y;Z) ≥ I(X;Z), 즉 I(Z;Y) ≥ I(Z;X)이다. --- # 문제 29.(b) ## 문제 29. -\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라. -**(b)** \(I(X, Y; Z) \ge I(X; Z)\). +X, Y, Z가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라. +**(b)** I(X, Y; Z) ≥ I(X; Z). ## 풀이 ### 1. 체인 룰(chain rule) 적용 -상호 정보의 체인 룰에 따르면: -\[ -I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X). -\] -이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을 -먼저 \(X\)가 주는 정보량과, \(X\)를 알고 난 뒤 \(Y\)가 더 주는 추가 정보량으로 분해한 식이다. +상호 정보의 체인 룰에 따르면: +I(X, Y; Z) = I(X; Z) + I(Y; Z | X). +이는 “X, Y가 합쳐질 때 Z와 주고받는 정보량”을 먼저 X가 주는 정보량과, X를 알고 난 뒤 Y가 더 주는 추가 정보량으로 분해한 식이다. ### 2. 조건부 상호 정보의 비음성 항상 -\[ -I(Y; Z \mid X) \ge 0 -\] +I(Y; Z | X) ≥ 0 이다. (KL 발산 형태로 증명할 수 있다.) ### 3. 부등식 결론 -따라서 -\[ -I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z). -\] +따라서 +I(X, Y; Z) = I(X; Z) + I(Y; Z | X) ≥ I(X; Z). ### 4. 등호 성립 조건 -등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면 -\[ -I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X -\] +등호 I(X, Y; Z) = I(X; Z)가 되려면 +I(Y; Z | X) = 0 ⟷ Y ⟂ Z | X 이어야 한다. -즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다. -이 역시 \(Y \to X \to Z\) 형태의 마르코프 사슬과 동치이다. +즉 “X를 조건으로 두었을 때 Y와 Z가 독립”이어야 한다. +이 역시 Y → X → Z 형태의 마르코프 사슬과 동치이다. --- # 문제 31 ## 문제 31. -임의의 결정론적 함수 \(g\)에 대하여, -\[ -H(X \mid g(Y)) = H(X \mid Y) -\] +임의의 결정론적 함수 g에 대하여, +H(X | g(Y)) = H(X | Y) 이 성립하려면 어떤 조건이 필요한가? ## 풀이 ### 1. 데이터 처리 부등식 I (조건부 형태) -이미 알고 있는 바: -\[ -H(X \mid g(Y)) \ge H(X \mid Y), -\] -왜냐하면 “\(Y\)를 알면 \(g(Y)\)를 알 수 있지만, \(g(Y)\)를 안다고 해서 항상 \(Y\)가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다. +이미 알고 있는 바: +H(X | g(Y)) ≥ H(X | Y), +왜냐하면 “Y를 알면 g(Y)를 알 수 있지만, g(Y)를 안다고 해서 항상 Y가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다. ### 2. 등호 조건 분석 -\[ -H(X \mid g(Y)) = H(X \mid Y) -\] -일 때, 양쪽 사이에 끼어 있는 -\[ -H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0 -\] +H(X | g(Y)) = H(X | Y) 일 때, 양쪽 사이에 끼어 있는 +H(X | Y) - H(X | g(Y)) = I(X;Y | g(Y)) = 0 이다. -즉, “\(g(Y)\)를 조건으로 \(X\)와 \(Y\)가 독립”이어야 한다. +즉, “g(Y)를 조건으로 X와 Y가 독립”이어야 한다. ### 3. 마르코프 사슬 해석 -\[ -I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y). -\] +I(X;Y | g(Y)) = 0 ⟷ X ⟂ Y | g(Y). 이는 바로 -\[ -X \longrightarrow g(Y) \longrightarrow Y -\] +X → g(Y) → Y 꼴의 마르코프 사슬 형태가 성립함을 뜻한다. -### 4. 특수 사례 -- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립. -- 또 \(X\)와 \(Y\)가 본래 독립이라도 - \[ - H(X \mid g(Y)) = H(X) = H(X \mid Y) - \] +### 4. 특수 사례 +- g가 일대일 대응(가역)이면 당연히 g(Y) ↔ Y 양방향 복원이 가능하므로 등호 성립. +- 또 X와 Y가 본래 독립이라도 + H(X | g(Y)) = H(X) = H(X | Y) 이므로 등호가 된다. - 이 두 경우는 포함되지만, **유일한 경우는 아닙니다.** + 이 두 경우는 포함되지만, **유일한 경우는 아니다.** --- # 문제 42.(b) ## 문제 42. -다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라. -**(b)** \(I(g(X); Y)\) vs. \(I(X; Y)\). +다음 부등식들 중 일반적으로 ≥, =, ≤ 중 어느 관계가 성립하는지 각각 표시하라. +**(b)** I(g(X); Y) vs. I(X; Y). ## 풀이 ### 1. 데이터 처리 부등식 II -이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 \(g\)에 대하여: -\[ -I(g(X); Y) \le I(X; Y). -\] +이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 g에 대하여: +I(g(X); Y) ≤ I(X; Y). ### 2. 직관 -- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고, -- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) → -- \(g(X)\)가 \(Y\)에 제공할 수 있는 정보도 당연히 \(I(X;Y)\) 이하여야 한다. +- X가 Y에 갖는 정보량이 I(X;Y)이고, +- X를 g로 가공한 g(X)는 X보다 “덜 상세”(또는 같음) → +- g(X)가 Y에 제공할 수 있는 정보도 당연히 I(X;Y) 이하여야 한다. ### 3. 형식적 증명 -\[ -\begin{aligned} -I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\ - &\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\ - &= I(X; Y). -\end{aligned} -\] +``` +I(g(X); Y) = H(Y) - H(Y | g(X)) + ≤ H(Y) - H(Y | X) (조건부 엔트로피 감소: H(Y | g(X)) ≥ H(Y | X)) + = I(X; Y) +``` ### 4. 등호 성립 조건 등호가 되려면 -\[ -H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X). -\] -즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다. -다시 말해 \(g(X)\)를 기준으로 \(X\)와 \(Y\)는 더 이상의 상호 정보(조건부)가 없다. +H(Y | g(X)) = H(Y | X) ⟷ I(Y; X | g(X)) = 0 ⟷ Y ⟂ X | g(X). +즉 “g(X)를 조건으로 X와 Y가 독립”일 때 등호가 된다. +다시 말해 g(X)를 기준으로 X와 Y는 더 이상의 조건부 상호 정보가 없다. ### 2.4.5 Conditional Mutual Information From d87e8fe755eb09d450b99040b6c5abccb06fab81 Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 4 Aug 2025 16:12:44 +0900 Subject: [PATCH 18/52] fix : file name --- _posts/{2019-04-27-why.md => 00.Introduction.md} | 0 _posts/{2019-04-28-howto.md => 01.Probability-Review.md} | 0 _posts/{2019-04-29-license.md => 02.Information-Theory.md} | 0 _posts/{2021-08-10-toc.md => 03.Estimation.md} | 0 _posts/{2022-05-24-page_cover.md => 04.Optimization.md} | 0 5 files changed, 0 insertions(+), 0 deletions(-) rename _posts/{2019-04-27-why.md => 00.Introduction.md} (100%) rename _posts/{2019-04-28-howto.md => 01.Probability-Review.md} (100%) rename _posts/{2019-04-29-license.md => 02.Information-Theory.md} (100%) rename _posts/{2021-08-10-toc.md => 03.Estimation.md} (100%) rename _posts/{2022-05-24-page_cover.md => 04.Optimization.md} (100%) diff --git a/_posts/2019-04-27-why.md b/_posts/00.Introduction.md similarity index 100% rename from _posts/2019-04-27-why.md rename to _posts/00.Introduction.md diff --git a/_posts/2019-04-28-howto.md b/_posts/01.Probability-Review.md similarity index 100% rename from _posts/2019-04-28-howto.md rename to _posts/01.Probability-Review.md diff --git a/_posts/2019-04-29-license.md b/_posts/02.Information-Theory.md similarity index 100% rename from _posts/2019-04-29-license.md rename to _posts/02.Information-Theory.md diff --git a/_posts/2021-08-10-toc.md b/_posts/03.Estimation.md similarity index 100% rename from _posts/2021-08-10-toc.md rename to _posts/03.Estimation.md diff --git a/_posts/2022-05-24-page_cover.md b/_posts/04.Optimization.md similarity index 100% rename from _posts/2022-05-24-page_cover.md rename to _posts/04.Optimization.md From 96f7d9e0ca36847e731698d613b94bea278ea1af Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=98=A4=EC=9C=A0=EB=A6=BC?= Date: Mon, 4 Aug 2025 16:33:24 +0900 Subject: [PATCH 19/52] Retry fixing font corruption --- _posts/2019-04-29-license.md | 292 ++++++++++++++++++++--------------- 1 file changed, 169 insertions(+), 123 deletions(-) diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index 6ca81d992e..86b7b74ba0 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -184,189 +184,235 @@ $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다. ### 2.4.3 Mutual Information + ### 2.4.4 Properties of Mutual Information -# 2.4.4 상호정보량의 성질 -## 정리 36 (데이터 처리 부등식 I) -**정리.** f가 결정론적 함수라면, -H(X) ≥ H(f(X)) 이다. +### 정리 36 (데이터 처리 부등식 I) +**정리.** \(f\)가 결정론적 함수라면, +\[ +H(X) \ge H(f(X)) +\] +이다. **증명.** -H(X, f(X)) = H(X) + H(f(X) | X) = H(X) (식 80–81) -또한 -H(X, f(X)) = H(f(X)) + H(X | f(X)) ≥ H(f(X)) (식 82–83) -따라서 H(X) ≥ H(f(X)). -(f가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 H(X) = H(f(X)).) +\[ +H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X) +\] +또한, +\[ +H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X)) +\] +따라서 \(H(X) \ge H(f(X))\)이다. +(\(f\)가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 \(H(X)=H(f(X))\).) --- -## 정리 37 (Mutual information은 대칭적이다) +### 정리 37 (Mutual information은 대칭적이다) **정리.** +\[ I(X;Y) = I(Y;X) +\] **증명.** -위 정의들을 평문으로 쓰면 다음과 같다: -``` -I(X;Y) = H(X) - H(X | Y) (식 84) - = H(X) - (H(X,Y) - H(Y)) (식 85) - = H(X) + H(Y) - H(X,Y) (식 86) - = I(Y;X) (식 87) -``` +\[ +\begin{aligned} +I(X;Y) &= H(X) - H(X\mid Y) \\ + &= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \\ + &= H(X) + H(Y) - H(X,Y) \\ + &= I(Y;X) +\end{aligned} +\] --- -## 정리 38 (Mutual information은 비음수이다) +### 정리 38 (Mutual information은 비음수이다) **정리.** -I(X;Y) ≥ 0 +\[ +I(X;Y) \ge 0 +\] **증명.** -``` -H(X) - H(X | Y) -= E[ log(1 / p_X(X)) ] - E[ log(1 / p_{X|Y}(X | Y)) ] (식 88) -= E[ log( p_{X|Y}(X | Y) / p_X(X) ) ] (식 89) -= E[ log( p_{X,Y}(X,Y) / (p_X(X) p_Y(Y)) ) ] (식 90) -= sum_{x,y} p_{X,Y}(x,y) * log( p_{X,Y}(x,y) / (p_X(x) p_Y(y)) ) (식 91) -= D( p_{X,Y} || p_X p_Y ) ≥ 0 (식 92) -``` -따라서 I(X;Y) = D( p_{X,Y} || p_X p_Y ) ≥ 0. -여기서 p_X p_Y는 X와 Y가 각각 주변분포 p_X, p_Y를 가지지만 서로 독립인 (X,Y)에 대한 분포이다. -또한 부등식 H(X) ≥ H(X | Y)는 “조건부를 취하면 불확실성이 줄어들거나 유지된다”는 해석을 가질 수 있다. +$$ +\begin{aligned} +H(X) - H(X\mid Y) +&= \mathbb{E}\left[\log \frac{1}{p_X(X)}\right] - \mathbb{E}\left[\log \frac{1}{p_{X\mid Y}(X\mid Y)}\right] \\ +&= \mathbb{E}\left[\log \frac{p_{X\mid Y}(X\mid Y)}{p_X(X)}\right] \\ +&= \mathbb{E}\left[\log \frac{p_{X,Y}(X,Y)}{p_X(X)p_Y(Y)}\right] \\ +&= \sum_{x,y} p_{X,Y}(x,y) \log \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)} \\ +&= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 +\end{aligned} +$$ +따라서 \(I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0\). +여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다. +또한 부등식 \(H(X) \ge H(X\mid Y)\)는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다. --- -## 정리 39 (데이터 처리 부등식 II) -**정리.** 임의의 함수 f: X → R에 대해 다음이 성립한다: -I(X;Y) ≥ I(f(X);Y) +### 정리 39 (데이터 처리 부등식 II) +**정리.** 임의의 함수 \(f: \mathcal{X} \to \mathbb{R}\)에 대해 다음이 성립한다: +\[ +I(X;Y) \ge I(f(X);Y) +\] **증명.** -``` -I(X;Y) = H(Y) - H(Y | X) (식 93) - = H(Y) - H(Y | X, f(X)) (식 94) - ≥ H(Y) - H(Y | f(X)) (식 95) - = I(f(X);Y) (식 96) -``` +\[ +\begin{aligned} +I(X;Y) &= H(Y) - H(Y\mid X) \\ + &= H(Y) - H(Y\mid X, f(X)) \\ + &\ge H(Y) - H(Y\mid f(X)) \\ + &= I(f(X);Y) +\end{aligned} +\] **일반화.** -X - Y - Z가 마르코프 체인(또는 X와 Z가 Y를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다: - -1. X - Y - Z ⟷ X와 Z가 Y를 주었을 때 독립 (즉, X ⟂ Z | Y) (식 97) -2. Y가 알려져 있을 때 X는 Z를 추정하는 데 쓸모없다. (식 98) -3. 모든 x,y,z에 대해 p_{Z|X,Y}(z | x,y) = p_{Z|Y}(z | y). (식 99) +\(X - Y - Z\)가 마르코프 체인(또는 \(X\)와 \(Z\)가 \(Y\)를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다: +1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\) +2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다. +3. 모든 \(x,y,z\)에 대해 \(p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)\). --- -## 정리 40 (데이터 처리 부등식 III) +### 정리 40 (데이터 처리 부등식 III) **정리.** -만약 X - Y - Z가 마르코프 체인을 이룬다면, -I(X;Z) ≤ I(Y;Z) -또는 대칭적으로 I(Z;X) ≤ I(Z;Y). +만약 \(X - Y - Z\)가 마르코프 체인을 이룬다면, +\[ +I(X;Z) \le I(Y;Z) +\] +또는 대칭적으로 \(I(Z;X) \le I(Z;Y)\). **증명.** -``` -I(Y;Z) = H(Z) - H(Z | Y) (식 100) - = H(Z) - H(Z | X, Y) (식 101) - ≥ H(Z) - H(Z | X) (식 102) - = I(X;Z) (식 103) -``` -따라서 I(Y;Z) ≥ I(X;Z), 즉 I(Z;Y) ≥ I(Z;X)이다. - ---- +\[ +\begin{aligned} +I(Y;Z) &= H(Z) - H(Z\mid Y) \\ + &= H(Z) - H(Z\mid X, Y) \\ + &\ge H(Z) - H(Z\mid X) \\ + &= I(X;Z) +\end{aligned} +\] +따라서 \(I(Y;Z) \ge I(X;Z)\), 즉 \(I(Z;Y) \ge I(Z;X)\)이다. -# 문제 29.(b) +### 문제 29.(b) -## 문제 29. -X, Y, Z가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라. -**(b)** I(X, Y; Z) ≥ I(X; Z). +\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라. +**(b)** \(I(X, Y; Z) \ge I(X; Z)\). -## 풀이 +### 풀이 -### 1. 체인 룰(chain rule) 적용 -상호 정보의 체인 룰에 따르면: -I(X, Y; Z) = I(X; Z) + I(Y; Z | X). -이는 “X, Y가 합쳐질 때 Z와 주고받는 정보량”을 먼저 X가 주는 정보량과, X를 알고 난 뒤 Y가 더 주는 추가 정보량으로 분해한 식이다. +#### 1. 체인 룰(chain rule) 적용 +상호 정보의 체인 룰에 따르면: +\[ +I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X). +\] +이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을 +먼저 \(X\)가 주는 정보량과, \(X\)를 알고 난 뒤 \(Y\)가 더 주는 추가 정보량으로 분해한 식이다. -### 2. 조건부 상호 정보의 비음성 +#### 2. 조건부 상호 정보의 비음성 항상 -I(Y; Z | X) ≥ 0 +\[ +I(Y; Z \mid X) \ge 0 +\] 이다. (KL 발산 형태로 증명할 수 있다.) -### 3. 부등식 결론 -따라서 -I(X, Y; Z) = I(X; Z) + I(Y; Z | X) ≥ I(X; Z). - -### 4. 등호 성립 조건 -등호 I(X, Y; Z) = I(X; Z)가 되려면 -I(Y; Z | X) = 0 ⟷ Y ⟂ Z | X +#### 3. 부등식 결론 +따라서 +\[ +I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z). +\] + +#### 4. 등호 성립 조건 +등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면 +\[ +I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X +\] 이어야 한다. -즉 “X를 조건으로 두었을 때 Y와 Z가 독립”이어야 한다. -이 역시 Y → X → Z 형태의 마르코프 사슬과 동치이다. +즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다. +이 역시 \(Y \to X \to Z\) 형태의 마르코프 사슬과 동치이다. --- -# 문제 31 - -## 문제 31. -임의의 결정론적 함수 g에 대하여, -H(X | g(Y)) = H(X | Y) +### 문제 31. +임의의 결정론적 함수 \(g\)에 대하여, +\[ +H(X \mid g(Y)) = H(X \mid Y) +\] 이 성립하려면 어떤 조건이 필요한가? -## 풀이 - -### 1. 데이터 처리 부등식 I (조건부 형태) -이미 알고 있는 바: -H(X | g(Y)) ≥ H(X | Y), -왜냐하면 “Y를 알면 g(Y)를 알 수 있지만, g(Y)를 안다고 해서 항상 Y가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다. - -### 2. 등호 조건 분석 -H(X | g(Y)) = H(X | Y) 일 때, 양쪽 사이에 끼어 있는 -H(X | Y) - H(X | g(Y)) = I(X;Y | g(Y)) = 0 +### 풀이 + +#### 1. 데이터 처리 부등식 I (조건부 형태) +이미 알고 있는 바: +\[ +H(X \mid g(Y)) \ge H(X \mid Y), +\] +왜냐하면 “\(Y\)를 알면 \(g(Y)\)를 알 수 있지만, \(g(Y)\)를 안다고 해서 항상 \(Y\)가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다. + +#### 2. 등호 조건 분석 +\[ +H(X \mid g(Y)) = H(X \mid Y) +\] +일 때, 양쪽 사이에 끼어 있는 +\[ +H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0 +\] 이다. -즉, “g(Y)를 조건으로 X와 Y가 독립”이어야 한다. +즉, “\(g(Y)\)를 조건으로 \(X\)와 \(Y\)가 독립”이어야 한다. -### 3. 마르코프 사슬 해석 -I(X;Y | g(Y)) = 0 ⟷ X ⟂ Y | g(Y). +#### 3. 마르코프 사슬 해석 +\[ +I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y). +\] 이는 바로 -X → g(Y) → Y +\[ +X \longrightarrow g(Y) \longrightarrow Y +\] 꼴의 마르코프 사슬 형태가 성립함을 뜻한다. -### 4. 특수 사례 -- g가 일대일 대응(가역)이면 당연히 g(Y) ↔ Y 양방향 복원이 가능하므로 등호 성립. -- 또 X와 Y가 본래 독립이라도 - H(X | g(Y)) = H(X) = H(X | Y) +#### 4. 특수 사례 +- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립. +- 또 \(X\)와 \(Y\)가 본래 독립이라도 + \[ + H(X \mid g(Y)) = H(X) = H(X \mid Y) + \] 이므로 등호가 된다. - 이 두 경우는 포함되지만, **유일한 경우는 아니다.** + 이 두 경우는 포함되지만, **유일한 경우는 아닙니다.** --- -# 문제 42.(b) +### 문제 42.(b) -## 문제 42. -다음 부등식들 중 일반적으로 ≥, =, ≤ 중 어느 관계가 성립하는지 각각 표시하라. -**(b)** I(g(X); Y) vs. I(X; Y). +다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라. +**(b)** \(I(g(X); Y)\) vs. \(I(X; Y)\). -## 풀이 +### 풀이 -### 1. 데이터 처리 부등식 II -이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 g에 대하여: -I(g(X); Y) ≤ I(X; Y). +#### 1. 데이터 처리 부등식 II +이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 \(g\)에 대하여: +\[ +I(g(X); Y) \le I(X; Y). +\] -### 2. 직관 -- X가 Y에 갖는 정보량이 I(X;Y)이고, -- X를 g로 가공한 g(X)는 X보다 “덜 상세”(또는 같음) → -- g(X)가 Y에 제공할 수 있는 정보도 당연히 I(X;Y) 이하여야 한다. +#### 2. 직관 +- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고, +- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) → +- \(g(X)\)가 \(Y\)에 제공할 수 있는 정보도 당연히 \(I(X;Y)\) 이하여야 한다. -### 3. 형식적 증명 -``` -I(g(X); Y) = H(Y) - H(Y | g(X)) - ≤ H(Y) - H(Y | X) (조건부 엔트로피 감소: H(Y | g(X)) ≥ H(Y | X)) - = I(X; Y) -``` +#### 3. 형식적 증명 +\[ +\begin{aligned} +I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\ + &\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\ + &= I(X; Y). +\end{aligned} +\] -### 4. 등호 성립 조건 +#### 4. 등호 성립 조건 등호가 되려면 -H(Y | g(X)) = H(Y | X) ⟷ I(Y; X | g(X)) = 0 ⟷ Y ⟂ X | g(X). -즉 “g(X)를 조건으로 X와 Y가 독립”일 때 등호가 된다. -다시 말해 g(X)를 기준으로 X와 Y는 더 이상의 조건부 상호 정보가 없다. +\[ +H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X). +\] +즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다. +다시 말해 \(g(X)\)를 기준으로 \(X\)와 \(Y\)는 더 이상의 상호 정보(조건부)가 없다. + ### 2.4.5 Conditional Mutual Information From 6f2ac0f48739e392acf0884ed11b668e6d190da4 Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 4 Aug 2025 16:38:19 +0900 Subject: [PATCH 20/52] fix --- _config.yml | 3 +++ _posts/00.Introduction.md | 1 - 2 files changed, 3 insertions(+), 1 deletion(-) diff --git a/_config.yml b/_config.yml index a0afb0e02b..e4492989b3 100644 --- a/_config.yml +++ b/_config.yml @@ -50,6 +50,9 @@ exclude: - _drafts collections: + posts: + output: true + permalink: /:collection/:path/ pages: output: true permalink: /:collection/:path/ diff --git a/_posts/00.Introduction.md b/_posts/00.Introduction.md index 56571459d0..4ccba44ae5 100644 --- a/_posts/00.Introduction.md +++ b/_posts/00.Introduction.md @@ -1,7 +1,6 @@ --- title: 00. Introduction author: Tao He -date: 2019-04-27 category: Jekyll layout: post --- From ba606b3852931d2c247e8c10e9ff5be15e0e9615 Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 4 Aug 2025 16:41:41 +0900 Subject: [PATCH 21/52] fix file name --- _posts/{00.Introduction.md => 2025-08-04.md} | 1 + 1 file changed, 1 insertion(+) rename _posts/{00.Introduction.md => 2025-08-04.md} (98%) diff --git a/_posts/00.Introduction.md b/_posts/2025-08-04.md similarity index 98% rename from _posts/00.Introduction.md rename to _posts/2025-08-04.md index 4ccba44ae5..56571459d0 100644 --- a/_posts/00.Introduction.md +++ b/_posts/2025-08-04.md @@ -1,6 +1,7 @@ --- title: 00. Introduction author: Tao He +date: 2019-04-27 category: Jekyll layout: post --- From a7d7ee774cee1d84d0ee2ebb5b6558315092ba6d Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 4 Aug 2025 16:45:59 +0900 Subject: [PATCH 22/52] . --- _config.yml | 9 ++++++--- _posts/{2025-08-04.md => 2025-08-04-introduction.md} | 2 +- 2 files changed, 7 insertions(+), 4 deletions(-) rename _posts/{2025-08-04.md => 2025-08-04-introduction.md} (98%) diff --git a/_config.yml b/_config.yml index e4492989b3..e43cb47d38 100644 --- a/_config.yml +++ b/_config.yml @@ -52,13 +52,16 @@ exclude: collections: posts: output: true - permalink: /:collection/:path/ + sort_by: date + permalink: /:collection/:year-:month-:day-:title:output_ext pages: output: true - permalink: /:collection/:path/ + sort_by: date + permalink: /:collection/:year-:month-:day-:title:output_ext others: output: true - permalink: /:collection/:path/ + sort_by: date + permalink: /:collection/:year-:month-:day-:title:output_ext ordered_collections: - posts diff --git a/_posts/2025-08-04.md b/_posts/2025-08-04-introduction.md similarity index 98% rename from _posts/2025-08-04.md rename to _posts/2025-08-04-introduction.md index 56571459d0..01922851d8 100644 --- a/_posts/2025-08-04.md +++ b/_posts/2025-08-04-introduction.md @@ -1,7 +1,7 @@ --- title: 00. Introduction author: Tao He -date: 2019-04-27 +date: 2025-08-04 category: Jekyll layout: post --- From 4de80f5303e7a0e9f16b9d00a2d8849013495fb6 Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 4 Aug 2025 16:50:23 +0900 Subject: [PATCH 23/52] . --- .../{2025-08-04-introduction.md => 2025-08-04-00.introduction.md} | 0 ....Probability-Review.md => 2025-08-04-01.Probability-Review.md} | 0 ...2.Information-Theory.md => 2025-08-04-02Information-Theory.md} | 0 _posts/{03.Estimation.md => 2025-08-04-03.Estimation.md} | 0 _posts/{04.Optimization.md => 2025-08-04-04.Optimization.md} | 0 5 files changed, 0 insertions(+), 0 deletions(-) rename _posts/{2025-08-04-introduction.md => 2025-08-04-00.introduction.md} (100%) rename _posts/{01.Probability-Review.md => 2025-08-04-01.Probability-Review.md} (100%) rename _posts/{02.Information-Theory.md => 2025-08-04-02Information-Theory.md} (100%) rename _posts/{03.Estimation.md => 2025-08-04-03.Estimation.md} (100%) rename _posts/{04.Optimization.md => 2025-08-04-04.Optimization.md} (100%) diff --git a/_posts/2025-08-04-introduction.md b/_posts/2025-08-04-00.introduction.md similarity index 100% rename from _posts/2025-08-04-introduction.md rename to _posts/2025-08-04-00.introduction.md diff --git a/_posts/01.Probability-Review.md b/_posts/2025-08-04-01.Probability-Review.md similarity index 100% rename from _posts/01.Probability-Review.md rename to _posts/2025-08-04-01.Probability-Review.md diff --git a/_posts/02.Information-Theory.md b/_posts/2025-08-04-02Information-Theory.md similarity index 100% rename from _posts/02.Information-Theory.md rename to _posts/2025-08-04-02Information-Theory.md diff --git a/_posts/03.Estimation.md b/_posts/2025-08-04-03.Estimation.md similarity index 100% rename from _posts/03.Estimation.md rename to _posts/2025-08-04-03.Estimation.md diff --git a/_posts/04.Optimization.md b/_posts/2025-08-04-04.Optimization.md similarity index 100% rename from _posts/04.Optimization.md rename to _posts/2025-08-04-04.Optimization.md From 029dbabb0df3128c78472d076e07c98e1adad253 Mon Sep 17 00:00:00 2001 From: 2024148034 <1221ohr@yonsei.ac.kr> Date: Mon, 4 Aug 2025 16:53:00 +0900 Subject: [PATCH 24/52] Add markdown summary for chapter 4.3 --- _posts/2019-04-29-license.md | 34 ++++++++++++++++++++++++++++++++++ _posts/image.png | Bin 0 -> 16678 bytes 2 files changed, 34 insertions(+) create mode 100644 _posts/image.png diff --git a/_posts/2019-04-29-license.md b/_posts/2019-04-29-license.md index b172de959e..c0511913d0 100644 --- a/_posts/2019-04-29-license.md +++ b/_posts/2019-04-29-license.md @@ -184,6 +184,40 @@ $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다. ### 2.4.3 Mutual Information +![alt text](image.png) + +>**상호 정보량(Mutual Information)이란?** + +상호 정보량은 엔트로피와 조건부 엔트로피의 차이로 정의된다. + +$$ +I(X; Y) = H(X) - H(X \mid Y), \quad I(Y; X) = H(Y) - H(Y \mid X) +$$ + +조건부 엔트로피와 상호 정보량의 관계는 위와 같은 도식으로도 표현 가능하다. +특히 $I(X; X)$의 경우 아래와 같이 계산되며, 결과적으로 $H(X)$와 같다. + +$$ +\begin{align*} +I(X; X) &= H(X) - H(X \mid X) \\ + &= H(X) +\end{align*} +$$ + +--- + +만약 $X$와 $Y$가 서로 **독립**이라면, 위 도식 혹은 정의에 의해 $$I(X; Y) = 0$$임을 보일 수 있다. +또한, $I(X; Y) = 0$이면 $X$와 $Y$는 독립이다. + +상호 정보량은 다음과 같이 **KL divergence**로도 표현된다. + +$$ +I(X; Y) = D(p_{X,Y} \parallel p_X p_Y) +$$ + +위 식에서 볼 수 있듯이, 상호 정보량은 두 확률 분포 간의 거리 또는 발산 정도를 의미한다. +$I(X; Y) = 0$이라면, $p_{X,Y} = p_X p_Y$가 되어 $X$와 $Y$는 독립이 된다. + ### 2.4.4 Properties of Mutual Information ### 2.4.5 Conditional Mutual Information diff --git a/_posts/image.png b/_posts/image.png new file mode 100644 index 0000000000000000000000000000000000000000..997872b82d941a427c0fa6967da793caa83a7cfa GIT binary patch literal 16678 zcmdVCc|6qL`!_yh36;o1mPjH)QMN)^qU?s5v6VHlMr0R~NRuUG-?uR{c9DG~Axo4k zyFzv*>sV)gNAJ(~^SdAS_P8J4$9+HU$Nfhyyk4(!Ue~$KbzSFqJ<@2^VH}HrL)`}-NN1IdT2wYYng57$4e4MFM|9r;@Wo9^uN}e1&KFYA!isWPuqC= zY`fl7ERD{lZDT!sq3-#W8OdW~7wY@o(46IKxORXiwv^h|78KwM9QSllTXV-Ga|3Gg zDYpxK35R}*ID`DY1sWjk#eLiMqoJW$u;8k}`v3g(`OPveks^bNy{jT+8TF&lP5T++ zvT73yki@6dP;sI7sljfy?8kBw0dqMjqgla45ksqwjmE-93z!4Tye|Bz_6lT(cUtucqz2Yi5 zFkvz_Z~SWM#k8aCia znM<4IiZ2P7q=5)_UPFF7kR3wzq?^5Y)xI5OG&UARe>WRB&}5K$YrN6BV`?@)-kTht zn_(9I^^l$#`tcAWL1TsD!y8os!XW;U|Wr+9{AmxvVF~5t$?iFgZNE3}Xd}kCj zq;Hx7OlMwd-`tmV9rx7gR~@4faf7>Ln_k_tH-~{km6?nm-(kVLImj6Je(GQE*6FFi z@muXbE4+-*^U-vba<#%s^vGY*qSA^6YRemsOE=$QmziGd{rOSS=Mxf}O+JIVcQB&7 zs38K;3InfX1Q!k6&_LuzcFV+ZC$>(QJeXj`L7qDS`3!IS&fOI~ESTOP9qct8l5S~g zinVwJ90<9t_OBh12FWPVac`m9vd+|y8~i{m(-tCxgBFEw8Q<=ix;=W422xmC27$A# z%6AFLJRPBMVD+qX4GB?X1gbehU*@q}eci+EX1dSb8X-O`%%~PB_xd-ss;9(Ag9pNK zWSqY&mfQ-r@^MBJHPHP1l*kjQl2RY0>uo5I=QN-XCZ+=B?7oFfQ#W0S%2G~dR+5() z48qs`+Mf!93jHi<2;{PQ=6~jj8(46cZNK{*V_#{~jwvf;urb-ReD1)CeLiAWHQJ8x zUMi}Zav{&U#C(k_BM{P^WMj4i>^>9{5B9c}+A$jKi*3e4dW-bqNX1Lqi$8W??{7NC z`z$w`?p+txrGaI#&iedGYMHGG*qm0{yY|f;C|jbB`x$v^l{rTH;Tn#~TwPi_{Hw>7 z)_dkj${%F8y=XdR;8i>3_4ijnfrPlQ=PyRAND$*?>;5L}X(|5~ zs9L>!=i_=3hJp{i-Z7`cgIRTpkmZ2pKGH3fm2{Xqsf2f<5jm2FZ{TvU-UWQ^T?Rw# zVV>|_uR0o>1DBMMu_sTWU=ZWHM27|PEj|JBsz5K{7JK%h{ktcqwty4;Q9vDR*~)M6 z4T5w9dV8gO1Kg_3DAT=ba9wI>SD9YmclO-mJccH`-CNe|WbIPwN9vg`ZuZ~$U}2P4 zyFH&$oIBz+JWTU%RU>0}8e)%{gX!}D*#!ZZzU$JW25t9!aJ z9Tw)jH7nGfvWLtPJNESgyop-0;3sf#KluuRZ1yo#^8Y($dO0`hQ zE+%^$t&FBAa9!02-5Nigdl{!z%4rK)>Sn&6gI(u9#bt+EHZA7Xz2or&Z~4Ua(C|iW)_f`<)vM zq!kvlH!9`K6FatX4|L5T&2iEa%^<5@3hVU>5yn^=VbK@-&n22uL;H=Qo3MN>lJ6K$ z&3h$$Eutrw4D7)p7w`yKHy*k4qeLhr>bSnv=;bV!m==RRQpv3Jx;wQm0}_t#Ii_!k zHa>S2AIgHkqUB^1A`M*vVw_eV9;bb&NV^rwo~xXg&EG*IVu^-z6d*(3w8xQfF&|5f zx7iMN8Bm|tP=ZJ*AF^>d6;{v^T`N2y79xyyHsXC;X;L$4mpP2YW=@5!E^D6^*zTV%f zT!frfOAZS1-uk3Y7Jl6TLX)f-!uUwQB_F1xXA^rIVd{gz!*SV<)&q`&;M@19_*@hq{Qv}L8BgdS6SF(YKOxzUE8EPV3fAfHV0a2N z9HB~w3`lVs`yeoBix{5&7~bsl-^>`b#O%mNP>dC06mwq;>6qdOfeOnU#E21i{7P6$ z&*S|GgsE{)Ea{B`G8#?`CZ~yQNKgMB3dm>NBZSnGQHDwaZ$A@X8C<_T)na`Hc{lD; zzqm5g<04Y&z0o^r!OJdfcD1}H)NgT{XvSm#VjHAc0?Q1AC7!lK%i`S<(HBa7b$^YD z)rQ;qC{WL=+y zeGOM#83PghX!5O}s;J2CFTZaW%zOdVe652~KMSVX@^|i|S+RJw++J&Ks;>Rtym;7S z#!O32WCl=LkhtnVUI-#fUFZb~DThbjK_(^JLxcZ=uZesRgd1MM+(@5Pf&AxH- z4$pBETmd{&8tm2q&lb;PYJ1H};Ht6KE4I&v&tQMPT%NH@u6Uwv2*&@;AdecanfZc2 zFD-kq7mx5bg|HW)D4FJkz!ZKeNiiUwP#eq1SfcTcCW+{O*>EuPt(P#z)($pZ)!2#m4iqjQJ;di6M z!flL!3*1P&1%+|wnIyizcQPWh{~Z_Z*yM)bz9f;Q#YFRTVyzGPEbQp}F2R)|E5xCZY1vaRanFG3@gtj- zlh*0Q>0b)l2`bQhTxLMNRq{Z~cHnhfMMWM=)a<&JGdPGi^3sK8DAHa8PF4<_49Yia zJYu`P_*FMX8_r~mf-xaKx*tcr{UqiGfv{QXF{*uGMBov~q($USdnTmy;RrJ-;e%p` z<$0}iMyTQ)286hIZ@`H!d(o#kc!L;ytyjE}`Pgzpv%o9EDoXZQ5-WxQkT3l3rqdvV zRsjR;eL=nO%s}!r45|ghh#L9@F~uVxY+yL2280*YT5Q~JOC$>vY0w@)cs!!tXmBwg zH5CTcwo;&vy$DyLJ9;ZGufEfq;t9s18OMmZmua=SI}ll`pO!3-f+c?@pAx*2`GO5J zj$Z6GSp(IWVZl){^-Fvb;TjSupb- z5SPeqFL!o87=QH~M%lxmFx_vluN`x|EfAuY;H}z#LtikW_K$(JTKhT0;7vCg7(9(y|9Am}4LC#p^M!zq>Uk)f)_!p88Em4Q z=XuEx#tx^%ZF)tqAaso_2tWC-s-{WX^wXE%*JNTE2_ThHWhjGK zgG3tE;jUnj9HSsl-Eth+6*8kUl_aF_!;5E8InUbjYTzLlVjme>RA?W#;wd*wbK(O0 zT0;8n*c^y>!uA8gmJS~X+YydH50w>gkHft!>oekD<^Ag`s?(S9_f=Ku4~`=1N4Pyo z8Av&s0z|rI-**TRyzqF$e1th#Q96h*ldczb5prbQAhW;3fRr>Dsh}0wq}AasGMT>t zd%k-KPK6Ac&VO$IlpC5F4!Ur)hq6F2IcZ=J$nzK)7^leN+85xtt6Bl4Y$T(_ZO{`m z+VcQ8@{z}4tT!^}?_}|X{D&Ju9=grVwzUgFICV0!qq!AmwUQSSCC9gxe#B}YB_)~E z;9i%>h%55r6KW`+ML;SE32!fuQBaqr`UY-AOz#L=m}qs<0DzrX_SZ42Gf#D?tlz*_ z@CpY7{JYUVP5+B)M2zR3LMZvUy2e$$^@Ebz%XOy|-veG2uBiaEr`^BBniL2+}DwuoW4ESkT5@f`3=DN3ey`zQbQ$mko3!(YFg) zba2nL-e53*n-}Sfd^y9JIpA<91;(R7Biy_9F@;E$A68M#rNw6-v*N(mS#a8BX!_|i zt8nN5EY0_rFHJy;s_SSrU=!!8q zNuQutbvhBg3`Nz4dD;k$vu2nDfU&std})M}1Mne;!gK~zERg`xUn{Wngzht$I*gz@^{xIs{}h^G-rywV2$ z?)_diauEmx61|9f6m4IC7+NGU_MaUE!x`)M1~#klo#&2WH2$4;>O#sQCGAaIlk)efExt z2jlEG7Wj+~030(bG@;sSOqOW0__qw6zC-MLz5M;(!kmT30z26t#`D5Qqkg2+cuWwd zcDduC(KR9s>@o-Dd92^Yc!p34?Ed3|#ibW`*1|+XFm~LR8YyKIno)h}72QD}Sjj!4 zyB7j{Xhdcs05b3e%u$TC|4~@*fH0vp8Wcv=q_5H0TW;lvL|sbBlwKV>xG~IjEfh47 zP1C90olUtD_<5PGz_X4AEXF<(NV5Wo_CR&`HPrxyGr8FEiUpi~-#lLQN+ELPR&K*x zfT=`_WToC*u!uf<@U&fNnd}R**TCD6{GzwS5~zTiIa`P z*p-$meCbzks3y;NNekN`GjcwNBZ-H;ye# zO?~*?F1ax75U*959SIuS47Ex9&vk{*okU%m@E|TvZyYD&5rp zAT}2YAL}a0slD+R<5nWvCrz!nA+h{$JwH|H%x38?&Cai2`gzHs1H#Fe;{Dp}0sQI0 zM3x}*2(0`&x6Q@WyK(4R+?_bQgV0(;@-t^~G`?iju=Vo(CjUbk4)!3l3Fil_%DbIQ z&i(s$pptnSs7l2gS=s?9hf>(}N6%yJJkZ-}*f7h+8)>q2q-@-Ji#0 z740cf?g-AIP~?l01iy7G^>x5WR0AS}YpL)Tv(WesyuOs4LE;P9PP~qkPlgG-YA`B#jb#f6B&{mV zrYbG#@y)pkAbcO=EC(~{Fc4BNX`wPKq$X)#I)z_av*trFI^`2lFeoY>iWjW3-mS0+ zx$_TWghYH_(}^xSvvmRP%C9O-rz$P#5w|sQlGuVY3#{qSlC);wX_c9U+ek1p-a@2^!el?dA79kH|UZ=H^j= zP^}pmntLp2?sHfPn43>xt7JY9OUp`D08~gb{*9}x_;CmjFi2dB{>=;)kCQ9Moq0n- zd>S4!2He^$v(_N5$UjKV9Kek>YCU>nl>Z~HTp)29EMHVGy^5OqWb{-W2yo(w`~Ar7q6#Q8FMB4u%I zz{>)TCY}kg%>(D99!M2o&2{S6y}BYX2G7dQ#&h7y(+vSL3D}EMK@K`N4OH+$92O4? z!P_hFY9)))e&vUM&Ei+;pz}W{zl{JUfLF$L_?W)yV?`0jeB_{GH2De(E`J{ zA_EZ<+o~x(pDHBS+>&0aDvBG@p19Hswnzz$x9TcW*1e1DirBnA2N&H)IjCbX)7i}NT;^pmgq9Q~q-(_U*%9=aabc?gro zzq+(0efEF2|9fXpj`z}izvZ@-$;NZz_vGAR1Xqe&S^tlC+Y1JPo6|e9A7hCvBb1$@ zFVFU(CSG%Cij<|<-QM`xOnSffGkE7$-fHk_%l59=XG6+C+85s&k(IJ!l#H^$^Tpo< z#e{m|wSw!A_wP{ZS4@05WX&|fvb)P+h>dDq=c-Xxz!?xetYja4`uqnZaiawKEK9W^j{sMVoxENt`NM*NcVlp6n ztKVr-^EDqmY1%nE5!(47 zSE-X3WNp()%at9dJY8_OFbB`p*j^+NwbGn+ly+N42jL&pzR{Vv)>3jV z)c@7lf=mswZU*E9weJ?6kWW`8I0kvS8z7PNSmOdWoVq5GPq==GeKPDIJRG)H*xIcCpi%mRA z^j9|(>|*Mt^Q^vXr*O_QDcVkryq%GNe^=-BbALivrNJZGdea;4=gAI@gsoayu(Sk^ z>GNMAS7iiz^GbV2jnY0LXQqL|*Q^r^`zTocEHnl<{x$15ZSCd8KSUvqg?mbzLO_~;-z_A zJn$liM#U?HIkSm#1g(RzzBTI}uD$%I^?kDZ87%ConAS-y>ppp($tt*N9NR)vGe%1Z z{4DVqwG*^*5r;wYJ<#s28L0^v^VJ(W~W!f91>U&AGQ;DPa^{xV=NV3)DJoLZX35KU{RW9?lY5qNDn`Y4CR!E@E`fFw%fWba^wjtu5r%fzVub2ORK? zCt&3gywcx7VmSxfeD@bFH!(h10HlgQO5}VSw7mM{v=MUNLQk9TOLBKAXWY=yjn% zLuz-ie>I{qsAFXP5v3#8&oSW+hEoCTo@Rg12^fNKpfC4Ep*PzsN#~?XLtMEACquW4 zZ^Ybqg%C9hn-ell8!>&oap?H|-eY{h8(f36|l z$|-LmNI{R%P#=l#!n%1CgSUGTlRFWwNsh3^HFNZY$07L_rQpdeTgtt)0kKrw)EhUZ zx?}>mCl|WK9~eahQd|NXh}$b0=3ymdyB*duyobxYQ6&c>w$r!?uABNxinP{_RiodX ztDZK`9&MCMGoFY~(#@#-6F202SUL2CVSJn{H{{&*FdUwoxVw2OGf4Q60Lj?+vGVbRXvfSEnrjf^MLQ_(V_<1s5Zejiw&sqm>;r4?! zVcue^2ireF&+Bfj2G)3OQu4|BffJ-eV8|9a)**Pa7trzB@LXQD1%wUMXSsfnS^&Bt z=A)o|O~F^!ZvRjIew_U5yoKY#%W` z_t2-<(5JBWk*gI1e)M)uENo9+mA<1ZKl?DpF7V-PQTf2Ekva1YBYuC^4bRrz<*58Z zd2es|f!~GK2UZ&hAEkR4BIf|p{S-U@QK>YUc^v1j%C;agZLoRs&57hBUe#b^__wyi zi%dOjAvr2rW-Z;5?x*i3&?l%xfl{Oe`$c%`ZW*YP%1!^{RaGSqWnr=n09;@j*xY^S z^TuG4wJ_QK9kJ5xc*eWz9)%9R$T*D;Us_UJ#_9O_)8EvuIl-KvYzQ6n0 z=9#Bq_P~3#y?>VRd=5L-9^N-8Ywzg`gv{RYKOQyBAivcPVdU5~9MOYuA=@rbj$-|- zM$m-Y(1Km~rr*^Om!I&!I0wIrE>y1sZ-x~`kQV|vf9RaYBx_|-N4nEvvD;U7I4As;1o&dVd}x2NAn|JU{vF?y04T5?tsT^IG>!3J3$Q z((7;&p3`>&lhHi(4xpami&V$++%CoRHQ|lnsP#hwQKnEcGzJgJ`Vm}ko4=S$0TBo9#~yR}<>1@#tUD(l!$W_z;fO__ zKH87|+BJ0f0=}ScLFEYa-|>l3;9=hOGi)1;+^|jYl1I7WC#Pl!xByxP! zYkb61gUut9zF%M-W>DbaeeT8_gw4?NPcIjZnXvbD<2{9{@(cJb(g2Ok#6A|$b)%*{ z!zYQzZjm}G4_|53ka^%P7NS}GFO)p>)Pea!_x9n+a8Yo0n-f69A3jpO6(;_kcYX84 zdzC+H$wH)CkWvhIwC!6H!{-knr>$3UOs zY<&VE?r{94b%yyc@q|S$4IVcd6*nQF+vc{s+1+ev6p{Y)3(x4pmtuW@h<+0;U1h#v z&hxe96JIcl0ppU zP*TODAEw`z1u{tTO97s$@us@6>WYc<(>u>LA7?I_q$NA$f#L&@+cuP}%!v8R7?>P( z-f5kBw9GF1?GN9F?(|iKHDl2>9ic#b3LQ zhp%LrdkJ+uGA{ly!}R!Va%_o9>QS-JFjCm2KvNaD;`gXtP$D3wxc5Vj_B=D@K)Y`> zB1athCdJi5+-uV)Y~Wo@pq~rDb(7M*L8}t(JBF<7#{~)_PI%62S4J$ZJHMx2RypkkBu?eFUNB>BB9lqWy`c>;@! zr-Z>)CzIqwPVb4Zq5E~NNMp_i!(w$HKj@F`1uKkLwfrq^%~M^nm)KboKg>8vmue*( zT%DB?!CXur99b6ZaLw$t8wwQBR@UI zMkB(8c%PB^Eu9xarg1O*ymG33(%OJRtf0&o&!pU$r$|i$LM5o3sWEc@O&_S@4mG1Q{L$%on)hI4XJjseMCXH+hQ>t~5&blDSXhX6wynp~O0ygL$1%;&cQZCIF+FjfL9U$Kh?=fW zK<(ghLs6utPd{+p<$s$ObqySqu=mQprb4MT4#JMYKdpUEO| z>$9-DVW09j>TfnxQR-xVhJ5kmTL<|pkz6AYab!uT?Nxu_`0L#)P(Mf4hi>$Uh&J;6 zn)om{B>>iF?Qw-xdfHC4I*~bgou73(V>Qhbb-8=}pV_e-?^}fKDWso(Kwv6B2_ZsL z-erGYwZz}#O>`g@F#TMP6olh z!pM7>oS(LXC2j}&4Sb&zlVzcE1d`ITnv&f2Y?Hfd8J}yWU)`=~VAYhFX!nmC9*W{U zRQ2+SK&(Yje&If^e3S~&&-?;+;do-&=|y>Z{-TyY1vtyi9ZyvB?U%Mo@}Q)o=Ds*-H>e zf109{)Zv`lNS$Ax#p{jWqRwbf^2BdI!hC8|E}YOY-YU^=L#(vArpx~3Hh@4Rl?xED z5)McHhT{bQ@YX4-h4=Z>5%-ot#fa`xgYTZI9^r!}uk&B)?oYh#t}y$!s!>tf7Lq2* zzE3HYi>4JeDKaR>g&xw(CImJ^`Xd+zkXJq<5is{Rw~X+Q)OBnQdRsIbWR5`;A2T2ko_n1Md)+*hRh~DK({KQM zO$J$Zy5a&?ydV(ll^};jowlOG30i?|tCdZSJcDVjj3an;+qVZ>S^rezGcdYj<;>)e zkOA*+?D!AU2g9>Gx^bzCRn;{LTdFr85Q`WZys@!S1bv#0du;-JLBxHmrR7%B+WwOJ zl+r{^1q6~A`mg#F{LMacXXCA6&ZIzk2t){M$yaZ1^)0KdqzCiS!b5Q{_&7e{J})HB`R=>lU*W4N7x>RwZEZgi6(n*2uJB@@fNyCf%V>LR zPTN<~=Q*-!xvD=Db?27jv3!(TZlWlN%5dD2is+{XB?xuhYV zQqFs2ww6-GJW+~Kk6o+{8Bcwfa`RH0c(`lQGd=5luwd&;*I+tY7QOq@w9Yk$=)*q! zX@iNSjIGMkm)BLUJIbgmiFd&tIFkvEI0H`f2%6MRs$c6l7(}#V4hZZEhs0{)0@FWL zQ>Aro5h`F=$czVq$-@pN4M={&-gb^23M=z3D zAj)djgd6%f-dT0>hOf(&t8Zwr~u zpUO@gR14u_E(lD4g{YS3`{UE%3J3R()s~Up`8YwdEF|`+3J!W5Z|9Ju%|~{g0YnZP|S!$A?(>|u_i3-SglRn4cRzj26Y2Lv}mC? zJL7hUUSsUEJPIQ_fGQ+{qhPCn%&t4P0m;&KCgRm5ZDzDAMCvSyf5O7(Lh6G5$u}u! zhcl+N0o&8vGCiAw35hfp@{Vo0-^rbyesi+_^Mqj7EVq}T}<5v<7h)~1{GJ#t*rR@6Jt`4fyEi^od zTfC0t-oJL0HIwhnR+Ov|pxfZ+-S6`<9)FrZi7v}p><*vJ;?T$b!myzUZ}$T&H=9PI z@Tc}q2li4Uh4#-s5u2DKHUzL53*EWun?&}B?$`{OnpEH3?9|&+G>j&&)9y`{sc+Lh zUjQX#m?^%Phr>Mz*PM=zi}+m4cnPR}jyt@@-cuXxn6RB^xrFc_S{i;UqVt%7n(<4E zT@!2W>wOO|#OP+!lqyfhEi9UsbuL&wJx~E>X3N?4@N6Nmd1s1`SAJ;?Kht zZ#N@7A^Qb~jt)mxqv&eWpELw;t}f7ax4NUOnmc8G7!{Jo9uqtdb^#R1$|sLA@used zX{sE|1dnY9OBwDGKxnyHwex_;vllT$A8EbaaAWzH>Yh0>uzyxy|3~OWj4zbDvk>N~5p3E^>}#0rXt?nc=}bqjAmE?% z(QCcmdG3C{J~Cag`RQl*@Lw#9 z8%`SZ(yu1A%Q&!aGt~!KY_qQBj+-}IbFBgnpekiwkaG7!vgzi`Xb`WK3?N7_e0#%~Xx5r`e zUQ-5E<3aD|^mS%x8}w>uskirg9&x=jOfjsRr7{4 zr$vbx0z}*&9L9VHCNJ=34G8hGR0s6;xq|zOt{b@e9V|?$8{d`l4|+Zx_j&COqQH8k zwSgd0!NJ~2c%kec-pk(l*ob#$KCOz0)Bw`5fze}!#0bC19v_80>TjY)9Un2ZLsm5B z<_?X=>eE~&^4t0nzE9kL)9G)64_520NH(#tAemXcCGUFkZ#8ti`s8o997+nJY%Y@a zi|;v4zS*=H<0VAT``rT3(Gskb_Qu|~uWm+U_vwWC9x=8(`)A6yf0W;=ND}fJ2YGV6 zVoTFu^(g6MU%`px?F0e-c=N<{$vU)fKf9oX9q)}W;-p{BobL&uU-SfJZ_n(=Ws;8$ zNeggMEoKimYyoyu@Ug;&QLm}y)d9f4Fb5D9yz41CZQCwwy)FS)CcJm%_i#_wyaKDZ zDC-HQN&+^!GukrFk9#k7<#|5yF}k*p<2BVo*^J=WS&~S|KK$Lc_T8MUbI{vZ=hgpg zk&86l=$z3LP;_s5`reA%nwd*qDQVb|5*Q^Wzs4I$A@|EnkpssgH$uqOI<2GZ>v8+w zxLHsI*$_)qy-V@yCq-)E#JU3NAYEsI7_pTmr&5pj-lyLv#6VKpT7Dx5RCBcwkJzfn z>7XVTra}^1of<(F<9}>^Gj3{j2)X~sX-_c$cyt^v=VJ|XM4z43 zhITR6bfe=IYo9g{H;6sXWAnU9ZILXS&v9EJNt;1eftIg=z$6HcWs_%f;wH|wjx5CW zAKPimqp0B9LyimnIue-3^-+wdwf{`l<60U){P6ZS0MWkAa=TA zbnqsnjAG$|Mg_Ou9FpbA_k*#%N!ees@TFhsk0pppS597qRDvv_^3hKkf#Iu=KI;zN z|8*q#pLz3Nr?~r7|0W}w*ZQdh!AUoe!U%xc=l|;Z2K-k8kaxMt|2h)$-&CXj-?`sQ aVV+apdj*evun)w8sH^Iz6f0Z2`2PU8Nr}Y( literal 0 HcmV?d00001 From cec8bb1c6894e460f176d5cba3aa47e868f07933 Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 4 Aug 2025 16:54:58 +0900 Subject: [PATCH 25/52] . --- ...2Information-Theory.md => 2025-08-04-02.Information-Theory.md} | 0 1 file changed, 0 insertions(+), 0 deletions(-) rename _posts/{2025-08-04-02Information-Theory.md => 2025-08-04-02.Information-Theory.md} (100%) diff --git a/_posts/2025-08-04-02Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md similarity index 100% rename from _posts/2025-08-04-02Information-Theory.md rename to _posts/2025-08-04-02.Information-Theory.md From 6d05cd576aed8a00a8bd0939ff2b778faf3f91e2 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=B5=9C=ED=98=B8=EC=98=81?= Date: Mon, 4 Aug 2025 17:00:19 +0900 Subject: [PATCH 26/52] update feature/4.0 contents --- _posts/2025-08-04-02.Information-Theory.md | 126 +++++++++++++++------ 1 file changed, 94 insertions(+), 32 deletions(-) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index fb1be7f3e0..c77dedbfe9 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -35,6 +35,68 @@ long contents ..... ## 2.4 Jointly Distributed Random Variables +두 개의 확률변수 $X \in \mathcal{X},\ Y \in \mathcal{Y}$ 를 생각해보자. 이 확률 변수들의 결합 확률 분포(Joint Probability Distribution)의 확률 밀도 함수 (Probability mass function)는 다음과 같이 주어질 것이다. +$$ +p_{X, Y}(x, y)= \mathrm{Pr} [X=x, Y=y] +$$ +이 결합확률분포의 확률밀도함수 $p_{X,Y}(x,y)$는 $X, Y$가 동시에 특정한 값 $x, y$를 가질 확률을 말한다. + +이때 특정한 확률변수 하나에 대해서만 (여기서는, $X$) 그 확률을 고려해볼 수 있는데, 이를 주변 확률 분포(Marginal Probability Distribution)이라 한다. 이 값은 다음과 같이 목표가 되는 확률변수 $X=x$에서 나머지 확률변수에 대한 확률밀도함수값의 가중합으로 구해진다. +$$ +p_{X} (x)= \sum_{y\in \mathcal{Y} }^{}{p_{X, Y} (x, y)} +$$ +다르게 바라보면, 다음과 같이 가능한 $y \in \mathcal{Y}$ 에 대한 조건부 확률 $p_{X\mid Y}(x\mid Y)$의 기댓값으로도 생각할 수 있고 +$$ +p_{X} (x) = \sum_{y\in \mathcal{Y} }^{}{p_{X\mid Y} (x\mid y)p_{Y} (y)} = \mathbb{E}[p_{X\mid Y} (x\mid Y)] +$$ +이는 $X$에 대한 주변 확률 분포(이하, Marginal)가 조건부 확률의 $Y-$평균으로 간주할 수 있음을 보여준다. + +--- + +이제 결합확률분포를 이루는 두 확률변수 $X, Y$에 각각 임의의 함수$f: X\to \mathbb{R}, g: Y\to \mathbb{R}$ 을 씌웠을 때의 기댓값을 생각해보자. +$$ +\begin{align} +\mathbb{E}[f(X)+g(Y)] &= \sum_{x,y}^{}{[f(x)+g(y)]p_{X,Y}(x,y) } \\ +&= \underbrace{ \sum_{x,y}^{}{f(x)p_{X,Y}(x,y) } }_{\text{term1} } + \underbrace{ \sum_{x,y}^{}{g(y)p_{X,Y}(x,y) } }_{\text{term2} } +\end{align} +$$ +위 식에서 $\text{term1}$에서 $f$는 확률변수 $X$에만 의존하고, $\text{term2}$에서 $g$는 확률변수 $Y$에만 의존하므로 각 항을 확률변수 $Y, X$에 대한 marginal로 쓸 수 있다. +$$ +\begin{align} +\sum_{x,y}^{}{f(x)p_{X,Y}(x,y) }+\sum_{x,y}^{}{g(y)p_{X,Y}(x,y) } &= \sum_{x}^{}{f(x)p_{X} (x)} + \sum_{y}^{}{g(y)} p_{Y} (y) \\ +&= \mathbb{E}[f(X)] +\mathbb{E}[g(Y)] +\end{align} +$$ +이로써 확률변수 $X, Y$가 결합확률분포를 이룰 때, 각 변수에 대한 함수의 기댓값은 항상, 심지어 $X, Y$가 서로 독립이 아닐 때에도, $\mathbb{E}[f(X) + g(Y)] = \mathbb{E}[f(X)]+\mathbb{E}[g(Y)]$의 선형성을 띰을 알 수 있다. + +--- + +결합확률분포는 또한 다음의 특징을 가진다. +$$ +p_{X,Y} (x,y)= p_{X} (x)\cdot p_{Y} (y) \iff X \perp\mkern-10mu\perp Y +$$ +$\impliedby$ 방향은 독립의 정의에 의해 자연스럽게 도출된다. 따라서 $\implies$ 방향을 증명하기 위해, $\phi_{1}: X\to \mathbb{R}, \phi_{2}Y\to\mathbb{R}$인 두 함수 $\phi_{1}, \phi_{2}$에 대해 +$$ +p_{X, Y} (x, y)= \phi_{1} (x) \cdot\ \phi_{2} (y) +$$ +를 만족한다고 가정하자. + +$X, Y$ 각각의 marginal을 조건부 확률로 나타내면, +$$ +\begin{align} +p_{X} (x) = \sum_{y}^{}{p_{X, Y} (x, y)} = \sum_{y}^{}{\phi_{1} (x)\cdot \phi_{2} (y)} = \phi_{1} (x)\cdot \sum_{y}^{}{\phi_{2} (y)} = \phi_{1} (x) \cdot C_{Y} \\ +p_{Y} (y) = \sum_{x}^{}{p_{X, Y} (x, y)} = \sum_{x}^{}{\phi_{1} (x)\cdot \phi_{2} (y)} = \phi_{2} (y)\cdot \sum_{x}^{}{\phi_{1} (x)} = \phi_{2} (y) \cdot C_{X} +\end{align} +$$ +이때, 전체 결합확률분포의 정규화 조건 $\sum_{}^{}{p_{X, Y}(x, y)}= 1$에 따라 +$$ +\sum_{X, Y}^{}{p_{X, Y} (x, y)} = \sum_{x}^{}{}\sum_{y}^{}{} \phi_{1}(x)\cdot \phi_{2} (y) = \left( \sum_{x}^{}{\phi_{1} (x)} \right) \cdot \left( \sum_{y}^{}{\phi_{2} (y)} \right) = C_{X} \cdot C_{Y} = 1 +$$ +$$ +\therefore p_{X, Y} (x, y)= \cfrac{1}{C_{X} \cdot C_{Y} }\cdot \phi_{1} (x)\cdot \phi_{2} (y) = \cfrac{\phi_{1}(x)}{C_{X} }\cdot \cfrac{\phi_{2} (y)}{C_{Y} } = p_{X} (x)\cdot p_{Y} (y) +$$ +$X, Y$가 서로 독립임을 알 수 있다. + ### 2.4.1 Joint Entropy > 결합 엔트로피(Joint Entropy)란? @@ -195,7 +257,7 @@ H(X) \ge H(f(X)) \] 이다. -**증명.** +**증명.** \[ H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X) \tag{80--81} \] @@ -203,19 +265,19 @@ H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X) \tag{80--81} \[ H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X)) \tag{82--83} \] -따라서 \(H(X) \ge H(f(X))\)이다. +따라서 \(H(X) \ge H(f(X))\)이다. (\(f\)가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 \(H(X)=H(f(X))\).) --- ## 정리 37 (Mutual information은 대칭적이다) -**정리.** +**정리.** \[ I(X;Y) = I(Y;X) \] -**증명.** +**증명.** \[ \begin{aligned} I(X;Y) &= H(X) - H(X\mid Y) \tag{84} \\ @@ -229,12 +291,12 @@ I(X;Y) &= H(X) - H(X\mid Y) \tag{84} \\ ## 정리 38 (Mutual information은 비음수이다) -**정리.** +**정리.** \[ I(X;Y) \ge 0 \] -**증명.** +**증명.** \[ \begin{aligned} H(X) - H(X\mid Y) @@ -245,8 +307,8 @@ H(X) - H(X\mid Y) &= D\!\left(p*{X,Y} \,\|\, p*X p_Y\right) \ge 0 \tag{92} \end{aligned} \] -따라서 \(I(X;Y) = D(p*{X,Y}\,\|\,p_X p_Y) \ge 0\). -여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다. +따라서 \(I(X;Y) = D(p*{X,Y}\,\|\,p_X p_Y) \ge 0\). +여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다. 또한 부등식 \(H(X) \ge H(X\mid Y)\)는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다. --- @@ -258,7 +320,7 @@ H(X) - H(X\mid Y) I(X;Y) \ge I(f(X);Y) \] -**증명.** +**증명.** \[ \begin{aligned} I(X;Y) &= H(Y) - H(Y\mid X) \tag{93} \\ @@ -268,7 +330,7 @@ I(X;Y) &= H(Y) - H(Y\mid X) \tag{93} \\ \end{aligned} \] -**일반화.** +**일반화.** \(X - Y - Z\)가 마르코프 체인(또는 \(X\)와 \(Z\)가 \(Y\)를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다: 1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\) \tag{97} @@ -279,14 +341,14 @@ I(X;Y) &= H(Y) - H(Y\mid X) \tag{93} \\ ## 정리 40 (데이터 처리 부등식 III) -**정리.** +**정리.** 만약 \(X - Y - Z\)가 마르코프 체인을 이룬다면, \[ I(X;Z) \le I(Y;Z) \] 또는 대칭적으로 \(I(Z;X) \le I(Z;Y)\). -**증명.** +**증명.** \[ \begin{aligned} I(Y;Z) &= H(Z) - H(Z\mid Y) \tag{100} \\ @@ -303,7 +365,7 @@ I(Y;Z) &= H(Z) - H(Z\mid Y) \tag{100} \\ ## 문제 29. -\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라. +\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라. **(b)** \(I(X, Y; Z) \ge I(X; Z)\). ## 풀이 @@ -314,12 +376,12 @@ I(Y;Z) &= H(Z) - H(Z\mid Y) \tag{100} \\ \[ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X). \] -이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을 +이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을 먼저 \(X\)가 주는 정보량과, \(X\)를 알고 난 뒤 \(Y\)가 더 주는 추가 정보량으로 분해한 식이다. ### 2. 조건부 상호 정보의 비음성 -항상 +항상 \[ I(Y; Z \mid X) \ge 0 \] @@ -334,12 +396,12 @@ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z). ### 4. 등호 성립 조건 -등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면 +등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면 \[ I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X \] -이어야 한다. -즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다. +이어야 한다. +즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다. 이 역시 \(Y \to X \to Z\) 형태의 마르코프 사슬과 동치이다. --- @@ -373,7 +435,7 @@ H(X \mid g(Y)) = H(X \mid Y) \[ H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0 \] -이다. +이다. 즉, “\(g(Y)\)를 조건으로 \(X\)와 \(Y\)가 독립”이어야 한다. ### 3. 마르코프 사슬 해석 @@ -381,7 +443,7 @@ H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0 \[ I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y). \] -이는 바로 +이는 바로 \[ X \longrightarrow g(Y) \longrightarrow Y \] @@ -390,11 +452,11 @@ X \longrightarrow g(Y) \longrightarrow Y ### 4. 특수 사례 - \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립. -- 또 \(X\)와 \(Y\)가 본래 독립이라도 +- 또 \(X\)와 \(Y\)가 본래 독립이라도 \[ H(X \mid g(Y)) = H(X) = H(X \mid Y) \] - 이므로 등호가 된다. + 이므로 등호가 된다. 이 두 경우는 포함되지만, **유일한 경우는 아닙니다.** --- @@ -403,7 +465,7 @@ X \longrightarrow g(Y) \longrightarrow Y ## 문제 42. -다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라. +다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라. **(b)** \(I(g(X); Y)\) vs. \(I(X; Y)\). ## 풀이 @@ -433,11 +495,11 @@ I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\ ### 4. 등호 성립 조건 -등호가 되려면 +등호가 되려면 \[ H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X). \] -즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다. +즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다. 다시 말해 \(g(X)\)를 기준으로 \(X\)와 \(Y\)는 더 이상의 상호 정보(조건부)가 없다. ### 2.4.5 Conditional Mutual Information @@ -587,11 +649,11 @@ i.i.d.가 아닌 경우 사용하는 모델들: ### 2.5.1 What is Markovian? -i.i.d. ←────────────|────────────→ Practical +i.i.d. ←────────────|────────────→ Practical **1st-order Markov** -**1차 마르코프 체인(first-order Markov chain)의 개념은, i.i.d. 가정과 실제 현실에서의 데이터 구조 사이를 연결해주는 중간 다리 역할을 합니다.** -"마르코프(Markov)"라는 말은 **1차 상관성(first-order correlation)**이 있다는 의미입니다. +**1차 마르코프 체인(first-order Markov chain)의 개념은, i.i.d. 가정과 실제 현실에서의 데이터 구조 사이를 연결해주는 중간 다리 역할을 합니다.** +"마르코프(Markov)"라는 말은 **1차 상관성(first-order correlation)**이 있다는 의미입니다. 즉, 현재 상태는 **직전 상태에만 의존**하고, 그 이전의 상태에는 의존하지 않는다는 것입니다. --- @@ -629,7 +691,7 @@ $$ - $X_{102} = 50$ - $X_{102} = 52$ -추가로 $X_{100} = 50$이라는 정보를 안다고 해도, +추가로 $X_{100} = 50$이라는 정보를 안다고 해도, $X_{102}$가 어떻게 될지를 예측하는 데 **아무런 도움이 되지 않습니다.** 이것은 **1차 마르코프 체인의 특성**과 정확히 일치합니다: @@ -651,9 +713,9 @@ $X_{102}$가 어떻게 될지를 예측하는 데 **아무런 도움이 되지 **요약 구조** -i.i.d. ←────────────|────────────→ 현실 데이터 -          ↑ -        1st-order Markov +i.i.d. ←────────────|────────────→ 현실 데이터 +          ↑ +        1st-order Markov    (현재 상태는 직전 상태에만 의존) ### 2.5.2 1st Order Markov Process From 89e673a9f3ef93013b42fdb3abab784324370080 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=98=A4=EC=9C=A0=EB=A6=BC?= Date: Mon, 4 Aug 2025 17:12:11 +0900 Subject: [PATCH 27/52] Insert * instead of # --- _posts/2025-08-04-02.Information-Theory.md | 185 +++++++++------------ 1 file changed, 78 insertions(+), 107 deletions(-) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index c77dedbfe9..ec9c10c5c4 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -247,187 +247,166 @@ $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다. ### 2.4.4 Properties of Mutual Information -# 2.4.4 상호정보량의 성질 - -## 정리 36 (데이터 처리 부등식 I) - +**정리 36 (데이터 처리 부등식 I)** **정리.** \(f\)가 결정론적 함수라면, \[ H(X) \ge H(f(X)) \] 이다. -**증명.** +**증명.** \[ -H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X) \tag{80--81} +H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X) \] 또한, \[ -H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X)) \tag{82--83} +H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X)) \] -따라서 \(H(X) \ge H(f(X))\)이다. +따라서 \(H(X) \ge H(f(X))\)이다. (\(f\)가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 \(H(X)=H(f(X))\).) --- -## 정리 37 (Mutual information은 대칭적이다) - -**정리.** +**정리 37 (Mutual information은 대칭적이다)** +**정리.** \[ I(X;Y) = I(Y;X) \] -**증명.** +**증명.** \[ \begin{aligned} -I(X;Y) &= H(X) - H(X\mid Y) \tag{84} \\ -&= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \tag{85} \\ -&= H(X) + H(Y) - H(X,Y) \tag{86} \\ -&= I(Y;X) \tag{87} +I(X;Y) &= H(X) - H(X\mid Y) \\ + &= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \\ + &= H(X) + H(Y) - H(X,Y) \\ + &= I(Y;X) \end{aligned} \] --- -## 정리 38 (Mutual information은 비음수이다) - -**정리.** +**정리 38 (Mutual information은 비음수이다)** +**정리.** \[ I(X;Y) \ge 0 \] -**증명.** -\[ +**증명.** +$$ \begin{aligned} H(X) - H(X\mid Y) -&= \mathbb{E}\left[\log \frac{1}{p_X(X)}\right] - \mathbb{E}\left[\log \frac{1}{p_{X\mid Y}(X\mid Y)}\right] \tag{88} \\ -&= \mathbb{E}\left[\log \frac{p_{X\mid Y}(X\mid Y)}{p_X(X)}\right] \tag{89} \\ -&= \mathbb{E}\left[\log \frac{p_{X,Y}(X,Y)}{p_X(X)p_Y(Y)}\right] \tag{90} \\ -&= \sum*{x,y} p*{X,Y}(x,y) \log \frac{p*{X,Y}(x,y)}{p_X(x)p_Y(y)} \tag{91} \\ -&= D\!\left(p*{X,Y} \,\|\, p*X p_Y\right) \ge 0 \tag{92} +&= \mathbb{E}\left[\log \frac{1}{p_X(X)}\right] - \mathbb{E}\left[\log \frac{1}{p_{X\mid Y}(X\mid Y)}\right] \\ +&= \mathbb{E}\left[\log \frac{p_{X\mid Y}(X\mid Y)}{p_X(X)}\right] \\ +&= \mathbb{E}\left[\log \frac{p_{X,Y}(X,Y)}{p_X(X)p_Y(Y)}\right] \\ +&= \sum_{x,y} p_{X,Y}(x,y) \log \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)} \\ +&= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 \end{aligned} -\] -따라서 \(I(X;Y) = D(p*{X,Y}\,\|\,p_X p_Y) \ge 0\). -여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다. +$$ +따라서 \(I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0\). +여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다. 또한 부등식 \(H(X) \ge H(X\mid Y)\)는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다. --- -## 정리 39 (데이터 처리 부등식 II) - +**정리 39 (데이터 처리 부등식 II)** **정리.** 임의의 함수 \(f: \mathcal{X} \to \mathbb{R}\)에 대해 다음이 성립한다: \[ I(X;Y) \ge I(f(X);Y) \] -**증명.** +**증명.** \[ \begin{aligned} -I(X;Y) &= H(Y) - H(Y\mid X) \tag{93} \\ -&= H(Y) - H(Y\mid X, f(X)) \tag{94} \\ -&\ge H(Y) - H(Y\mid f(X)) \tag{95} \\ -&= I(f(X);Y) \tag{96} +I(X;Y) &= H(Y) - H(Y\mid X) \\ + &= H(Y) - H(Y\mid X, f(X)) \\ + &\ge H(Y) - H(Y\mid f(X)) \\ + &= I(f(X);Y) \end{aligned} \] -**일반화.** +**일반화.** \(X - Y - Z\)가 마르코프 체인(또는 \(X\)와 \(Z\)가 \(Y\)를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다: - -1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\) \tag{97} -2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다. \tag{98} -3. 모든 \(x,y,z\)에 대해 \(p*{Z\mid X,Y}(z\mid x,y) = p*{Z\mid Y}(z\mid y)\). \tag{99} +1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\) +2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다. +3. 모든 \(x,y,z\)에 대해 \(p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)\). --- -## 정리 40 (데이터 처리 부등식 III) - -**정리.** +**정리 40 (데이터 처리 부등식 III)** +**정리.** 만약 \(X - Y - Z\)가 마르코프 체인을 이룬다면, \[ I(X;Z) \le I(Y;Z) \] 또는 대칭적으로 \(I(Z;X) \le I(Z;Y)\). -**증명.** +**증명.** \[ \begin{aligned} -I(Y;Z) &= H(Z) - H(Z\mid Y) \tag{100} \\ -&= H(Z) - H(Z\mid X, Y) \tag{101} \\ -&\ge H(Z) - H(Z\mid X) \tag{102} \\ -&= I(X;Z) \tag{103} +I(Y;Z) &= H(Z) - H(Z\mid Y) \\ + &= H(Z) - H(Z\mid X, Y) \\ + &\ge H(Z) - H(Z\mid X) \\ + &= I(X;Z) \end{aligned} \] 따라서 \(I(Y;Z) \ge I(X;Z)\), 즉 \(I(Z;Y) \ge I(Z;X)\)이다. ---- +**문제 29.(b)** -# 문제 29.(b) - -## 문제 29. - -\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라. +\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라. **(b)** \(I(X, Y; Z) \ge I(X; Z)\). -## 풀이 - -### 1. 체인 룰(chain rule) 적용 +**풀이** +**1. 체인 룰(chain rule) 적용** 상호 정보의 체인 룰에 따르면: \[ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X). \] -이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을 +이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을 먼저 \(X\)가 주는 정보량과, \(X\)를 알고 난 뒤 \(Y\)가 더 주는 추가 정보량으로 분해한 식이다. -### 2. 조건부 상호 정보의 비음성 - -항상 +**2. 조건부 상호 정보의 비음성** +항상 \[ I(Y; Z \mid X) \ge 0 \] 이다. (KL 발산 형태로 증명할 수 있다.) -### 3. 부등식 결론 - +**3. 부등식 결론** 따라서 \[ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z). \] -### 4. 등호 성립 조건 - -등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면 +**4. 등호 성립 조건** +등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면 \[ I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X \] -이어야 한다. -즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다. +이어야 한다. +즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다. 이 역시 \(Y \to X \to Z\) 형태의 마르코프 사슬과 동치이다. --- -# 문제 31 - -## 문제 31. - +**문제 31.** 임의의 결정론적 함수 \(g\)에 대하여, \[ H(X \mid g(Y)) = H(X \mid Y) \] 이 성립하려면 어떤 조건이 필요한가? -## 풀이 - -### 1. 데이터 처리 부등식 I (조건부 형태) +**풀이** +**1. 데이터 처리 부등식 I (조건부 형태)** 이미 알고 있는 바: \[ H(X \mid g(Y)) \ge H(X \mid Y), \] 왜냐하면 “\(Y\)를 알면 \(g(Y)\)를 알 수 있지만, \(g(Y)\)를 안다고 해서 항상 \(Y\)가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다. -### 2. 등호 조건 분석 - +**2. 등호 조건 분석** \[ H(X \mid g(Y)) = H(X \mid Y) \] @@ -435,71 +414,63 @@ H(X \mid g(Y)) = H(X \mid Y) \[ H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0 \] -이다. +이다. 즉, “\(g(Y)\)를 조건으로 \(X\)와 \(Y\)가 독립”이어야 한다. -### 3. 마르코프 사슬 해석 - +**3. 마르코프 사슬 해석** \[ I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y). \] -이는 바로 +이는 바로 \[ X \longrightarrow g(Y) \longrightarrow Y \] 꼴의 마르코프 사슬 형태가 성립함을 뜻한다. -### 4. 특수 사례 - -- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립. -- 또 \(X\)와 \(Y\)가 본래 독립이라도 +**4. 특수 사례** +- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립. +- 또 \(X\)와 \(Y\)가 본래 독립이라도 \[ H(X \mid g(Y)) = H(X) = H(X \mid Y) \] - 이므로 등호가 된다. - 이 두 경우는 포함되지만, **유일한 경우는 아닙니다.** + 이므로 등호가 된다. + 이 두 경우는 포함되지만, 유일한 경우는 아니다. --- -# 문제 42.(b) +**문제 42.(b)** -## 문제 42. - -다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라. +다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라. **(b)** \(I(g(X); Y)\) vs. \(I(X; Y)\). -## 풀이 - -### 1. 데이터 처리 부등식 II +**풀이** +**1. 데이터 처리 부등식 II** 이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 \(g\)에 대하여: \[ I(g(X); Y) \le I(X; Y). \] -### 2. 직관 - -- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고, -- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) → +**2. 직관** +- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고, +- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) → - \(g(X)\)가 \(Y\)에 제공할 수 있는 정보도 당연히 \(I(X;Y)\) 이하여야 한다. -### 3. 형식적 증명 - +**3. 형식적 증명** \[ \begin{aligned} I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\ -&\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\ -&= I(X; Y). + &\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\ + &= I(X; Y). \end{aligned} \] -### 4. 등호 성립 조건 - -등호가 되려면 +**4. 등호 성립 조건** +등호가 되려면 \[ H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X). \] -즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다. +즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다. 다시 말해 \(g(X)\)를 기준으로 \(X\)와 \(Y\)는 더 이상의 상호 정보(조건부)가 없다. ### 2.4.5 Conditional Mutual Information From 5b2a8b6aa817c5fa6023224013e22448cc320bc7 Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 4 Aug 2025 17:12:20 +0900 Subject: [PATCH 28/52] fix gitignore --- .gitignore | 1 + 1 file changed, 1 insertion(+) diff --git a/.gitignore b/.gitignore index 6526cbd49b..ab00f89a5a 100644 --- a/.gitignore +++ b/.gitignore @@ -1,3 +1,4 @@ _site/ _draft/ .jekyll-cache/ +.DS_store \ No newline at end of file From 19b192f4322869d1ea5bc92d1c98e6444be95bab Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 4 Aug 2025 17:14:38 +0900 Subject: [PATCH 29/52] . --- .gitignore | 1 - 1 file changed, 1 deletion(-) diff --git a/.gitignore b/.gitignore index ab00f89a5a..6526cbd49b 100644 --- a/.gitignore +++ b/.gitignore @@ -1,4 +1,3 @@ _site/ _draft/ .jekyll-cache/ -.DS_store \ No newline at end of file From ba36f641ce1a710249984769c7a020e521f27d43 Mon Sep 17 00:00:00 2001 From: 2024148034 <1221ohr@yonsei.ac.kr> Date: Mon, 4 Aug 2025 17:23:43 +0900 Subject: [PATCH 30/52] add chapter 4.3 and 5.3 --- _posts/2025-08-04-02.Information-Theory.md | 46 ++++++++++++++++++++++ 1 file changed, 46 insertions(+) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index c77dedbfe9..1c9a818682 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -245,6 +245,40 @@ $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다. ### 2.4.3 Mutual Information +![alt text](image.png) + +>**상호 정보량(Mutual Information)이란?** + +상호 정보량은 엔트로피와 조건부 엔트로피의 차이로 정의된다. + +$$ +I(X; Y) = H(X) - H(X \mid Y), \quad I(Y; X) = H(Y) - H(Y \mid X) +$$ + +조건부 엔트로피와 상호 정보량의 관계는 위와 같은 도식으로도 표현 가능하다. +특히 $I(X; X)$의 경우 아래와 같이 계산되며, 결과적으로 $H(X)$와 같다. + +$$ +\begin{align*} +I(X; X) &= H(X) - H(X \mid X) \\ + &= H(X) +\end{align*} +$$ + +--- + +만약 $X$와 $Y$가 서로 **독립**이라면, 위 도식 혹은 정의에 의해 $$I(X; Y) = 0$$임을 보일 수 있다. +또한, $I(X; Y) = 0$이면 $X$와 $Y$는 독립이다. + +상호 정보량은 다음과 같이 **KL divergence**로도 표현된다. + +$$ +I(X; Y) = D(p_{X,Y} \parallel p_X p_Y) +$$ + +위 식에서 볼 수 있듯이, 상호 정보량은 두 확률 분포 간의 거리 또는 발산 정도를 의미한다. +$I(X; Y) = 0$이라면, $p_{X,Y} = p_X p_Y$가 되어 $X$와 $Y$는 독립이 된다. + ### 2.4.4 Properties of Mutual Information # 2.4.4 상호정보량의 성질 @@ -722,6 +756,18 @@ i.i.d. ←────────────|─────────── ### 2.5.3 kth Order Markov Process +확률 과정 X에 대해, +$$ +P_{X_i | X^{i-1}}(x_i \mid x^{i-1}) = P_{X_i | X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}), +$$ +이 성립하는 시퀀스는 **k차 마르코프 과정(kth Order Markov Process)**를 따릅니다. + +즉, k차 마르코프 과정을 따르는 시퀀스에 대해서 +$$ +P_{X^n}(x^n) = \prod_{i=1}^{n} P_{X_i \mid X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}) +$$ +이 성립합니다. + ### 2.5.4 Stationary Distribution ### 2.5.5 Stationary Markov Process From 6c784323b2a9caefd9a3e210a35f770c0272661b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=98=A4=EC=9C=A0=EB=A6=BC?= Date: Mon, 4 Aug 2025 17:38:43 +0900 Subject: [PATCH 31/52] change # to * --- _posts/2025-08-04-02.Information-Theory.md | 1 - 1 file changed, 1 deletion(-) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index 7bcf4fbb2a..af2b9119f3 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -507,7 +507,6 @@ H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X) 즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다. 다시 말해 \(g(X)\)를 기준으로 \(X\)와 \(Y\)는 더 이상의 상호 정보(조건부)가 없다. - ### 2.4.5 Conditional Mutual Information > **조건부 상호정보량이란?** From 71770da25661b448ae2b37943a4938620ef33e2f Mon Sep 17 00:00:00 2001 From: 2024148052 Date: Mon, 4 Aug 2025 17:41:01 +0900 Subject: [PATCH 32/52] Fix: minor edit update --- _posts/2025-08-04-02.Information-Theory.md | 40 +++++++++++----------- 1 file changed, 20 insertions(+), 20 deletions(-) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index af2b9119f3..02c2497470 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -164,37 +164,37 @@ $\therefore$ 세 질문으로 \(X\)를 완벽하게 구분할 수 있음. 이미 알고 있는 정보가 존재할 때, 추가로 모르는 정보가 주는 정보량이다. -이미 알고 있는 정보 $Y$가 주어졌을 때, $X$에 관한 정보량은 $$H(X|Y)$$와 같이 나타내고 아래와 같이 정의된다. +이미 알고 있는 정보 $Y$가 주어졌을 때, $X$에 관한 정보량은 $$H(X\mid Y)$$와 같이 나타내고 아래와 같이 정의된다. $$ -H(X|Y) = \mathbb{E}\Big[\log \frac{1}{p_{X|Y}(X|Y)}\Big] -= \sum_{x,y} p_{X,Y}(x,y) \log \frac{1}{p_{X|Y}(x|y)}. +H(X\mid Y) = \mathbb{E}\Big[\log \frac{1}{p_{X\mid Y}(X\mid Y)}\Big] += \sum_{x,y} p_{X,Y}(x,y) \log \frac{1}{p_{X\mid Y}(x\mid y)}. $$ -위의 경우에서 우리가 기댓값을 계산하고자 하는 함수는 $\log \frac{1}{p_{X|Y}(X|Y)}$이며 $x$ ,$y$의 확률은 joint distribution $p_{X,Y}(X,Y)$로 나타낼 수 있다. +위의 경우에서 우리가 기댓값을 계산하고자 하는 함수는 $\log \frac{1}{p_{X\mid Y}(X\mid Y)}$이며 $x$ ,$y$의 확률은 joint distribution $p_{X,Y}(X,Y)$로 나타낼 수 있다. 우리는 기대값을 계산하기 위해 변수 $X$와 $Y$를 고려하고 있다. 결합 엔트로피(joint entropy)는 개별 엔트로피의 합이며, 각각의 $y$와 전체 엔트로피에 대한 각각의 기여(contribution)를 고려할 때 명확해진다. 특정 조건 y를 고정하는 경우를 생각해 보면 다음과 같이 나타낼 수 있다. $$ -H(X|Y = y) = \mathbb{E}\Big[ \log \frac{1}{p_{X|Y}(X|Y = y)} \Big] +H(X\mid Y = y) = \mathbb{E}\Big[ \log \frac{1}{p_{X\mid Y}(X\mid Y = y)} \Big] $$ 이제 위 수식에서 $X$만이 유일한 변수이다. 그러므로 위 수식을 다음과 같이 나타낼 수 있다. $$ -= \sum_{x} p_{X|Y}(x|y) \log \frac{1}{p_{X|Y}(x|y)} += \sum_{x} p_{X\mid Y}(x\mid y) \log \frac{1}{p_{X\mid Y}(x\mid y)} $$ 만약 우리가 특정 조건 $y$에 대한 모든 가능한 조건부 엔트로피를 합하면, $Y$에 주어진 $X$의 전체 조건부 엔트로피를 다음과 같이 나타낼 수 있다 $$ -H(X|Y) = \sum_{y} p_Y(y) H(X|Y = y) +H(X\mid Y) = \sum_{y} p_Y(y) H(X\mid Y = y) $$ -이제 엔트로피 $H(X)$와 $H(Y|X)$를 고려해보자. $H(X)$는 $X$에 대한 정보이고, $H(Y|X)$는 $X$의 정보가 주어졌을 때 $H(X,Y)$에서의 '남은'정보이다. 따라서 우리는 $H(X) + H(Y|X) = H(X,Y)$라고 기대할 수 있고 아래와 같이 증명가능하다. +이제 엔트로피 $H(X)$와 $H(Y\mid X)$를 고려해보자. $H(X)$는 $X$에 대한 정보이고, $H(Y\mid X)$는 $X$의 정보가 주어졌을 때 $H(X,Y)$에서의 '남은'정보이다. 따라서 우리는 $H(X) + H(Y\mid X) = H(X,Y)$라고 기대할 수 있고 아래와 같이 증명가능하다. $$ -\mathbb{E}\Big[ \log \frac{1}{p_X(X)} \Big]+ \mathbb{E}\Big[ \log \frac{1}{p_{Y|X}(Y|X)} \Big]= \mathbb{E}\Big[ \log \frac{1}{p_X(X) p_{Y|X}(Y|X)} \Big] +\mathbb{E}\Big[ \log \frac{1}{p_X(X)} \Big]+ \mathbb{E}\Big[ \log \frac{1}{p_{Y\mid X}(Y\mid X)} \Big]= \mathbb{E}\Big[ \log \frac{1}{p_X(X) p_{Y\mid X}(Y\mid X)} \Big] $$ $$ @@ -205,17 +205,17 @@ $$ = H(X,Y). $$ -$p_{Y|X}(Y|X) = \frac{p_{X,Y}(X,Y)}{p_X(X)}$ +$p_{Y\mid X}(Y\mid X) = \frac{p_{X,Y}(X,Y)}{p_X(X)}$ 를 이용하면 위 증명이 성립함을 쉽게 알 수 있다. **Exercise 35. 위의 추론 게임(guess game)에서 다음을 계산하여라** -1. $H(Y2|Y1)$ -2. $H(Y4|Y1)$ +1. $H(Y2\mid Y1)$ +2. $H(Y4\mid Y1)$ 풀이: -1. $\mathbb{E}\Big[ \log \frac{1}{p_{Y2|Y1}(Y2|Y1)} \Big]$을 구하면 된다. +1. $\mathbb{E}\Big[ \log \frac{1}{p_{Y2\mid Y1}(Y2\mid Y1)} \Big]$을 구하면 된다. 이 경우에서는 $Y1$과 $Y2$가 독립이므로 $\mathbb{E}\Big[ \log \frac{1}{p_{Y2}(Y2)} \Big]$를 구하면 된다. @@ -225,19 +225,19 @@ $p_{Y|X}(Y|X) = \frac{p_{X,Y}(X,Y)}{p_X(X)}$ 2. -$p_{}(Y4=0|Y1=0) = 3/4$ +$p_{}(Y4=0\mid Y1=0) = 3/4$ -$p_{}(Y4=1|Y1=0) = 1/4$ +$p_{}(Y4=1\mid Y1=0) = 1/4$ -$p_{}(Y4=0|Y1=1) = 1/4$ +$p_{}(Y4=0\mid Y1=1) = 1/4$ -$p_{}(Y4=1|Y1=1) = 3/4$ +$p_{}(Y4=1\mid Y1=1) = 3/4$ -를 이용하면 $H(Y4|Y1=0)$은 $3/4\log4/3+1/4\log4$이고 +를 이용하면 $H(Y4\mid Y1=0)$은 $3/4\log4/3+1/4\log4$이고 -$H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다. +$H(Y4\mid Y1=1)$은 $3/4\log4/3+1/4\log4$이다. -따라서 $H(Y4|Y1)$은 ($1/2$)($3/4\log4/3+1/4\log4$)+($1/2$) ($3/4\log4/3+1/4\log4$)이다. +따라서 $H(Y4\mid Y1)$은 ($1/2$)($3/4\log4/3+1/4\log4$)+($1/2$) ($3/4\log4/3+1/4\log4$)이다. 이를 $H(Y4)=1$와 비교해보면 더 작은 것을 알 수 있다. From 7002049cb6c55c49d27a61c9e2ad3af9ee3a2704 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=98=A4=EC=9C=A0=EB=A6=BC?= Date: Mon, 4 Aug 2025 17:44:09 +0900 Subject: [PATCH 33/52] change \[ to $ --- _posts/2025-08-04-02.Information-Theory.md | 62 +++++++++++----------- 1 file changed, 31 insertions(+), 31 deletions(-) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index af2b9119f3..bc40d7d257 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -511,95 +511,95 @@ H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X) > **조건부 상호정보량이란?** -조건부 상호정보량은 변수 \\( Y \\)가 주어졌을 때, \\( X \\)와 \\( Z \\) 사이의 상호정보량을 의미한다. +조건부 상호정보량은 변수 $Y$가 주어졌을 때, $X$와 $Z$ 사이의 상호정보량을 의미한다. -\\[ +$$ I(X; Z \mid Y) = H(X \mid Y) - H(X \mid Y, Z) -\\] +$$ 또는 다음과 같이도 표현된다. -\\[ +$$ I(X; Z \mid Y) = H(Z \mid Y) - H(Z \mid Y, X) -\\] +$$ -이는 \\( Z \\)를 알면 \\( X \\)의 불확실성이 얼마나 줄어드는지를 나타낸다. +이는 $Z$를 알면 $X$의 불확실성이 얼마나 줄어드는지를 나타낸다. --- > **조건부 상호정보량이 0이 되는 조건** -조건부 상호정보량이 0이 되려면, \\( X \\)와 \\( Z \\)가 \\( Y \\)가 주어졌을 때 조건부 독립이어야 한다. +조건부 상호정보량이 0이 되려면, $X$와 $Z$가 $Y$가 주어졌을 때 조건부 독립이어야 한다. -\\[ +$$ P(X, Z \mid Y) = P(X \mid Y) \cdot P(Z \mid Y) -\\] +$$ -이는 마코프 체인 구조인 \\( X \rightarrow Y \rightarrow Z \\)와 동일하다. +이는 마코프 체인 구조인 $X \rightarrow Y \rightarrow Z$와 동일하다. --- > [!warning] -> 조건부 상호정보량 \\( I(X; Z \mid Y) \\) 와 일반 상호정보량 \\( I(X; Z) \\)는 일반적으로 관계가 없다. +> 조건부 상호정보량 $I(X; Z \mid Y)$ 와 일반 상호정보량 $I(X; Z)$는 일반적으로 관계가 없다. 예시 1: 조건부 상호정보량이 일반 상호정보량보다 클 수 있다. -\\[ +$$ I(X; Z \mid Y) > I(X; Z) -\\] +$$ -- \\( X \in \{0, 1\} \\), \\( Z \in \{0, 1\} \\) +- $X \in \{0, 1\}$, $Z \in \{0, 1\}$ - 각 확률은 다음과 같다: -\\[ +$$ P(X = 0) = P(X = 1) = \frac{1}{2}, \quad P(Z = 0) = P(Z = 1) = \frac{1}{2} -\\] +$$ -- \\( Y = X \oplus Z \\) (XOR 연산) +- $Y = X \oplus Z$ (XOR 연산) 이 경우 다음이 성립한다: -\\[ +$$ I(X; Z) = 0, \quad I(X; Z \mid Y) = 1 -\\] +$$ -즉, 조건 없이 보면 \\( X \\)와 \\( Z \\)는 독립이지만, \\( Y \\)를 알면 종속이 된다. +즉, 조건 없이 보면 $X$와 $Z$는 독립이지만, $Y$를 알면 종속이 된다. --- 예시 2: 일반 상호정보량은 존재하지만 조건부 상호정보량은 0인 경우 -\\[ +$$ I(X; Z) > 0, \quad I(X; Z \mid Y) = 0 -\\] +$$ -이는 마코프 체인 \\( X \rightarrow Y \rightarrow Z \\) 구조에서 발생한다. +이는 마코프 체인 $X \rightarrow Y \rightarrow Z$ 구조에서 발생한다. --- > **여러 변수에 대한 상호정보량** -두 변수 \\( X, Y \\) 와 \\( Z \\) 사이의 상호정보량은 다음과 같이 체인 룰로 나눌 수 있다. +두 변수 $X, Y$ 와 $Z$ 사이의 상호정보량은 다음과 같이 체인 룰로 나눌 수 있다. -\\[ +$$ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) -\\] +$$ --- > **상호정보량의 체인 분해** -여러 변수 \\( X_1, X_2, \dots, X_n \\) 과 \\( Y \\) 간의 상호정보량은 다음과 같이 분해된다. +여러 변수 $X_1, X_2, \dots, X_n$ 과 $Y$ 간의 상호정보량은 다음과 같이 분해된다. -\\[ +$$ I(X_1, X_2, \dots, X_n; Y) = I(X_1; Y) + I(X_2; Y \mid X_1) + I(X_3; Y \mid X_1, X_2) + \dots -\\] +$$ 또는 일반화하여 다음과 같이 표현된다: -\\[ +$$ I(X_n; Y) = \sum_{i=1}^{n} I(X_i; Y \mid X_1, \dots, X_{i-1}) -\\] +$$ ## 2.5 Random Process From c69099218d27fa37b37a2a870131b2cc812d52da Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=98=A4=EC=9C=A0=EB=A6=BC?= Date: Mon, 4 Aug 2025 17:52:04 +0900 Subject: [PATCH 34/52] change [ to $ --- _posts/2025-08-04-02.Information-Theory.md | 166 ++++++++++----------- 1 file changed, 83 insertions(+), 83 deletions(-) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index 0ea2f0c3ff..434f568d2f 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -156,7 +156,7 @@ $$ H(X) = \log_2 8 = 3 $$ -$\therefore$ 세 질문으로 \(X\)를 완벽하게 구분할 수 있음. +$\therefore$ 세 질문으로 $X$를 완벽하게 구분할 수 있음. ### 2.4.2 Conditional Entropy @@ -282,48 +282,48 @@ $I(X; Y) = 0$이라면, $p_{X,Y} = p_X p_Y$가 되어 $X$와 $Y$는 독립이 ### 2.4.4 Properties of Mutual Information **정리 36 (데이터 처리 부등식 I)** -**정리.** \(f\)가 결정론적 함수라면, -\[ +**정리.** $f$가 결정론적 함수라면, +$$ H(X) \ge H(f(X)) -\] +$$ 이다. **증명.** -\[ +$$ H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X) -\] +$$ 또한, -\[ +$$ H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X)) -\] -따라서 \(H(X) \ge H(f(X))\)이다. -(\(f\)가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 \(H(X)=H(f(X))\).) +$$ +따라서 $H(X) \ge H(f(X))$이다. +($f$가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 $H(X)=H(f(X))$.) --- **정리 37 (Mutual information은 대칭적이다)** **정리.** -\[ +$$ I(X;Y) = I(Y;X) -\] +$$ **증명.** -\[ +$$ \begin{aligned} I(X;Y) &= H(X) - H(X\mid Y) \\ &= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \\ &= H(X) + H(Y) - H(X,Y) \\ &= I(Y;X) \end{aligned} -\] +$$ --- **정리 38 (Mutual information은 비음수이다)** **정리.** -\[ +$$ I(X;Y) \ge 0 -\] +$$ **증명.** $$ @@ -336,137 +336,137 @@ H(X) - H(X\mid Y) &= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 \end{aligned} $$ -따라서 \(I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0\). -여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다. -또한 부등식 \(H(X) \ge H(X\mid Y)\)는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다. +따라서 $I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0$. +여기서 $p_X p_Y$는 $X$와 $Y$가 각각의 주변분포 $p_X, p_Y$를 가지지만 서로 독립인 $(X,Y)$에 대한 분포이다. +또한 부등식 $H(X) \ge H(X\mid Y)$는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다. --- **정리 39 (데이터 처리 부등식 II)** -**정리.** 임의의 함수 \(f: \mathcal{X} \to \mathbb{R}\)에 대해 다음이 성립한다: -\[ +**정리.** 임의의 함수 $f: \mathcal{X} \to \mathbb{R}$에 대해 다음이 성립한다: +$$ I(X;Y) \ge I(f(X);Y) -\] +$$ **증명.** -\[ +$$ \begin{aligned} I(X;Y) &= H(Y) - H(Y\mid X) \\ &= H(Y) - H(Y\mid X, f(X)) \\ &\ge H(Y) - H(Y\mid f(X)) \\ &= I(f(X);Y) \end{aligned} -\] +$$ **일반화.** -\(X - Y - Z\)가 마르코프 체인(또는 \(X\)와 \(Z\)가 \(Y\)를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다: -1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\) -2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다. -3. 모든 \(x,y,z\)에 대해 \(p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)\). +$X - Y - Z$가 마르코프 체인(또는 $X$와 $Z$가 $Y$를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다: +1. $X - Y - Z \iff X$와 $Z$가 $Y$를 주었을 때 독립이다. $(X \perp Z \mid Y)$ +2. $Y$가 알려져 있을 때 $X$는 $Z$를 추정하는 데 쓸모없다. +3. 모든 $x,y,z$에 대해 $p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)$. --- **정리 40 (데이터 처리 부등식 III)** **정리.** -만약 \(X - Y - Z\)가 마르코프 체인을 이룬다면, -\[ +만약 $X - Y - Z$가 마르코프 체인을 이룬다면, +$$ I(X;Z) \le I(Y;Z) -\] -또는 대칭적으로 \(I(Z;X) \le I(Z;Y)\). +$$ +또는 대칭적으로 $I(Z;X) \le I(Z;Y)$. **증명.** -\[ +$$ \begin{aligned} I(Y;Z) &= H(Z) - H(Z\mid Y) \\ &= H(Z) - H(Z\mid X, Y) \\ &\ge H(Z) - H(Z\mid X) \\ &= I(X;Z) \end{aligned} -\] -따라서 \(I(Y;Z) \ge I(X;Z)\), 즉 \(I(Z;Y) \ge I(Z;X)\)이다. +$$ +따라서 $I(Y;Z) \ge I(X;Z)$, 즉 $I(Z;Y) \ge I(Z;X)$이다. **문제 29.(b)** -\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라. -**(b)** \(I(X, Y; Z) \ge I(X; Z)\). +$X, Y, Z$가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라. +**(b)** $I(X, Y; Z) \ge I(X; Z)$. **풀이** **1. 체인 룰(chain rule) 적용** 상호 정보의 체인 룰에 따르면: -\[ +$$ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X). -\] -이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을 -먼저 \(X\)가 주는 정보량과, \(X\)를 알고 난 뒤 \(Y\)가 더 주는 추가 정보량으로 분해한 식이다. +$$ +이는 “$X, Y$가 합쳐질 때 $Z$와 주고받는 정보량”을 +먼저 $X$가 주는 정보량과, $X$를 알고 난 뒤 $Y$가 더 주는 추가 정보량으로 분해한 식이다. **2. 조건부 상호 정보의 비음성** 항상 -\[ +$$ I(Y; Z \mid X) \ge 0 -\] +$$ 이다. (KL 발산 형태로 증명할 수 있다.) **3. 부등식 결론** 따라서 -\[ +$$ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z). -\] +$$ **4. 등호 성립 조건** -등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면 -\[ +등호 $I(X, Y; Z) = I(X; Z)$가 되려면 +$$ I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X -\] +$$ 이어야 한다. -즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다. -이 역시 \(Y \to X \to Z\) 형태의 마르코프 사슬과 동치이다. +즉 “$X$를 조건으로 두었을 때 $Y$와 $Z$가 독립”이어야 한다. +이 역시 $Y \to X \to Z$ 형태의 마르코프 사슬과 동치이다. --- **문제 31.** -임의의 결정론적 함수 \(g\)에 대하여, -\[ +임의의 결정론적 함수 $g$에 대하여, +$$ H(X \mid g(Y)) = H(X \mid Y) -\] +$$ 이 성립하려면 어떤 조건이 필요한가? **풀이** **1. 데이터 처리 부등식 I (조건부 형태)** 이미 알고 있는 바: -\[ +$$ H(X \mid g(Y)) \ge H(X \mid Y), -\] -왜냐하면 “\(Y\)를 알면 \(g(Y)\)를 알 수 있지만, \(g(Y)\)를 안다고 해서 항상 \(Y\)가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다. +$$ +왜냐하면 “$Y$를 알면 $g(Y)$를 알 수 있지만, $g(Y)$를 안다고 해서 항상 $Y$가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다. **2. 등호 조건 분석** -\[ +$$ H(X \mid g(Y)) = H(X \mid Y) -\] +$$ 일 때, 양쪽 사이에 끼어 있는 -\[ +$$ H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0 -\] +$$ 이다. -즉, “\(g(Y)\)를 조건으로 \(X\)와 \(Y\)가 독립”이어야 한다. +즉, “$g(Y)$를 조건으로 $X$와 $Y$가 독립”이어야 한다. **3. 마르코프 사슬 해석** -\[ +$$ I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y). -\] +$$ 이는 바로 -\[ +$$ X \longrightarrow g(Y) \longrightarrow Y -\] +$$ 꼴의 마르코프 사슬 형태가 성립함을 뜻한다. **4. 특수 사례** -- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립. -- 또 \(X\)와 \(Y\)가 본래 독립이라도 - \[ +- $g$가 일대일 대응(가역)이면 당연히 $g(Y) \leftrightarrow Y$ 양방향 복원이 가능하므로 등호 성립. +- 또 $X$와 $Y$가 본래 독립이라도 + $$ H(X \mid g(Y)) = H(X) = H(X \mid Y) - \] + $$ 이므로 등호가 된다. 이 두 경우는 포함되지만, 유일한 경우는 아니다. @@ -474,38 +474,38 @@ X \longrightarrow g(Y) \longrightarrow Y **문제 42.(b)** -다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라. -**(b)** \(I(g(X); Y)\) vs. \(I(X; Y)\). +다음 부등식들 중 일반적으로 $ \ge, =, \le $ 중 어느 관계가 성립하는지 각각 표시하라. +**(b)** $I(g(X); Y)$ vs. $I(X; Y)$. **풀이** **1. 데이터 처리 부등식 II** -이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 \(g\)에 대하여: -\[ +이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 $g$에 대하여: +$$ I(g(X); Y) \le I(X; Y). -\] +$$ **2. 직관** -- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고, -- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) → -- \(g(X)\)가 \(Y\)에 제공할 수 있는 정보도 당연히 \(I(X;Y)\) 이하여야 한다. +- $X$가 $Y$에 갖는 정보량이 $I(X;Y)$이고, +- $X$를 $g$로 가공한 $g(X)$는 $X$보다 “덜 상세”(또는 같음) → +- $g(X)$가 $Y$에 제공할 수 있는 정보도 당연히 $I(X;Y)$ 이하여야 한다. **3. 형식적 증명** -\[ +$$ \begin{aligned} I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\ &\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\ &= I(X; Y). \end{aligned} -\] +$$ **4. 등호 성립 조건** 등호가 되려면 -\[ +$$ H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X). -\] -즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다. -다시 말해 \(g(X)\)를 기준으로 \(X\)와 \(Y\)는 더 이상의 상호 정보(조건부)가 없다. +$$ +즉 “$g(X)$를 조건으로 $X$와 $Y$가 독립”일 때 등호가 된다. +다시 말해 $g(X)$를 기준으로 $X$와 $Y$는 더 이상의 상호 정보(조건부)가 없다. ### 2.4.5 Conditional Mutual Information From 083e73c267ac9c12fcedd3ea251b6369faae254e Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 4 Aug 2025 18:03:18 +0900 Subject: [PATCH 35/52] . --- _posts/{ => images}/image.png | Bin 1 file changed, 0 insertions(+), 0 deletions(-) rename _posts/{ => images}/image.png (100%) diff --git a/_posts/image.png b/_posts/images/image.png similarity index 100% rename from _posts/image.png rename to _posts/images/image.png From a964729228d969475806d17ac4b50c85237b52b7 Mon Sep 17 00:00:00 2001 From: rammma Date: Tue, 5 Aug 2025 16:56:15 +0900 Subject: [PATCH 36/52] fix gitignore --- .gitignore | 2 ++ 1 file changed, 2 insertions(+) diff --git a/.gitignore b/.gitignore index 6526cbd49b..15d2b30403 100644 --- a/.gitignore +++ b/.gitignore @@ -1,3 +1,5 @@ _site/ _draft/ .jekyll-cache/ +.json +.DS_Store From feaf8e583d2d1e8d7dcbef8ea36d34a66d2c1569 Mon Sep 17 00:00:00 2001 From: 2024148034 <1221ohr@yonsei.ac.kr> Date: Wed, 6 Aug 2025 13:49:10 +0900 Subject: [PATCH 37/52] change image path --- _posts/2025-08-04-02.Information-Theory.md | 2 +- .../image.png => images/MutualInformation.png | Bin 2 files changed, 1 insertion(+), 1 deletion(-) rename _posts/images/image.png => images/MutualInformation.png (100%) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index 434f568d2f..1ef66244ab 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -245,7 +245,7 @@ $H(Y4\mid Y1=1)$은 $3/4\log4/3+1/4\log4$이다. ### 2.4.3 Mutual Information -![alt text](image.png) +상호 정보량 설명 다이어그램 >**상호 정보량(Mutual Information)이란?** diff --git a/_posts/images/image.png b/images/MutualInformation.png similarity index 100% rename from _posts/images/image.png rename to images/MutualInformation.png From 5c6abf80b7ce3849963e76425c99d564012d0eab Mon Sep 17 00:00:00 2001 From: rammma Date: Thu, 7 Aug 2025 14:23:18 +0900 Subject: [PATCH 38/52] 5.2 --- _posts/2025-08-04-02.Information-Theory.md | 159 ++++++++++++++++++++- 1 file changed, 157 insertions(+), 2 deletions(-) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index 1ef66244ab..1267e8c33f 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -725,19 +725,105 @@ i.i.d. ←────────────|─────────── ### 2.5.2 1st Order Markov Process +> **1차 마르코프 과정이란?** + +확률 과정 $X$ = $\{X_1, X_2, \dots, X_n\}$이 있다고 할 때, +$P(X_i \mid X_{i-1}, X_{i-2}, \dots, X_1) = P(X_i \mid X_{i-1})$를 만족하는 과정을 1차 마르코프 과정이라고 한다. + +$\therefore$ 현재 상태 $X_i$는 직전 상태 $X_{i-1}$에만 의존하고, 그 이전 상태들과는 무관하다. + +> [! ] +>모든 가능한 sequence tuple들의 결합 확률 분포를 $P_{X^n}(x^n) = P_{X_1, \cdots, X_n}(x_1, \dots, x_n)$라고 할 때, 1차 마르코프 과정은 다음을 만족한다. +> +$>P_{X^n}(x^n) = \prod_{i=1}^n P_{X_i \mid X_{i-1}}(x_i \mid x_{i-1})$ + +$$ +P(X_1, X_2, \dots, X_n) = P(X_1) \times P(X_2 \mid X_1) \times \cdots \times P(X_n \mid X_{n-1}) +$$ + +1차 마르코프 과정이므로, +$$ +P(X_i \mid X_{i-1}, X_{i-2}, \dots, X_1) = P(X_i \mid X_{i-1}) +$$ +위 식을 바꾸어 쓰면, +$$ +P(X_1, X_2, \dots, X_n) = P(X_1) \prod_{i=2}^n P(X_i \mid X_{i-1}) +$$ +상태 공간이 $\{1, \dots, n\}$이고 전이 확률이 동일하다고 가정하면, 전이 행렬 $P$를 정의할 수 있다. + +$$ +P_{u,v} = \Pr[X_i = u \mid X_{i-1} = v] +$$ + +그리고 $t$시점 상태 분포 벡터를 +$$ +\pi_t = \begin{bmatrix} +\Pr[X_t = 1] \\ +\Pr[X_t = 2] \\ +\vdots \\ +\Pr[X_t = n] +\end{bmatrix} +$$ + +라고 하면, 각 상태 u에 대해 다음 식이 성립한다. + +$$ +\Pr[X_t = u] = \sum_{v=1}^n \Pr[X_t = u \mid X_{t-1} = v] \Pr[X_{t-1} = v] = \sum_{v=1}^n P_{u,v} \pi_{t-1,v} +$$ + +이를 벡터 형태로 변환하면 + +$$ +\pi_t = P \times \pi_{t-1} +$$ + +--- + +> **Exercise 43.** + +이진확률과정 $X$를 고려해보자. 전이 확률이 다음과 같이 주어진다. + +$$ +P_{X_i \mid X_{i-1}}(0 \mid 1) = P_{X_i \mid X_{i-1}}(1 \mid 0) = \alpha < \frac{1}{2} +$$ + +$$ +P_{X_i \mid X_{i-1}}(1 \mid 0) = P_{X_i \mid X_{i-1}}(0 \mid 1) = 1 - \alpha +$$ + +이때, 전이 행렬 $P$는 다음과 같이 정의할 수 있다 + +$$ +P = \begin{bmatrix} +1 - \alpha & \alpha \\ +\alpha & 1 - \alpha +\end{bmatrix} \quad (115) +$$ + +초기 상태 분포를 다음과 같이 정의하면, + +$$ +\pi_0 = [1, 0] +$$ + +다음 단계 상태 분포 $\pi_1$은 다음과 같다. +$$ +\pi_1 = [1 - \alpha, \alpha] +$$ + ### 2.5.3 kth Order Markov Process 확률 과정 X에 대해, $$ P_{X_i | X^{i-1}}(x_i \mid x^{i-1}) = P_{X_i | X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}), $$ -이 성립하는 시퀀스는 **k차 마르코프 과정(kth Order Markov Process)**를 따릅니다. +이 성립하는 시퀀스는 **k차 마르코프 과정(kth Order Markov Process)**를 따른다. 즉, k차 마르코프 과정을 따르는 시퀀스에 대해서 $$ P_{X^n}(x^n) = \prod_{i=1}^{n} P_{X_i \mid X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}) $$ -이 성립합니다. +이 성립한다. ### 2.5.4 Stationary Distribution @@ -756,3 +842,72 @@ $$ ### 2.6.5 Joint Differential Entropy ### 2.6.6 Maximum Differential Entropy + +> [! ] 이산 변수에서 최대 엔트로피는 균등 분포에서 달성된다. +> +> 이산 확률 변수 \( X \in \{1, 2, \dots, K\} \)의 엔트로피는 다음 부등식을 만족한다. +> $H(X) \leq \log_2 K$ +> +>등호는 균등 분포일 때 성립한다. + + +> 2차 모멘트 제약 조건 + +확률 변수 $X$가 다음을 만족한다고 가정한다. + +$$ +\mathbb{E}[X^2] \leq P +$$ + +이 조건 하에서, 미분 엔트로피가 최대가 되는 분포는 무엇인가? + +--- + +**정리65. 가우시안 분포가 최대 미분 엔트로피를 가진다.** + +*proof.* + +$X$의 확률 밀도 함수를 $f_X$, +평균 0, 분산 $P$인 가우시안 확률 변수 $X' \sim \mathcal{N}(0, P)$의 pdf를 + +$$ +g(x) = \frac{1}{\sqrt{2 \pi P}} \exp\left(-\frac{x^2}{2P}\right) +$$ + +라고 하자. + + +KL 발산의 정의에 의해, + +$$ +D(f \| g) = \mathbb{E}_f \left[\log \frac{f_X(X)}{g(X)}\right] +$$ + +$$ +D(f \| g) = \mathbb{E}_f \left[\log \frac{1}{g(X)}\right] - \mathbb{E}_f \left[\log \frac{1}{f_X(X)}\right] = \mathbb{E}_f \left[\log \frac{1}{g(X)}\right] - h(f_X) +$$ + +여기서 $h(f_X)$는 확률 변수 $X \sim f_X$의 미분 엔트로피이다. + +$$ +\mathbb{E}_f \left[\log \frac{1}{g(X)}\right] = \log \sqrt{2 \pi P} + \frac{\mathbb{E}_f [X^2]}{2P} +$$ + +그리고 $\mathbb{E}_f[X^2] = \mathbb{E}_g[X^2] = P$이므로, + +$$ +\mathbb{E}_f \left[\log \frac{1}{g(X)}\right] = \log \sqrt{2 \pi P} + \frac{P}{2P} = \log \sqrt{2 \pi P} + \frac{1}{2} = h(g) +$$ + + +$$ +D(f \| g) = h(g) - h(f_X) \geq 0 +$$ + +$D(f \| g)$은 K-L Divergence이므로 항상 0 이상이다. + +$$ +h(g) \geq h(f_X) +$$ + +$\therefore$ 2차 모멘트 제약 조건 하에서 가우시안 분포가 최대 미분 엔트로피를 가진다. \ No newline at end of file From bf2a26e9885c95780fc3273748a05c3eccc2817f Mon Sep 17 00:00:00 2001 From: rammma Date: Thu, 7 Aug 2025 14:27:43 +0900 Subject: [PATCH 39/52] 5.2 --- _posts/2025-08-04-02.Information-Theory.md | 69 ---------------------- 1 file changed, 69 deletions(-) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index 1267e8c33f..4c6e7fd96f 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -732,7 +732,6 @@ $P(X_i \mid X_{i-1}, X_{i-2}, \dots, X_1) = P(X_i \mid X_{i-1})$를 만족하는 $\therefore$ 현재 상태 $X_i$는 직전 상태 $X_{i-1}$에만 의존하고, 그 이전 상태들과는 무관하다. -> [! ] >모든 가능한 sequence tuple들의 결합 확률 분포를 $P_{X^n}(x^n) = P_{X_1, \cdots, X_n}(x_1, \dots, x_n)$라고 할 때, 1차 마르코프 과정은 다음을 만족한다. > $>P_{X^n}(x^n) = \prod_{i=1}^n P_{X_i \mid X_{i-1}}(x_i \mid x_{i-1})$ @@ -843,71 +842,3 @@ $$ ### 2.6.6 Maximum Differential Entropy -> [! ] 이산 변수에서 최대 엔트로피는 균등 분포에서 달성된다. -> -> 이산 확률 변수 \( X \in \{1, 2, \dots, K\} \)의 엔트로피는 다음 부등식을 만족한다. -> $H(X) \leq \log_2 K$ -> ->등호는 균등 분포일 때 성립한다. - - -> 2차 모멘트 제약 조건 - -확률 변수 $X$가 다음을 만족한다고 가정한다. - -$$ -\mathbb{E}[X^2] \leq P -$$ - -이 조건 하에서, 미분 엔트로피가 최대가 되는 분포는 무엇인가? - ---- - -**정리65. 가우시안 분포가 최대 미분 엔트로피를 가진다.** - -*proof.* - -$X$의 확률 밀도 함수를 $f_X$, -평균 0, 분산 $P$인 가우시안 확률 변수 $X' \sim \mathcal{N}(0, P)$의 pdf를 - -$$ -g(x) = \frac{1}{\sqrt{2 \pi P}} \exp\left(-\frac{x^2}{2P}\right) -$$ - -라고 하자. - - -KL 발산의 정의에 의해, - -$$ -D(f \| g) = \mathbb{E}_f \left[\log \frac{f_X(X)}{g(X)}\right] -$$ - -$$ -D(f \| g) = \mathbb{E}_f \left[\log \frac{1}{g(X)}\right] - \mathbb{E}_f \left[\log \frac{1}{f_X(X)}\right] = \mathbb{E}_f \left[\log \frac{1}{g(X)}\right] - h(f_X) -$$ - -여기서 $h(f_X)$는 확률 변수 $X \sim f_X$의 미분 엔트로피이다. - -$$ -\mathbb{E}_f \left[\log \frac{1}{g(X)}\right] = \log \sqrt{2 \pi P} + \frac{\mathbb{E}_f [X^2]}{2P} -$$ - -그리고 $\mathbb{E}_f[X^2] = \mathbb{E}_g[X^2] = P$이므로, - -$$ -\mathbb{E}_f \left[\log \frac{1}{g(X)}\right] = \log \sqrt{2 \pi P} + \frac{P}{2P} = \log \sqrt{2 \pi P} + \frac{1}{2} = h(g) -$$ - - -$$ -D(f \| g) = h(g) - h(f_X) \geq 0 -$$ - -$D(f \| g)$은 K-L Divergence이므로 항상 0 이상이다. - -$$ -h(g) \geq h(f_X) -$$ - -$\therefore$ 2차 모멘트 제약 조건 하에서 가우시안 분포가 최대 미분 엔트로피를 가진다. \ No newline at end of file From 122b6ca5d9cff1537af93b10cc0505340391d5e1 Mon Sep 17 00:00:00 2001 From: rammma Date: Thu, 7 Aug 2025 14:28:42 +0900 Subject: [PATCH 40/52] 6.6 --- _posts/2025-08-04-02.Information-Theory.md | 131 +++++++++------------ 1 file changed, 57 insertions(+), 74 deletions(-) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index 4c6e7fd96f..d20ace7d11 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -725,120 +725,103 @@ i.i.d. ←────────────|─────────── ### 2.5.2 1st Order Markov Process -> **1차 마르코프 과정이란?** - -확률 과정 $X$ = $\{X_1, X_2, \dots, X_n\}$이 있다고 할 때, -$P(X_i \mid X_{i-1}, X_{i-2}, \dots, X_1) = P(X_i \mid X_{i-1})$를 만족하는 과정을 1차 마르코프 과정이라고 한다. - -$\therefore$ 현재 상태 $X_i$는 직전 상태 $X_{i-1}$에만 의존하고, 그 이전 상태들과는 무관하다. - ->모든 가능한 sequence tuple들의 결합 확률 분포를 $P_{X^n}(x^n) = P_{X_1, \cdots, X_n}(x_1, \dots, x_n)$라고 할 때, 1차 마르코프 과정은 다음을 만족한다. -> -$>P_{X^n}(x^n) = \prod_{i=1}^n P_{X_i \mid X_{i-1}}(x_i \mid x_{i-1})$ +### 2.5.3 kth Order Markov Process +확률 과정 X에 대해, $$ -P(X_1, X_2, \dots, X_n) = P(X_1) \times P(X_2 \mid X_1) \times \cdots \times P(X_n \mid X_{n-1}) +P_{X_i | X^{i-1}}(x_i \mid x^{i-1}) = P_{X_i | X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}), $$ +이 성립하는 시퀀스는 **k차 마르코프 과정(kth Order Markov Process)**를 따른다. -1차 마르코프 과정이므로, -$$ -P(X_i \mid X_{i-1}, X_{i-2}, \dots, X_1) = P(X_i \mid X_{i-1}) -$$ -위 식을 바꾸어 쓰면, +즉, k차 마르코프 과정을 따르는 시퀀스에 대해서 $$ -P(X_1, X_2, \dots, X_n) = P(X_1) \prod_{i=2}^n P(X_i \mid X_{i-1}) +P_{X^n}(x^n) = \prod_{i=1}^{n} P_{X_i \mid X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}) $$ -상태 공간이 $\{1, \dots, n\}$이고 전이 확률이 동일하다고 가정하면, 전이 행렬 $P$를 정의할 수 있다. +이 성립한다. -$$ -P_{u,v} = \Pr[X_i = u \mid X_{i-1} = v] -$$ +### 2.5.4 Stationary Distribution -그리고 $t$시점 상태 분포 벡터를 -$$ -\pi_t = \begin{bmatrix} -\Pr[X_t = 1] \\ -\Pr[X_t = 2] \\ -\vdots \\ -\Pr[X_t = n] -\end{bmatrix} -$$ +### 2.5.5 Stationary Markov Process -라고 하면, 각 상태 u에 대해 다음 식이 성립한다. +## 2.6 Continuous Random Variables -$$ -\Pr[X_t = u] = \sum_{v=1}^n \Pr[X_t = u \mid X_{t-1} = v] \Pr[X_{t-1} = v] = \sum_{v=1}^n P_{u,v} \pi_{t-1,v} -$$ +### 2.6.1 Probability Density Function + +### 2.6.2 Gaussian + +### 2.6.3 Differential Entropy + +### 2.6.4 Properties of Differential Entropy + +### 2.6.5 Joint Differential Entropy + +### 2.6.6 Maximum Differential Entropy + +> **이산 변수에서 최대 엔트로피는 균등 분포에서 달성된다.** +> +> 이산 확률 변수 $X \in \{1, 2, \dots, K\}$의 엔트로피는 다음 부등식을 만족한다. +> $H(X) \leq \log_2 K$ +> +>등호는 균등 분포일 때 성립한다. -이를 벡터 형태로 변환하면 + +> 2차 모멘트 제약 조건 + +확률 변수 $X$가 다음을 만족한다고 가정한다. $$ -\pi_t = P \times \pi_{t-1} +\mathbb{E}[X^2] \leq P $$ +이 조건 하에서, 미분 엔트로피가 최대가 되는 분포는 무엇인가? + --- -> **Exercise 43.** +**정리65. 가우시안 분포가 최대 미분 엔트로피를 가진다.** -이진확률과정 $X$를 고려해보자. 전이 확률이 다음과 같이 주어진다. +*proof.* -$$ -P_{X_i \mid X_{i-1}}(0 \mid 1) = P_{X_i \mid X_{i-1}}(1 \mid 0) = \alpha < \frac{1}{2} -$$ +$X$의 확률 밀도 함수를 $f_X$, +평균 0, 분산 $P$인 가우시안 확률 변수 $X' \sim \mathcal{N}(0, P)$의 pdf를 $$ -P_{X_i \mid X_{i-1}}(1 \mid 0) = P_{X_i \mid X_{i-1}}(0 \mid 1) = 1 - \alpha +g(x) = \frac{1}{\sqrt{2 \pi P}} \exp\left(-\frac{x^2}{2P}\right) $$ -이때, 전이 행렬 $P$는 다음과 같이 정의할 수 있다 +라고 하자. -$$ -P = \begin{bmatrix} -1 - \alpha & \alpha \\ -\alpha & 1 - \alpha -\end{bmatrix} \quad (115) -$$ -초기 상태 분포를 다음과 같이 정의하면, +KL 발산의 정의에 의해, $$ -\pi_0 = [1, 0] +D(f \| g) = \mathbb{E}_f \left[\log \frac{f_X(X)}{g(X)}\right] $$ -다음 단계 상태 분포 $\pi_1$은 다음과 같다. $$ -\pi_1 = [1 - \alpha, \alpha] +D(f \| g) = \mathbb{E}_f \left[\log \frac{1}{g(X)}\right] - \mathbb{E}_f \left[\log \frac{1}{f_X(X)}\right] = \mathbb{E}_f \left[\log \frac{1}{g(X)}\right] - h(f_X) $$ -### 2.5.3 kth Order Markov Process +여기서 $h(f_X)$는 확률 변수 $X \sim f_X$의 미분 엔트로피이다. -확률 과정 X에 대해, $$ -P_{X_i | X^{i-1}}(x_i \mid x^{i-1}) = P_{X_i | X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}), +\mathbb{E}_f \left[\log \frac{1}{g(X)}\right] = \log \sqrt{2 \pi P} + \frac{\mathbb{E}_f [X^2]}{2P} $$ -이 성립하는 시퀀스는 **k차 마르코프 과정(kth Order Markov Process)**를 따른다. -즉, k차 마르코프 과정을 따르는 시퀀스에 대해서 +그리고 $\mathbb{E}_f[X^2] = \mathbb{E}_g[X^2] = P$이므로, + $$ -P_{X^n}(x^n) = \prod_{i=1}^{n} P_{X_i \mid X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}) +\mathbb{E}_f \left[\log \frac{1}{g(X)}\right] = \log \sqrt{2 \pi P} + \frac{P}{2P} = \log \sqrt{2 \pi P} + \frac{1}{2} = h(g) $$ -이 성립한다. -### 2.5.4 Stationary Distribution -### 2.5.5 Stationary Markov Process - -## 2.6 Continuous Random Variables - -### 2.6.1 Probability Density Function - -### 2.6.2 Gaussian - -### 2.6.3 Differential Entropy - -### 2.6.4 Properties of Differential Entropy +$$ +D(f \| g) = h(g) - h(f_X) \geq 0 +$$ -### 2.6.5 Joint Differential Entropy +$D(f \| g)$은 K-L Divergence이므로 항상 0 이상이다. -### 2.6.6 Maximum Differential Entropy +$$ +h(g) \geq h(f_X) +$$ +$\therefore$ 2차 모멘트 제약 조건 하에서 가우시안 분포가 최대 미분 엔트로피를 가진다. \ No newline at end of file From 77d83537673af53b23f6d6870e35569794be3acf Mon Sep 17 00:00:00 2001 From: 2024148034 <1221ohr@yonsei.ac.kr> Date: Thu, 7 Aug 2025 14:38:36 +0900 Subject: [PATCH 41/52] image center align --- _posts/2025-08-04-02.Information-Theory.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index 1ef66244ab..640901306c 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -245,7 +245,9 @@ $H(Y4\mid Y1=1)$은 $3/4\log4/3+1/4\log4$이다. ### 2.4.3 Mutual Information +

상호 정보량 설명 다이어그램 +

>**상호 정보량(Mutual Information)이란?** From c2365aae3486ab600b069cfb449a736ec363c639 Mon Sep 17 00:00:00 2001 From: 2024148034 <1221ohr@yonsei.ac.kr> Date: Thu, 7 Aug 2025 16:19:07 +0900 Subject: [PATCH 42/52] chapter 5.5 --- _posts/2025-08-04-02.Information-Theory.md | 97 +++++++++++++++++++++ images/Example47.png | Bin 0 -> 39986 bytes 2 files changed, 97 insertions(+) create mode 100644 images/Example47.png diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index 640901306c..baa9884e09 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -745,6 +745,103 @@ $$ ### 2.5.5 Stationary Markov Process +**예제 47.** 초기 분포가 $P(A) = P(B) = P(C) = \frac{1}{3}$인 다음 1차 마르코프 과정을 생각해보자. + +

+1st order Markov transition +

+각 전이 확률이 위와 같으면, + +$$ +\begin{aligned} +P(X_1 = A) &= P(X_1 = B) = P(X_1 = C) = \frac{1}{3} \\ +P(X_2 = A) &= P(X_1 = A) \cdot P(X_2 = A|X_1 = A) \\ +&\quad + P(X_1 = C) \cdot P(X_2 = A|X_1 = C) = \frac{1}{3} +\end{aligned} +$$ + +이며 같은 방식으로 $P(X_2 = B)$, $P(X_2 = C)$도 모두 $\frac{1}{3}$이 된다. +이를 $X_3, X_4, \dots$까지 확장해도 확률 분포가 변하지 않으며, 항상 $\frac{1}{3}$을 유지하게 된다. +즉 이는 **정상(stationary)** 과정인 것이다. + +**예제 48.** 예제 47과 같은 마르코프 과정에서 초기 분포만 $P(X_1 = A) = 1$, $P(X_2 = A) = P(X_2 = B) = \frac{1}{2}$인 상황을 생각해보자. 이 경우 확률 분포가 시간에 따라 바뀌므로 더 이상 정상(stationary)이 아니다. 즉 **마르코프 과정이 항상 정상인 것은 아니며**, 정상이 되기 위해선 특정 조건을 만족해야 한다. + +**정리 49.** 유한 상태(finite state), 가역성(irreducible), 비주기성(aperiodic)을 만족하는 경우, 마르코프 과정은 정상 분포(stationary distribution)를 가질 수 있다. + +--- + +**예제 50.** $p_{X_i \mid X_{i-1}}(1\mid0) = p_{X_i \mid X_{i-1}}(0 \mid 1) = \alpha < \frac{1}{2}, p_{X_i \mid X_{i-1}}(0 \mid 0) = p_{X_i \mid X_{i-1}}(1 \mid 1) = 1 - \alpha$ 인 이항 확률 과정을 생각해보자. 이 때 전이 행렬은 다음과 같다. + +$$ +P = \begin{pmatrix} +1 - \alpha & \alpha \\ +\alpha & 1 - \alpha +\end{pmatrix} +$$ + +초기 분포를 $\pi_0 = [1/2, 1/2]$라고 하면, 모든 시점 $t$에 대해 $\pi_t = [1/2, 1/2]$로 유지된다. +즉, 정상 분포 $\pi^*$는 다음 조건을 만족한다. + +$$ +\pi^* = P \cdot \pi^* +$$ + +따라서 정상 분포는 전이 행렬 $P$의 고유값 1에 해당하는 고유벡터가 된다. (행렬 $P$의 고유값 $\lambda$는 $\det(P - \lambda I) = 0$의 해라는 것을 기억하자.) + +**예제 51.** 전이 행렬 $P$가 대칭(symmetric)일 경우, 균일 분포(uniform distribution)는 정상 분포가 됨을 보여라. + +풀이: +$\pi^\star = \begin{bmatrix} 1/n, 1/n, \cdots, 1/n \end{bmatrix}^\top$라 하자. $\pi^\star$가 정상 분포이려면 $P \pi^\star = \pi^\star$을 만족해야 한다. + +$$ +[P\pi^\star]_i = \sum_{j=1}^n P_{ij} \cdot \pi^\star_j = \sum_{j=1}^n P_{ij} \cdot \frac{1}{n} = \frac{1}{n} \sum_{j=1}^n P_{ij} +$$ + +여기서 $P$가 대칭, 즉 $P_{ij} = P_{ji}$이므로 + +$$ +[P\pi^\star]_i = \frac{1}{n} \sum_{j=1}^n P_{ji} +$$ + +전이 행렬에서 한 행의 합은 확률 분포이므로 항상 1이 되어 $[P\pi^\star]_i = 1/n$. +따라서 $P \pi^\star = \pi^\star$, $\pi^\star$는 정상 분포이다. + +--- + +만약 다음이 존재한다면 우리는 $\pi_\infty$를 **극한 분포(limiting distribution)**라 한다. + +$$ +\pi_\infty = \lim_{t \to \infty} \pi_t +$$ + + +**정리 52.** 극한 분포는 정상 분포여야 한다. + +풀이: $\pi_{t+1} = P \pi_t$ 의 양변에 극한을 취하여 쉽게 증명 가능하다. + +**예제 53. 이산 확산(Discrete Diffusion)** +$X_0 \sim p_0$라 할 때, 다음과 같은 전이 행렬을 가진 1차 마르코프 과정을 생각해보자. + +$$ +P = +\begin{bmatrix} +1 - \epsilon & \epsilon/(n-1) & \cdots & \epsilon/(n-1) \\ +\epsilon/(n-1) & 1 - \epsilon & \cdots & \epsilon/(n-1) \\ +\vdots & \vdots & \ddots & \vdots \\ +\epsilon/(n-1) & \epsilon/(n-1) & \cdots & 1 - \epsilon +\end{bmatrix} +$$ + +극한 분포는 균일 분포 $\pi^\star = \begin{bmatrix} 1/n, 1/n, \cdots, 1/n \end{bmatrix}^\top$이며( $\because$ 정리 52, 예제 51), 충분히 큰 $N$에 대해 $\pi_N \approx \pi^\star$이라 할 수 있다. +반대로, 우리가 어떤 시점 $t$에 대해 $X_{t+1}$에서 $X_t$를 복원하는 신경망 $f_\theta$를 학습할 수 있다고 하자: + +$$ +X_t \approx f_\theta(X_{t+1}, t) +$$ + + +그렇다면 우리는 균일 분포로부터 $\tilde X_N$을 샘플링한 후, $f_\theta(\cdot, t)$ 를 재귀적으로 적용하여 $\tilde X_0$ 를 얻을 수 있다. 이 $\tilde X_0$는 $X_0 \sim p_0$와 유사하게 동작할 것으로 기대할 수 있으며, 이것이 **생성적 확산 모델(generative diffusion process)**의 핵심 아이디어이다. + ## 2.6 Continuous Random Variables ### 2.6.1 Probability Density Function diff --git a/images/Example47.png b/images/Example47.png new file mode 100644 index 0000000000000000000000000000000000000000..186fa8e0c83534da7e3fe80b13d9789dce742d15 GIT binary patch literal 39986 zcmagGc{rAB7d?D8D`m`38KO{TWe%0@44I;g8A6e<++*#%Z$~|1ydG2%Xwbxqv3OTH+zG2p*N@>;k?@t2kM`*rqHCJBN7Yfv;)dpQCo$iC>g^SbeBz)3H|%m(z=O zKW{u{Eb=|Q*YjbG`O}LQMcwN@HukI&EvmWx$w>U}azRh6uzTjqch#<+5ChEnDjbe`NZcSF!&PK2kp7uA+5;N%cZ7er0ZY9KC`{e(79k5M;(LnJt0| zbSMxV&aC|NNqe zwqSJ6V@vgLt`{9v=f#37%xMh*oHC9#xdi#A_h`$8X#DuxnjDdlxA)i~esLy6nA zmsM56!Vw>R$HbI=zCJ+vP%~cK7hdGl(P+)jUs+Z6g_`Ej+1aU~t-X@+WyZIM)+8pG z&`h^}eKqg-g^R(#bQ{^&8iIUo#>NT-1qW-a^23)D>Lw|LG>Mn3|1&#Y)$7$4hKu1= z_WenreCsY|EdJ;#^7mKeKkJ?nxB6GFsAZlX&;5P&^R3oY731Fizkep{-s$ZXGhRWt zbm`KW7ppkxmoDT)bg*>OR7siNuZbNyckVxa{I1qHM@Qj_%6|creMUy?wP9OE3?{>S zUF)zYjFdTifyLyY2S5M$k={CQetzD^F5R+sp9mS~N-yi5Zj$i&`|opeg2mUip^=e2 z|NfT@$(B{U(!tXcz&Z$)^C>9$Xia~3{xBVH`!a(abH)bcPieZ%(G_8>GF$n zbKXk7zoeR!drLXXCTRKLi|WWVW~ZgCq#T#z91^DND|YRDUFvR6d49TbQP8-|P_Fa( z_3PEwH|_rZdo16!Axc0)L*w}kz60Nr|1H!FbK)av$w!RMO$|~giMm3@%P7m2FMpkT zOpdb8$EVbM+{o26@5eu_Lx)~x=<%BSPt~02d!|ge`{2PkM&+MOo|7LfMt1P?|EnRN zlJ)fIX8V>q%P0|rueg;H*x1-;w_e`fZEwy~T#3b&rw!4~j&}#y)`fox5lY%u<~e@Y z)HLMJL>Z%ujEs04EA#xe84*e5NJe@(x-)`)Nm0#TzdBO()rE5p3txHgK=@ViUfu|m z-#enBqQ18s(c{~?m6B=k_0)??tGpMc>MnMLQ2PS@;Ds>~Rt#<8&jP-@ z<}2NtUp~Fg(b18KiRr@me}DRDMKAG()ykDCx8ia;%-uKijE78p&CVZqeeVESOBNQE zAx9GT+=0Owg%2J)kUUY(^ubxy+^vRfZsA93V%a|~`7;z_i?eKpw6vJn*slEi=`rFK z#K>EF>~zH{%9rlqeD~P9yX{-z0nO6M`rv*}l_7q9QHiLjm?bLXBCW>va7=l{-s zDD#r|r6$C0gB0_(|Kb{+=YEqFLP7W5joyfiytu`+dZ)=8)h8_Gle` z{Bo4N6Q=wBo&MzQqJtOA&YqQF;8nTKDx`ZiC1rVC1aDmktI+ELTXm1I_syohGheU# zXxXEuawjkC}!LhYMW^{K^QeYPEW7V>BMDFJhz)+}H<S0hRWN#O)zuAE z*mo)C50WOL>?_x-Y0?P^&SW6_p?T}pt@?(B7cpYT9wKji>nUYj!^q=NRx?zJEtXJK zRb}Ghx~?TrvC-J-oXk}Q?rRq=P)c_)M_Q3Zj(>D^%t+L-oHO~{>?UDh;i0eWh#%wQ z?{iE`hGUN1eK)!kWG~60T6aHjF)2C2w`)wAPrW#I<=*Nm%+=z<{uH!w=#jWUZBReEmIt(>uK5fMshJF;4T4aS` z;bL4zZ8&$RQ(o!n!P>9`r%s(p<#Fq1YwPcSak;*^`JkHGYL&&GM;4H6X}gQb3JeXM zz!ugUQmOGI0r|JsC!f1I`Yt22q{JkT_U73+KXb3%v)LlF;sE<$gS-R3%a5x|O z{c=5V;>7WqYiu8iPbc?KKgAq#-A|+KTFuBKYRt^+z{SKvvY2(%D?)%obqc7jV-QB^p-X0#D_60U&FxloP0T>%G~q8U!4e(9^bLtxV`69 z#GlRCl*R{Z>_*wuPw*P5XV#9FURzpPO1pI=S>+rPFKJ;(d7L zlWLB6DT|?@Ax(yI7d5lKzWzCK&@hgL&T(wEiOWUqAKNQ_OotYe*DI?XnJw?`Oq$ROr=KV3Z zx$oAc>nLZsU5Y;yby!}0bLwVx*Bz2EvNDohlFEZLT)H`vyQ!2m+^D8wj?a| zI;;ktbh}pJXpriI6(s5GOhRmOa>R!ZCMa}GhLj80c~94oxb&UObF|8lzch4o4xTuXre*GgkbgEeKuZncH4=G&`IT6!fKCb4oWZ&X+l9HQYq{bpmM?#3TgOn$dM!A( zYZtkh?98mJ7uzC~QZ%H?JVq}S_XTuIU?;x3&)xED{__@dpW$2LZhR~M&K6gGLQsjj z@uxfqS5Ba|2_w5)-gzXw-a5ymU^%wsR#ia8-Mf@nOW&P1W#$8JZf>~OvmwmPMJK-@ zcsnAka-i{K7Rzh(h7YMT*>eD)b^rVU_)cmYCZyO2;>^_PD?C;NCMDt<`~;LUf1r1Piv@c@0YGSGAb(NL*E}n+(BS)3!Aiw@I4bZ z4tyy0+0DSCv;z^)wVr&|H^7~2lVBwj9rw?#+(IJlJ1o4o3GfM;8jiJU>nVDUi8S5w`_qmQ-TaM>M z&(5INmFLfs@@GB$_U6tbLrm{;j}b86wQ}ht>(;FsV#1QW&f}KY8z$r0BmZ;sU7bL! z8{Tg;<)}w(cAWfJL8HT6C32;#CNPRbM(l@s2ZFxiER>ROTfX#BLrKl3E`#w-d2S*4 zRThXmTK)J36aJL<1o*}`7ueQ)ul%>zDj*xM;9cx=(4eZv|3@=Eu|n&WW6{%cL4HSi zauy34T3gi(4R2|EOHXj6`RIhbEAu*CvpsvV^54f{8D{-s&&kJyl}QDf*H?@NUcLIX zT*dqQ*1ros^kO-g^_^@H6V0DTlF!E+(3VYjZS{AWLm_bS&#xxzg%K%U@nJoMn>ab? zq8o--Qfu9Rl_`0DzsrSGYe?3&vp%Ht?*7Zb4r^jLWj-SQhHeaa=~COemM$)`j6?2q5dGe%qKGKQ-)92Ct7fe{@JrdO-??>xVQh7`5?05o2(;3u_kCL$OqtSudTGqc=!K)MW@Gj zSNm|0($(meu(Cd(AYmr`V^vG*qQs|>l&CxM88=U(TYY&y1Ja2w*<5Et+1T{chYw#5 z%Oq~`qAw{s_9gLu)y>X*s)nPiTwGkdwjo-`!lum|S6R;?iQ{j#+xz?R|1G{_TJrh7 zrVLBLpEnW?uFRoZK#3W-75b&&N?D_M32T$+%KO1N_R3AyBL&l9cFm%N#V15;f zbV~=p2?#QauE3z6ZIY6&Nuv30UrL9fv|eW$OT>NvIQTprU;bktRAQh}BtNj-aTUe? z_h`no&P8PRvpzc1Huj~9JB#F2vJ^Y^_vJ3>W>le+Ng+1z*|vWd=4q_jags|*Ku~;J z&Q(TU@gP(qfuKyDv%mKB71*xv{Py9KL0`VrUO-F|d;f*zt)9ZQl+n>qTJTqWxlWG} zv><9_p5cWKN;_VBre&tKcKr(!D?R%K;nU0Zw`5^Qz^ z04Tcqtuj%Ubn=5UAwj}_DT3S z@1CUE7xkUezfjO5kzo0dm6 zti)BJF9^JHWq*E0lTK@A+2pfOAh^Q}Wn@|V(d?;J1}vh#NMR?fbG*g={may@bADnO zdzZmT5-_&0ta?k6Ywmr zS>SBs8*=YvR6|2HfanJ%uNOllo;?qf`}l<=nr-98ey}mM)5A^2#@~3mhlGdMzPi18 zYS z6lH2g3tFQW5HG;a@g&H)sQUOQu#1@m)`W7%`7ow8oKQV=YR6CC3isKP7svOZCMFiv z&G=T>2$nY6t)SeDiAli~$R=#?EaS%i6K?2ZgwEF*4-7{A~16W}+O;CM0DmOBdG zGwsI1XHpgH{DQ7r;S&}-(laoqX=|?+W!I{RcIpD3wLHhPa5b8FCyxOKNlwyS zRM*rrpk;C)ov@=mmIl`dQmMe)F#qY8;Z@|Y9Xm8!2UwkDx1dFQ=s!QLCXl3-%8Zw3 zD~8kyku=4wfB5i)gQ4u!&G9nV7VDIyZfk>e+-Gjib?NfubFwdv4t|;PP;xy@hc$|e zb&(o^C;EsTvq%Wv|`-{-Pj z2_SXa{rg2B1rMmyT}wG1S0$(u-*$J?=f80$8u2#-+f`gigW&@lfq}un$eTB}qs#cO zM2H#~7)Uz37gfkPgwv*=aC?wx47o$&(4m(I@nK;@+?P@It%^I;Hal`%f+vf+nK?K{ zW^CP&OVAQyv39Z_&G`53b=tdA()?m#&G~*oA(`W3|8#2Y3SZb1+|A6?$fGq)eTdae z_af0Ll;o|-P$lI}#8iBEHWV>6#ZW5p-++OJp0Ye;=%qp%96~mA5^8WlXZNv-O%UH{M)xv z^HS{Yc8o>F#9T%9UV6y7>#>9X9bKx})rdDC^-dqd8Lvk~s2@6XjVqlU_bci9^AwJ8 zqoKI`Rb2XVT>699Vokxi6;H%`e0(f7c$pMAvZZU^<_GwVUx^=2*LPE+D^9pXH``SK zl`HG=3@ranZM%cB68T_ynuh*P^36}TkK6CuyLa!QS+4ns5{5_*BeeSwte%;j#Ta+fUpZU+z zCNgxXI@i#_3?aBSyi3=Kt`axOw+zFnQP5U-*)4Sk_en!r@q&Dyu53c?$EnzmkPv*( z9ozL884dg9=jX`^>Rcipa$?tQ`J~o}wqk~iH>ZAn_@hZ3+JGjH`S71pJx5YDZQk5S zJz|S1y%8TT9F%zN+O-=uZfwQcZ4Sh{SGK*&9&LWBFjO`$Fo1(kQ}}lC_U*NyHDqJ70{jlUbv)-Vbh_JAv^~;se9h#6nU4c}lcLPuna;!=h zDa+qqH#jtuH2?TiRDk~5_DPXwYX5s>5>JGXpdf8lLBS{f+%w#S>q$+j<)=8T>41Z1 z63UmRW(b$yUL!0p^ES0i!CPG2TGWrnadW(yhYm#@(8VIrf)~sI!M}dcp&&t)e&xqC zGvJsl1UB3KD7oMV4x5YrQjN{UPUn~^-JLsk(t?BQSK(Cb{p7H~-O;vP4^?j+c>bVe zlu&jt)&2V~VzX#q5Qo+Pm3&?Af%Zd+Szz7TwJ(sBh9nP{ZG4ORKMYo$m3&OULyn!Z zv#9;uBNf<-qa3u>#zvb-L2SY!%`~@f?P=*a+|0bZ5$dOCXg=qjpZp^4}Nd>yp=?{kl=bf9E`V|dJX9rn%sZCbf2!Qfdn-4 zkU+P;_{>J@;SZlh~7?Ao4xIX8D4SzYb*lo6OFC_7dy|f6!D%s_M#Kdt@`=DRs_2V+5%5%cSKD0V=%&GA4IITBiqL`+utMwtIEv&yI4v zWR;s6gpS##(eymo^p-yV z=?0+(l^J^`N)9l5diH1Hz`lJK5Q^m>25I&AGteIxmT?tpQjyah9~e*1oArLjn-$hB zeOsGT&h-vgE%b-9-}U}Lom^$6K`)NqIB+3|T;iIgOB^d0-1hU|5fhWlr^>_Ue)R@< zj`vtG3=RwoF;VV5dK5LtTyfXak|pxrne%4__>)sTkJvw&KX2(X%tpsIBuSJEV6b}Y zjI1LW55m=l!d3tE5vGNS(vPD@;&1)Z*BqPG5YwL)0f8AE z_Jb0B`|h2-zCK^jq5<^SA*Sb7dP8tJnddL(@2OUSGuy<^N;l2g)u?o9c=zkf(0 z&=VN!zY#@Qnjl;T<_p`@!!uh{lXsoG))68|Av)h~`<9!Cv3D7IgP<&9s@jlExslbp zL7Ln?#o|D=g4Z4h5!{Hvx1mFt9XZfR2q`j#0eW;7+uDvQtZ&Ox{|u|=ZnpMe*V1A3(nI%< zpYX;58XCb?dd}P45*pm)jxEcLF54gIymBB92}Wz?Enhez`@6HyehS)H<0p2s%T^71 z&F;VW=q~&yM_c~H{0ej(O@?I@RBVtR3$(d4k?c4mj#V%U92HtNI^&y`k+DrcU=>8R z2MvM?qMu&1w5XYy-sW=E2dNNsAU?x0T;YjU1u`G$eB=kA8gj_G_5>poIKyfc)fbXe zQuwu#lr{m+$7BcB*PVGKsJ}(VzJ;s&_t$J1XJ(=YI-1W>$L*jhA{@lWxsU@O)(Zs5 zjDpB|iT;;hF2WWqU$FxH{yE$SAzr!EGISHa|Cy}()BfxyA0MA|Wbt5~waF^mC zN5=;}=7pq$)U-10yUr=4>gwB)lA6k9Rj1D`VJRxtA$|G9-8pUw6LiQHS&*0maHFsg z`J<^ol}_K>T=cqH>VUVprndG?Mm~Pt7ck|x1h+e0fh0Ci6FMwBqTLIv!YXgM<5>H9 z=~qA_2jWi@c78_%ZM5EZ@>PGS!Iklo{rD7@h3E=E86WA6@4}TZ@jy>4y||O zjT`-MS5t^{;M+H6QS*}5&#m`JITKbL4AR>$y4&-+X0vN_rjeH}@E|z#mlF| zZZp1_R#J2S{{2!5rY%K<&ACR|b!+!Aob`+RYLHNVPXGcw(g0+oP%w%0pWNRUIT=&c z)EcdY&Ufl-h;<&-5+1YNb^AtaY!DnLP+W<~nHhj)+%L{K%1TRHyZUU0MUdX!#iMzS zQfMfMqJ-iIfeOKUkRjVZOLp9|>@#c2*|GPZkjO}WbQ`Q~xF`7I`3lB*z6|IIgJ8;H zs^U{)=1Rvpor59!7LV1%#Ke%UJ@<*U0YtRf$-W4~Y$HNssaad!Ln{6XHX~pRL0Fe^ zF!apykS6JI+Qs;H?p#YwcG>se=z@B~U4Br-I;rE{hsBO`$FmeQO-RR%<&`mj@k46* z2ZPn{jn7E`O?-D-HYbeOjK00^%Bow|8xEYXZRbwSyd^DyI1j|1e&Gj+wG!Hy5W-Rl zJJ^F;&wVz;uAd;#%E>>yMo9M#)8#dc?38NcCjsN)U@Te9^=|h>pJPTw>E06RAz@*+ z5}efZ^&?Mp?8}FOZ8RF~sB!4lX(!sO zX4+YLcF{AlRMMpYFzgwFFNmtE8}2=P%eWeZUiGC_^wm$#j#UGxn14(y_~u#mwd=ZF zp{aA^D)WJ~hLAA9k4m0EcP5 zc&05|vgdrbYrqFJw|0UCuc?pR#%4v|{JN?Xb`-Z}nGX5B^YG8vjCU2KJbGl{Dy%X; z#JX%BXe+fm{%JpQO8jBNYS~f;+QovU+3NhFAt-YZ*W(mwzGVf~*Y|0YpA5>CQMsIw zXxm3l&_~yPdEHEZwyAg(no)y=JK;1O&!*;tX0WtuR+X-%1vXdwg9Tv%tZBX0#i-X@ z^KSWf9U1c>_-r_kNH{2gx*4oQ=>>_GYB!m=zsTNiz+@Jx?jiA2K(;gXJyyye0vRik+6c-06?sw56f2f7Ow` z!bBWi%P&aY)~2yV_6^4AOm6{BZb{S(WCHz23;*Fa7$*17zLkgaoIq9Lg#pThABA_K zWRT&mXKA!hvj3x&J-!m+;tWl(60ubvSwL8Q=`AZZZ$IT*@p1gphfMC`PP5&U302s! z-ieG2l-{RjiDiI4D4`vTBoTB+)}?DDUm(}4LsAS6?OV`Cb8SJ^93v6rck?U5O|f#m z5;M?gv=bHC+S}V(xFd*ftn~Ivn5b4$2t$I_k_6;QI6RrFf*8GKFDOA;Pf1T#ThAqb zn8F1AS8`M8*`QMQ5k)@*(&8BVr9EjaeRFCf=|O)8M&7xTGv^x~g^o_{mnra^@q&N& zG)Y*^3B8c^YkWo$Gv+KG&y{hgLj6pe+q4W+xrCgHY?811;Nal!=NU7=;~#UxZ;|IY z7Okh^mUp$^wa;tG|G3ZsXIBlDI#KTC`Nc7-k z*+W+$)@esF(AnFxW$KsAb~zRJ{IDxE+wbC&`sK?h5W_OQB70AV@hESGSVH5(NoJ)l zPge3_0kkVc4ZykOfg{JrB0N)pTgjUVYAvA(;BD;xoNzj(N=4J<6dfhUs*(qyN>o+z z1K>V_v|y$A%rXfl$H#y_E`(PR$g}&}mPOnnV1ky~opxP#HeUds1c620Pj_+Iiq%`e zL=q;Y=VtKGx9Ixh^65sA7M>fwSI_(QI*W^-+iCjd9$!(EIK~^!QAi6@fTtu zBGCz~KF#kwFT){n{b-}qZ1C%e`uW=HoA939_TlEkgtv2p6er*3hlLnGj-l=5e^9el zb*LlBe_FE#v9RP9I+W*G;5*|;d5-!lW?ZVFsp;08>L9(j0KKY0k27R0Vri3v)9pq~ zj9^em`DX_kuq!vY9HoHcjS{7$y(Y}T=hj=Vsyn+?M#fNTJ_j~gw7$>dq-?*V^er!n ze)(*1_Lw;gzv3<-U;Yi+dQAJBUzl1$AU;fm)Uz44!Tnz6-OGalK`ec%*K=-_TjuC> zWRn6djmxt|(YU)eqZEYl4%fKXuTwo7xzWZP?N!(zC&yuJZA~jVNHj}Pb`l|m@E!k@ zKk^s(hjZ5nx`2O+UXTno07UIYZkYmZB8gT0?AM!x<2|MBQ*eHkap_SHp^fYD{{CXk z8|Z1INhfU{>JKT>b25i(#-y9u0J>XVIg!={+1J9W;t zFj5tT87qAia4ranB@>5*M`X$PlkV!@Gh@Bt5o*-0ptHBbD7PjmIyx~T8IHAJBJ$y2 z9z?Ym`uw5t{9Xjk<+pDQV!hEuKXiB}2*$Td;A0eQQBvq74^A==@|IvWqATzl+?SP3 z#lb)dwTgB<{CeX@pAqgQo^KE!@Wm2i)vM??E2`-EZAZ|Sad?@&v}Lh&6%9UKJI$!{ zE@XSETG-1V-hg0uS+Ptu$fe#t->CNr##3O^%h!O78~fziPGzM4e&#%lK6LQlD!Z0D zJA*=wn&ui6qjM!fmy7rt>iCT~02YPottx-CXZo(@WU(}()GPh@R`{hOpV!iNRG>6o zqYz6FPy7AT0biy{cM*Wz0>9fQ1G2h+z!TTO0x&**X)bh_;!C$o)m zr+vkm-h;Tm03Ec+n&3miJIH0hr&o^L0_VJkuB0PmM>PMJ|1-WmRu9P29SQ}GsD{6Z zA2h(HU9w|uwItYpG?)NdqZt+K9rt9$!NcZ|edO4$!rXw$wpn<3gj=}Pr|j0BICfk% zfvs=P=92ECKq8Q@Lb*J%0R+k+`wqa?VC1hu;g^*)QVGKO5*2+8575}iYFfiaZE|d58aziWP1OQU6ia4%bzek&k ztAhEgmbZ6FPfqi6+X3jCU7*GsEzqR9<;h>mS5om(AMaBI>Dtqlid`dLwQS!~gItuE zld};=n=P}#sIB4&U?Oje+h^a3XQs6=tVOHLe+T=U^$rI=`}^A|R?!p|4Pt?Y{z;(_ zkW6fws8MbX98668o{MFVA4|h(uFqhL@TO%p@4Bsx`4Ac><*=Dqmz~|~Bi#?d`b6wm z4*1@{mu!ue>&_j~paQo+wFtk;rWjGvO9+f*6yiBECRCO;942SLly4IfS_46+1U(nXL>D8-xn1Z*DaurfV$U^ln5yf zXN%BP4Wr|#9ceC5&jDq@NGShG@N;R5iMn}nW$K$REKc>6E7bEp6Q}>*#Xn8$x`?=y z6k_V2u@Op#DKZ^0Ml#2iEuny&EaWSJUJ$YuiAk;590W7-kCE0jl!fnAjI^Rqd~uCV z$8pK6d-fcYad2wFXM6`wrwWP-j$btEcB&x_589bwJKep1 z=Ta$KQ5v=xE0i7+&*Y2v(6y`1?7X9Zva*Fr;6k90&?=vlC)*9qRjndq2PGIS7=1#s zpfNpPARO7xek_98*pJ0IkywBI;)jdY?+yg1<$X29`&T;&jrKcQ$8ywMU2NMVl>_5eWuggm3|>(SHpq# zIY&fXoE_fJhd<7Vmwnr%f8@v@O(}9OTJ88Bz=)y1ZY4dUu9b_PWD1FnFYsaaxXqiC zgDsYai`J@62(EN+nR3@V#2EN@!;CZJuM8uPzNzU>UU8#b zv-|Sw7oeiw>S-G(O$Zy?ffCMoV0C5y;5!d*a#aw=nbUM$TjaiYJoW9ky9l^RMOI*| zOObukMvIWtKes%PNtLHgGmQ-(m-Mx8j;^0ST8XkSh0&@qi|!Vif*pdZAP7V_G5i(= zApqA*jk8}6BwFHNw|*P9|MF@drON2&XqnwBDpV%^E~=}ky)XOw8SYG+-RrMjX+w=% zjrOB1Q$JM_vXHM36SKpnXq{<#u<>0t{w2%)G=U*Z=$?ZTDTzoj1{vJgtVefmA_s zlx5XL079Q&1${w|AN=ZY0YPeS7BG`;>{YPp0Lei}AcY)LoFewngHy|#F)>A07_IBU zUtyZcWPob|ElZO%h&D&NEDjmM(qQm}%hQH2L-yo<%7IyZlK$i;NHsZt~p+V~xhOq$VxgeO@vZ0PG0x&3ill!0K z9UJ%N6cr+wUS5G#n^{Tb9{pT!I|oxnv&&Y>7^$gUtxNa9 zFpJbohWa0XmTer8PE6ea4K@YOon_0a;gIl~3)y@DEX%JauD#cwLX;2=<0>R12hZ73 zIl$WQNG^lKL&|nI;Rd=Qw?~1DJ0&FQh{{C{Y94J@LbFMQZ;@5kt!$>_&dcb(fULlZgk~hpfy@I;`ujY^mI5uj~q~A%^m>HY51pud3Yp z>m)fFDPF7;93|Lh>tUCOvid*v05vx^snaDz%GPjv%*Y?$4v@9&O(`>ebOFWS>Do|lL`NZp8 zZ&6_I-@Sq$w@Ax}p1-UbPC?!fAJ_!pPznRoDQ&EQ>09z-<3^zACd0Pn@N$w?3-qP0 zw)BS8E088?s96^gj2ok`JbLtKjxV%+g^HR`W$LU(+=|5t4i1hCjrYBus_(_z0>25y z&yOoPM6s|%L9NiOXTyt6s*_8IKR`%KOegYGZEfwYH_jCGR?~AZFg1M~UElz( zN!|l%6>^BLC?TQAy<#oq=g^j6aO>qJ=$P^_Vq;g#yIAJ;kj-`L$aauT@cH4AcJt=O zVphQuU{~tUiYnyghA2GI`6>8DdUF_@O*a}&yiC)KHpf+PZ;^BLz#IcI&hCjQQg#)n z8*bdZ8Q9j==4=0;8z&A9h>{pK-&eUToO{nz zh;Q`BIGC=>H_v6_;USZY2N}6!!k|&D=T+$$cF-hh0{W=wa={0w=U6hXMJ1E`HNgD) z?R_mbu!m2pGu^NjcgAGwPM&ONUx!(+sy&nCm+=YW!Q-nEny(T{7j5M}2ZtI))YEPHh>XalM~X8caFjts@Ox*r%ug;v$+lI{A*pOQyd>DK3DyJ# zxK73rb1h?SttQE&$@s1JP|cLK3kVQhlW1)Cept5Phb|3w5P3T`bIsDftan0gL|p$I z>EJk6SO#{v0}CB*O;Wxi*0m1w8Znp7Tt6EGGNu3hvC{`pX)yIHGgS=tSP-0P@iI;X zq~_bjcCcZr5ApOWPU-+_C8L!wjFBjZrT!W?3TmF7vK&4_m8d<^V*lC0+(T+=Yai9! zyM-(d>e)w`U7sDb1i2@9iIwY(EyD%bWT+170kvhTvAzh#cwd5Cu&@Ej zMb4&$FwbKuJk0^MF7ox69J_8}%R^bIkqo+uwFlO~4Ag!TlQ{F&aM&k9?m7(v(G%QS@(4nrZK@cx2EC?PeGt78r z4T~*ip8KnLc?TxA>>{M+_u!6Ar)laqcQ|a~E}7#nlmMK%mtEU;g!B?{`K((!q!~_lPLi|Bl_Dz+i4}TyH98i3i1c7vNSl6JkM>Oo*pLUFc*58b6P@%q zb6CWC8QMRYxJ}#RP&NaA@5h|skR%qfl;@rrti@27@p_$tu6@VsWD~3lOzvEH98&l; z#2lh&b0=nPiS!lADe{a@4b$aTa2s4-D>%JI zTUHa(Mz=4+QqV3?Yx?DHDi}8m&z}`c4mTZW)`9m=T6!ahG0r`nqPY3n=D!P&fFUzC zkdvmnTyzx!Y9;1=m{i3qU}+lLJa>zlkd9mNh=Tn+ zR(&VJQ8kT$0T1{tKxU4m4+cfZ|uf(}=EU5#H+?NT(U zxjT35dOLj9$SB6fTr!f(W;LJbuwC+tN0&Jr1{&kye=ChR+cY8GKOz1TLb(8(-3+CR z$FnrjVTrFj0h z=N>{Ouxxt^BXru@i5R6Q3E2N~$t)x-SZiyf6^T2<|HyQF#OsjE+}C3>NFkmf4I=hT zOIX=wV)hvWJ-s^_Hi;i%tVBek!Nj4>g>y+oZ=!uAS&}W=emO7SN1TEDZ?^+A{1`I* zLfp~faXW#Mmz z15t%ciG$TD;WCoJgg7{?Cb*7`YH&6p2%}aqlH~Uq9D=8{YevoY&u4_x<{ zR>#8FlkqJ)A|aE@C{FRLuop81{TfgpJz22BW~d_mjbwHn^ByJ)duA~4_~Uak{ESo= zG8SWQS$6DYn1+`8mPG#+JUM}xm33Rt8;mjo6P8^ML5@XRfZs%-!i3(1u24UayoHJW z1s$UvEi;N`UXu(JmW;@QU>IyMGmDJh!vD*FDe^qtg_&^o(iYHvL>80x{1&IRN3Uhi zq*717pYfJ4O%oGNBz12WzGlRlN(RscnU%*Rmia(IK>=wnEG>CZSf_vdICdfi-e!-F zT=328UMs-wvO_{b9fCa!mUr%FW@aADlYmbE{&Wy5!8>v@NLOCvEkjs9&RGqqPjGDnLJQ3hmaVlZ)u6i z?iMZVTpwC<3Fi|PsJ@-r*7*NcNA}So=XIzppiUN!Yq@NW)^YrS)(2L9;#^KHUFK~g zn?Obk{D*X@x$xg_+qP{5K%JQExAaoXxZ5B!;-np-%n!CX#yJ}#9Kj$ZrbsTm)}vT zu1Elv3BxPxY&2#);5>zj5!^KBJl|K?>x!1u%hDcq36N?unKR>#B`(0E2?VEudHjx^ z+Ok>gfGb4i8nvZiuma5&te${we4?W3;fi+`xAzd|(z+vG>peU)bi64>OlP(t)zfYf zEqTJwAAxCm(rC*#8AUJt@$fg?b+glz}FO%gh(pP}i;NYeMipCi6m1aAqw=3~& zupET2hGrg=>P#~_0#JpijO9c|&EEV#;VuQEAA4FYF2xgrpM3HoOFegP9#J z?&$2`OdjN6xU7~Qey|zCTDE{_!66|I?QZX31;K-CY@@}-?4&mX-d2y%7r~O(HV{AH zR%$yR0a!V3b&Kn%=-rasA@-mp6?(sWAK5x>N&fR+f_o0no0wR3nrQP+5OB%wN<1+p z^Z4;&BdwH%y^@`2?6+WG2YVs=^+>5@zL$8Zq&ryF6`yOmx3GA&vovDxl` zxw(02G-i9#{<~2od^DEeNhgoRv<^1kRK~97CPo=S;y|_Ncdv*I zvxajIobKvh-kZbJaBH*F8&;0adT`vU;h`kyddYbqjQL6O@0oQD9di7>W)a+^pPHIlzVGt2PG@$%*>913EfN4v*RTvVlWEUb;J*gm87|)THV0^_rtueB!Y*1mDUvkDr_;0|rOtAeAUub6F zo#4Wzk1;zOvQ?>Gy=KjiE`w}5Vgf^p>r&rj&MEr{BS)p=;XjU18*w%@pF7lF|>L=TClrBSXNq z!V(wvNT@{%V`JC)?wLt#4)edH8irZImd*!;+2uU+8@aedL51_8QBPRoElFd6#9+Dd}t2hk3E!9>?UH z@R#m26Pm8YEckZ}mN!AQWl_f9UvzdRGgmjwwfo5iB2i^qV65V~Yq9M>bqI}3Kj9V{ z@XE#U(@+;~W}C~`?rcro+b0pD>E!xf_D2CCI#r#FVg$NpK&)j&9ozZ!kO?ot6Qcww z+cKAa6Q009mQOqsg=T^$ zsIXZ1PpuN-kiAUCPB9D#gt*(^x+1ne)(r(HonBW*TVJKBUZX3aF4pw!NRBqP>B zW9DUuS-$d$?`P~2Vu~S`_qf$@(@ZWl#U4H;113)N*b{9qC3SU6_OTb4&iY(DheN}zuoFCxB<9T`mgZeR-6W1@4I_20Ql$gs$G>ZrL7pdsc2#r{-UsfI zyhv}!OEw`-2S0#EuG51s}LjeUi`*>KYK2kwM49+HxW z^HN9~?>3U?1iPZ(n z+>s~qE)D1`(tPU<3n0de?}fR&Qt>kX+3V(ip?||gv&(X%UAIr^tOX^)1%j}e!^;1Y z+w@^0BX&sb%q%SY#*w@OaXJRW&COe-q#`47B6ReU17G&<%iw+ z$`{9gu-0?6f%lK)Lg_zy+8oUAbyigJGH*h%8-jUOcQi6Ldp= zKn^l-bBiral`TD}B&0N@UC(#tMiDA9KB1k3$;-mlesa&}$kx zQ~Ssh^{s7i1D}XU=y@l{T{B|I#5i7LR+@clwLFWiUi3wP{FPQt`Y3uDlKuF+zbVd^>^BO)?+XP=~z#399jr4^;~I2_Ao?#Xt-$@3VmLP)#uX zwgX54bPAr9k^mzG##y<8#^yE&CTy01OtCuO$Dy$E45Ze~@ON!vGk}ku2gSlLUNtpW zpN*b|h_GCO(}zG$5n>=H5lw2Rd!98cLrc(H7l>tqi?a7+-Iv@i;M(MUf9?RIaTy7M zJcA8|n>?n4u;`GJ>VrydfzK7mD_KsaupxO=B#qkdx~;^}HS)^+-{HRXXOq^n9i9;@ ztl7Y~Z~y~2IA2O1?c;rSR=}5)3QsutP9(cI=u=Zo5|#a+;_>{d^>9^&;ROdW-ra*^ z@JnZ*5E&z|tnjtQ^AIrdq>i?5xcI(%^@+mUhQ`LJU_16Md|wf;Fs1&jw~PZEKn)bJ ztLU;zONs7veD3?F5zY04tk1?8JS4K zG%>kwLGmmwqMI31o@ij1KV|^A`P#3u8xhHkjg3PGG^+4N;EUsj@6d;{VD^nyb;t-7 zj)8@&V=%W2AJ7=YA8aEpO3kfcU8w>0SIzC!!$-QGnm;mUH%Zw95_=gQ<5HNJmlspX zJ-s}-S&#-x!4%ZCYZ&Oc2De#FLl@V5JU}J|7S3zlcpBk{r)RSl#1vse5Ds_Sh?)x` zbNE0#BjA8=OVCq+-Mf#d1lC{4aH6L$0}t`41`vCOn@XG5#~v?qU2>6eaXYZ=cjcem zzXrP=x{Mq=qc3=2JaUcy^#BH>I3no|fKIL@&$a@)RjQdi`X+S^iaU7}K&&?=_we|H zdx|@Q#~gm=gF`0W9FTD;jsl@CaR_oxh2JjUe5|5MtVhhw?6@89=It2v4^inLG?jpnJMK|(SlVZ%$n;Nmk82Y7DjJa$_=D21p&*H@*qEU`pdAUw^74 z$c$9{2b+#qq9za$r1MQ4$Ohh`h(ZLkI9h7Wnga8)P+ zr^39n!f*+$@95b_`9k;{Qn{L-OU^`dc^Ojk<%noTTHf_T^+X{J9UJRKL~1(TOXU*Q zkqKei9+%-eJE4{P{kGE=kC?M(->0DHXb~*u;k*)yg_16Ak=9}nd$Cy()k#|MwLvf7 zgH)rWrAwf@sjk%nP^e*pRiIaCJwO7(j-NQu^Rk;4A#eJm_dcXmcCbDOsfswCgiVML zW9)z}WlV{wFtOV(Q7qSTH^|%$6AJIeB?!;edp2UT9tq`@*KV7=y?pM<_3E{AkKxr5 z-yolb;%BMkk!*dK<^t~M6G&wEy=kC7Y0-tZ8~4z)cD=gI1hOYNJ40~Yx?KbuWs-Eh ztt@TZhll%N;)Yl=?dRZsi2Gzz zdNqjGQRilax3gTv<3?BJr4#sa0iz`m?8}z%aigT99Tn*S4&*j`e;lZ6r9Y2m6IIV0 zb)}JZ&nuM==A!0Bl0ntjy!)h2f_x+v00Fsz52Uqv7WgZmK<3D&AiSDh^Vj1IO_Vsw zg*a!QwW{YUjWjb-*F+vb*d=!Q*z<)VIlI8DC{h_)4iR~p36!0&*dYQ2v#rDAJn|$w zem!;1X)}J(TLvgzDcU?8cCY=A&DcDfctD0NHXCj9i`Z#xGbhhjZi}cM30=p&XPzC@ zg_I#loMQN?MoDFk=c-w$+1aI+r-$ohS>9yh#m}UBPP>&(tPcf|P!px7J(`-D6~5W4 zPz`2JEBq0@QqDbxIq7^0{sjLR&tFP%4QaMwd7XH%oKWL}cq9LVl{P;S&>R%#Dzm0qCFZjmJ20w3pA9pEE<4E3v$uiYjyF+{+()L9& zv&z`JXRa$S4C{o1lwtiME*{ZHAgPbjZxm<*KM)$P5*QnZP=}pp82GIA=yTt0rc7a* zm15KeRCgG&Ft>(>vn4+F`8KLD!fVCn_5E=hq50mUmVtLTL2 zxgs?xt;uOWQIK4M>@aox;?c8K|9IndBdplJBizCE?pZZaR4a4u0~QR|t}NU}>(F(V$Pl=+&o{8i83K zEKx8w96jrSzJgDmwV9OxbtnN2UT9M|7Si(R3K94qn}zLdr2mA*yz~3HU1zs>{EX7S zL=;j4o^pj_np9D@x3`?XuXC|l;Gq>z_4pp>kl~MruHjto+)xvS$Re;Oe9Ij<4=H?} zu&+9(V^B=3+MpJFD`jV;O>i~(_wD3)1kRB6XghY9Qm`ABLc4c#;wqALdIhm~U`C<* zfb^W3m!rk}%J?oC=uI~BIt#I4-3qdXd^U^TN@%VAUxWGkgx3+`Y{*ZxOF8y+vbSYg ztRRgz)QxTYse3&o%`#BQq#OidY~iErHeQo!s5O|?(h>@8Oyinar~HqYq9sH1W`s6t z^Lwp-@Smwg-jGh{f<;5kdwPze?%~4p-vA5KI!Vb@^XJdEf8S&I{xLBH5idCTv#s39 zKwdynTV;LasVApKaTeG{oW`rmsT{I-ctWw>JTqA!+$O+eb;H|^KLq{VBTXoSDJZx%8_h!#u>QT=o!~Q z^ThA8lKTIup|g-w>=aciT&SDNdqWDD1QMKA#@-#zd%1x4OJp^GwsYiz|DGqrdm&9? z=T^Dj)xg!SN0M)90g=-PmisWc}>o`7=Iu z27Tudl(7E`?wP$`;%+ou`dm+Bx6HU9l@w$?4SfQ@Tg0M1_l%^SGDi6 z`zkcpZ|WSO{FgJu3k%?%sUG=ZLPfI%&vDVMkOfE=5z&oe&we~~5h+mva{*-7;Vj&k{?V zM3|vDwH%%%uqDp&R;FNc21(nHP$?f5M}5Sk2k2I)4)2Ij?!}(@r7tc?0g_+g_{`=qmlCGz)6)T%jDZgXGofOgiF$1@%Qp6AaAZRomqCxKy;P#8zK7Ztl-^Hv&?EW$ua{lN?1Te{Kfl0qITS z>xb&U{-Dr zd{>veO2SLs)m@1bCq|KTD&UqWKSaJonnmS93mXJZA>tE=P`vKPT`$?ytN&dKsV5gO z#$D`HwY4^H*|t7X8LjMIxTRp7F9DOjfBm4rIw|8i63ntf*IEu>ZQ9dn$Ee~-xvKIVhN`~_GEDp)adpVr_Q*E{X&kq zY{LNZFS1DQPN>f<$^86s;g%AT;^9N?+`BXUKopTeQeTh^d@|Z!m4rC<+ywvw8e3Yh zCequ~(4`v!LG&|7)X94> zyGi{*I`uN(gz0#{i%L4IgKP1iY>{eFqKd{dR1CLve<*rEWpJ zdNylM!Yco^9wIwV=6n=1P!7o4gqqt(D&*UVriB%RQyFeH)=#uy?2)-nskq zhbJfPN8M0!Ob2=RCSvMnw?09{{mTaRvVjKo!v(*xi93T-H=xZY4$dO7Dd07O= zs}}9YKEQ-jUu%lBb2};?v}y5tQwNQbq;M;@9`|NW_k}$3m<&KbS?OyLl+dq?Xzimu z2ZXMP?Ue6}aFteJ3=W;A$8i z^!lR*gGTA3^eYwdPkcNN&fty&w4IN$733NiI%@^IpaWcc*lCVTO*ty#zb+-&Epp_p z;zB1<)WcjR)S7R-3L+q~(6cpisWq*5)LIX^tRiS{obrR%qWHwM$kd5UZv*!ER2LrS z`#9|hcg_y!>y5T#rA(bCxn6%f31_&M0Hvwyc$9P#W};=I*$g}Mt^**t)|Go5M;mm& zPxO1U3E2BllLPu0PWiOBafK}!4jUp^0eBB!POs%(x9<5C&nDJrw*pG?yF24#4D?V@ z>*@~wj`E3+=a0PmP(7QVjX7d`?TCSaFsS3pjN+^-D=KcV)#E~D^!nAJrer>g`ALw2 zh+J$e{N%tZ9d5ma_$L67#SzacfqD~;i^Mu7@ii4^x;D|tycd`(lUjRU910zHElOtC z^-1>GhstRJ0-2DFRnT?~R@gQ0+*EamxfE3(w-Nku(dR#99?1i(@p~cOcP!_~9KGot z*xYsm5{=E953yRjMero(8wn!Df|SPQ6X%MvEt*&n;>`rrUEc$}rdS~ULS$gFJxsGl z`?PE15ZQEn3!bIDj+R{$<32Kziz$5&ssZvnlwT2y7AUv0A!jD76&LAWiIyxvvZqE{#(K`tK(6w&(H--?e; zVa9_Z>&?KCpB7c96sP667IPleud`H^{{+Vz?EqX(M_T0dm9c3NcnE}^P=#=U$icgy z!rIi*kptshBuwm#p)YZP$*plGP$EE;cr{f{?mA7s?|#!)X=ZIL!k|eN`vDMO&JsKO zsb4!TNi%}DyceJtNQub&3Tw(jJYtG=V7N6ev z3J?smQo3$DNQyE-wKssxz4II@N>jg@M{orlkgDG8P!N*yS{! zOZ%U($|?jQKmyHJ6b|g5Vi^n}742@pyUJ}tvDs0B^+t+pUu&T>1s->Q6n9ZUNTBCo zW3Wp3B{)RvPB*Dew;(=ZXXF^{KavFpnPkIfqi0)&&uaYiU9-nxrG)KWu36^t{J%IR zij57TYm`S8P&~%^{z?(eiNAA7-}hXdA_!`wwvs| zigu`5YYe~hDqME?I&SgsfmgYkrj}Oj>)18$A~HVX)k~^BC@3qtcIeHcZxF)xz#WoP zLYx#-`g2R3mei{l4Dbj=MW86Q7uFdR{dj#5N%*c(>*1f6qbBb7$ViVStR%@jU|qE6 ztkSHAdNMUbEoh8#3EH*AFkz%a0D)&nWjA{V74>|Zb5dI}Ka+Lr>up1$Cz5DPAev)g zppk%0qg{)w2V0=+KxUKF;2AVn?SlpCn3ZP6#=KPThKr3Ib>6eAr>7Aw-Utd>FTP(z zWwD|A@LsaPl7WRF%enqnAbyXOaed3b9P*+OU5f_mK6s~1u~aiGnnX(P9G@%v^KO1e zFPDb&mP+SDmG2|potqY@jj|w-3tv7tF*(-ni?@Ic_2MzPe;QV2mVbFOK8EdoS6#j< zN^x>ib8aBt3C-lu+a%LXWOLRd25snJ6EaeYuJSPpM?L0rF(EB`Wsb~0)CQ?vdb(y zHj80vYy0@4W`?eLZyai{H27iTvpIjQUN}W3mQ;fZsy!vb@FS_W;KUu*(Qd)tsYAgQ zRXKJY%jC1;3W#atU_J*CqWaXgwI>mJ;|T#fXWmc?C#w7v0ya73isTY!itz0wD8(~T zUK?o<4O`y-p#a5v!f3NWP4ON%Ffs9|II$8&*{X5xyqFVIwZJ}$r4z_~jfnd-Qleya zo_AE=?h@DATSVuX-7uPTWA!O$CaLvGgtGYfaf4bGnaES-%H1~xZDm}8lBTOOVLqRO zc{w+VRZ0G@(6H#E@IRe*$NI12^ZLk7e-Gw5LKa(X5Y{pL!vuX4!X^w6<_pgdC&zl! zC$~BFY0ga3$vZ3P2?i`;^i_D5bTU%k*PB#6P(YP}2A+_rn<_c95Wl|P=8i30C(AOd zDrkFqdpn4y&k+I>^u%rK{T@TN2e`tVFR@qjO?2b3vf{*xwv5yu3-v=KW{FL~@MY9e zP@yit&x`m@Uub?`h&TmE^=;;+9Zx;2CeZoT3U%)T{R)o6M?|(3eZ#|rp5mFy)xSPCd4$Qvy%I&5wsf^{`^u`++V7axvyV*whc0(MPv@i<^uDc_AsJ_ zAi_iEa}Jd`1P3Fhpkk+b4)a6<8%RHPx0(WaDa$SZNFa(u&g}A82tJ7)~m%-xU)ITv6J65|)Or zF#nlespsASnZNI}?7pLu5f+yUVwDWwW(!qlI3y!H5KjvxDygCDaGX=bH@cH3*Cjh= z-+T9&qp};7`Z}C$F!<-T?tWqaL@-TjZ^JT?oX@jl5QuT*?~UIbUB==T{&Y`+CX)Yz z_a$W-PmV#Hi#LUZ@IgeQs%U&vvmvNDJbX1By=XycdqnoGv&qmjFc=sKPZXR&ca|K+ zb~rOT;EzrHS-`ix?VgzAyiK@=)w|`I5DVk-*kcZep{{YACa6GSyBnuvm-&hj#n`-j z&ZVNFyt4^mM*WXS50&_(=F&~i%WcLxr7tcCa8OZ|>xZa$9FEIjxZaugEg>m-QEGe< zp$1N?C^`Xq=W(m!qOKG5^#PN*_r!KI)W@y!if!tr@F5M2A+me*%hsM)wQ3a_U!GyM z$x)}wvF)>><>bp?^Ky73fpyk-BRIiO&0N>q;y^K5>J~&GGr0WM^<1}5CZSe55~=;9 zMDEk>;ixoI*m>frk9Oj8T>Y=bFZA$|7GrrawV=h8a39}#ok#vUwuGtg^=i~orTvqn zb~Xd+<>h&(j(1p;HJQ0oEv>3zbKEodhX5Y%>4%DRUwBvo+8$Utedp|B8A_N z0<=ciyE5Lp6e6B|?}b>5Pk1?Nd*W4@F)@T*=NK z9${S8W}U|jY)GXjkA2xLRETj%*lYi#Kxz>RhEQ~ge#`CQF2H0iLMD=CmJ+@X0{K~| zpG=^hMy3x^7p5P7F$)SU3gFR0s^NKzk|qkPK#n4}Su=!i8A6EpIrtoPSci-5Uns~| z0A>h<_0R0};fOgZcp0|egw#}oApb^6-{CYz97jp%fr|UOt*w5-ZwPZFGnq2@9B+@*U-)h9m_d%#a`aeP} z%1sR^$iQ_DogSs?i{>a~Sml3=t?b7BWs8F5-5+*8(R-cQDN%OYg$5-Bv>5pyKK?bM z7GcB%qS;HTcc47<5_+|GXU)|VB_0`Yty_?pF7#Uhr3D=Hfju1vchoG9m z6~=SK^5;?STPG{~>6pAp$vol&O-P}bNyv|{Pu}aRUC`V70Rth{$xVLU!Po@?E2@N# z?Yj=r5r$*P8(c2*-AE2W<12_iLSX*?ftE2IBdE^yG3(F6+0=PBLSLmwFo{1xSM7;j z3nB_sgYEhn1ph|eN2F^T5C*R`FWhhL3bRi>*K)b%DgVpf& zl?MGyD^=;R!J z;SkGI1Z#WdVW`1BgU=>Yo0O}l6i$4S)V#h;NGlp91E)Yk)tK7dCtcR$`s-p3oA{-7 zC~>X`+|f|D>PLIOOq9_~iVn2;(V#eO$F8drnFFn>OLadLUQ=V?4)J@ehOg z$EQyx_RXz&@D@>m>6|tL=TG+!%<1RAdyf7Z$Kh2w^_q~9`2yjaQ$kH2Z2qBlLMX() zmJs)#y*K@`{MG)ETedDzTPnq|XJvX?uSV+{9#~LUm!l5s>Wskz{3X{hqM7f)N*LVhjd#Q1u%h>Tdo3==#IKZ8@v=hitLg z-&;de|B<|h4;LX{aP~jr4;B!EG(lZUM0qnKmiA4>z1vQx*3lq$AN<+)i%c{_M9@dc z!_#w%tVT(?b@BE4;KdSa}WEN-}AY*py2|626^=z8@22!E_Jx+p=dn= zA;f>EZ-r5Ci~`TRkDB;S=&EmKe8$Oh8HUgl*!#M+vpH z0_gSa-}mA%pB@U{V-%aEnw2p6wnepwU(5NaD{=ILYIrc|( zQxMec^c#@nTMc&42*4s53S37u&xy8RZs80g)gqudm?QIK&r|Z*rw1v)+!Mudt^t|| zCJIJ#%;o2?Vt4^Ah_QULjyJ~3a3iEFMSc`%g-V@W@7nON)4QpvN(>f;{y_wgbe!*n z++UIY2jLE<6~nJOLcGcb_>hz|ZLSysHPv55`w@kdT`;?&xQFJK>TrhiD>%S9yHx-x zR~gRax(_V^k-+2>9nel;o|?N3adp>&&bX=RW{jucl+TZ&);E=?<>HkfqR^rVY{Q~! zyJ&O?nb~S;UI242{dQJq71RbDe{w!T(M%(XFV;yeXi$Ap50iTlaR=0vsxU)Io&4}VO}_(`}y0MPQp9*ex%8HP_hrB z0Vx#yZ5Dx?hf&4rz|j+&GW14)tsOE5`(sx!1T#-R@o%=9^;h;$2GpV*ASE5(M(m;? zCm4CBERs7LsRsqj6ue>T-dxPle2I(i${zWGAH1PJ`p^ig7jNHn_wux%YtpqO$_Hc^ zlDl%-JjIgF=6cJeCSR0r(zGJmB`+%{f17z7BI>Ri8ptECyFU|9kw6JgDX_&v6*ABn z%gVcDC|DwGm5iT{v%dslHGSgaV1gv3V#%S(zK)PasN2m9Z^*J-1+NB7BGmrKl{_ph z=h|A}ibMHkO8DiEjY*sk-D#fXVOcWMdeP*7a*0zuB@W7^SJk2k_qpSMzB)oDSwNb4 zHnk$CsV%4J06`WltN*h=o`mX{qf2NUr4r2N=UGPXEk1%mDhAIEI^~4L(FY)UIgAgG zF)$)scy~C>LlyFThq6gkwfm7PKP|Iv!L^bLfmJSh8>L$<7^ zui-esOG)#{a$lW6T)1+Z$!uKAF!e&_@rtWsle$RsGWz!f!fG^yvYOgfPz4#KzU9hv z5W>I|G**H78btG1V^Q@248%qKz&Z3zZBT}quq1#jl+{h#A_^}>V&aV#L2)fjSkHKA zDORN-TCP!RhKQ5CY@tY$l;eoR);5h}kB^_9dUS^UT>jLR1VaI@zS34WehOtHuWv_g zHjDy>KN;`A&~50#^jq^16!l7RHVMLf!_;x6)4~L8CXvB7EeI?FV%pT7x_RWnL%dAh z0;uo_2LYttoniM`RaM2i;AkVm7+ICJXB{>;0V0#@UAyw&n?yd&4yq>3| zzc%xX3}?B8d0;|Ok}lh=vXMyT5urK?m|{smvKssP?9LL?Zt)F zVeAoUd<+B68Q{uVa_8xG_Bu1E-$g1!bi(va&}=C~WT$WP>`;BB00aI*W!84&aUA=vnXG>H*Hf0_fKlEUQPHI*CM0{z)`J&P9;$sOXI2ftVewph$dN(I+ zY#jTp2@=|I1XDDTFt<65ROx?Jxn{0X2{KVvo*kG+mWWMK65KAI{~=fre|Oc+7)$VN z*rCxENyi(St(2IivF7L{w;&cNal`;6aFkth8rb=#wo=LJk`LZKV!a%aQ%!3s#uGJW z?81nuK6V{lPFTTlRVFl@N-G#fgZ|bte<0h&!oB-?T_Z%@Mqez_PzW@Di8GtK*mCY;{f!yiW!*WTF`mGWn@2Z z=uN)rGqp$iE3LC9ORe`j!HuIb3)-D?h^=)rCWEqI{3v&*!Q1s}h2e`0W+grnLKP7E zRo7P3_qKwfBl)#{*2U(h;@4bJRT(DbObJBE@6wD0KV};&gfws_z(5@tAHOqV5lzb? z`bqIMcFfj=igXv`s1OFith)zCnJwr`bVQJrlxj>+ZdLgHx&*N@@o%B+nBkk9`oWhw z^xZiSl^f(PosZifgDS)SBi<0TjjuKDAc-Bci!`>w7FXYn#@p?P@k{?Riij{n;ERXd z7J-zSEHtDw6B$Ohw+<^$gZLpc;z$+p&0^bIPpo-P2}cWniUhuS`s#xa~U z8^OCdT}$`Zi37r0Fj2=Uc0QZwuLIIDpT1^fWOOZ2_d($gjrT{;%Wm4Vgo7jQz)n~# zufkn$W_#VmBL0X(g9U;cH&*aFL0F0I3hdbp{NGY!7RUbh9vGG=7k$~-<)Gq$HKg)z zduHD8)vo|O)4Njd8ZE^vOdfXQMTAoQ+KdRz1x@Rv%a;rIiWUzBRim#!rA_;l7#dJc zLN(GXzv_Y4u5o`CUZiA5PomN9XdHHfHgSh6TW44^y9KtEv8rRe4LfCI9qV7t{eYMs z;vpvPduR$p3*_mu*U^{~0X^3w2``$|EEX06Cicx@6ku<}#0;|k+*?^$2?Z5_+?F<0 z)mtx*?mM6-^J#pd^Wy4$XykCR3^W%;*GL-CtRQHDN!e)6iDtkM)J&De)x#WqkCL=Y`%`wAs1Vb%4{GS?cv@7#Ci zX=QyTKZQ?AUE`f8 zAt$PVoHYe#!TQ`fxHGhz&+{f%)i*o8dB3NsbFEs_^2eaA5fNgHyT8i9f}B8jKOH9< z5>QeBTD%n9d>p+a{rJMD=u{2xP@#ijcx;}+M<-^J+KDCIdC)LsdjBC|Btyc8?rSZIqZby6csH6mMmU@fUzb3gVUpW04pS`) z=FJUYV{PDh*KL5|4goQ9y}=BKg(1vZweuMlIf!$^H*xo{zr|6FPZ6n5>K7n=o zXrR$)LZ$@F^Q96F-jL&H9HVDx<-CXoMO&(%(d29Ttks{FhiI~?wQ!6KOE!v^T+q`A z3jb9T1*rwb6D~m=vJ7@QgI9PBY-xaQWg*-QC~xh%+8kV`@*JhNE<;yiGRDQv&I zW(difxpmR#oSPYHzvL-VN2sCcE@gKM0*qmlr~I+xC*EiuMbt%Yvl-m*&w*4(T3^}h z=A-bgCm_zHzJJ$mUecg@N*u(!fRJ?_uOjkkrn_Y52o8W(MzP0GfIcKM)}RrK=NmA1 z-x?F>mP71)gYBpEAu(AO^gQ-LBgE`X(j%%Cv=prZK{Z$s{wSjvkdirIuwG;S;>EYy z0uHRawy!joxe)h3W@vmK zj&t{gfF?DJVEC2qq_9B57+j$20Okj9D2afUL67FqcC$`IhD`8i)z?P!swk5wdnD@jk{U1%R*MF9>a>hJTF96494I5)L!&0k+4&5vE?Xnr5FohgC(eMIE}Rs>~8 z5PV$0wqZ0p)@5J3Slkcs@iEUeMP(=I7vixkM@syJ6zk0RpelSu3BpGz-0>!-q;zGQ zZ%0R&6QG)9l;Fapk-(h1L522GG+Q6}Ne39Ft-#?yQff^d9i72y@5EFnRWOu&Sx-Pm z^AR1LjqnJV19=tT5N~Z4DTG=bCkA#OZparx9g&k%nN#;`l%W594^kinax{jP)2QBH z+sZ|BA8xhkIA5w}62p{?^#n^K%U!^u?Ts{C6g`LY zC@5n89m4gSB1a|N`;3a^9vvdkKT@J}54A^{=uT;k*{*@;@;}pqUeo86WW)#w3ci4S zP;TFNbkW6^EW8bkQo7A0WuAE4lja!Li1yBFf%b-=LHVz z<6z+9p|nFyKN4!&kHVD#C?Ma8{&*tv-JdET($^}1*3wHPSyxal6z*g> ziV7k}gAaY{;~Uh{)($|GFHPMiEFz9XN;nU$P_#3W-S@J-*$i)ky~79x%(v>1Y>o@d zTh%?FfO&p<%akqz8cg>@JwT)QdDdTC5(`@y!J_M)Wgf)E&zN7xQZu2)&vwUB>?SNW z+LY`W25vj^${x##X33>PurSeLp8{7cWN)RD5(|PC{8_ek?IVd5T&2(#RQrD%+1VP} zAwI3)(eb=L{~2^(SD<(myq*uONFleHt4J3lrW_g%4lU*J_3aFOxbi4 zPt!Jh+nI$Ar`R(9iaLFCX>@;!^_6nZOBRBA#*Vc?7>cD4UPbFhXA!$=+J7|K!o#6= z9N}F+>gB3!h^j~pMYGz`#(qXHY@^^Y?<|WZRdlki_;R})KnV2g*r~k9h1X$iM*SQT zEJf%nkQ)>Gn;IM>)Bo7;UzF-xnClS3G07JKMZ7=U#}3Vc_u!`bZ{JmPJO9oq>=>Q$ zo|$B}8}tSJe{Dkr&1b8bjy_Ls_rx(g9}zKx6^nD9$qYSbA+jZdf$zE;j%pEcSOW#& zLj^Lwa@C}m3vtQo)gKc9M9yQIrMXtjJG3qYt+Edy+mIy&f zcY?sKbJJa?IcE@voZ`07@yJlX7T~`H^JjY)q6hwZgD%jRFxUjha*pG?%lFu|N!&0% zIRt&9pw%WsSy~$D@?OB@auw$iE0PY8V51}}s1$qP{i8Pq2Eo;<0{{q&Rt`CR3!|zA z>SlYxI&BK9iv67mq3D_|xbc7pP^~LqC;5xf`JhQ)!0;6nRhtDDkFoEeg6s=;S~eV2 zU-M3t^@f+yfdjkX^5SxORa^V>*V4HYAy7g$Dl#&a8@JZQJHU9)=NpOm5ugcvU#0($ zFPAH77Y|iOK%h75>G9&p2+^!z~%`{emy%(Ziyy0DrBEOlZg!qi^YRZ@DXD zqGtL3Ohl*IRJ#V=Cli$TE5eSFiyADLJOjtdQpvAyj^8YN-*5uZHB3h6dVB@w0TVnY zSUwMVs2w_-|449x2aJ_l@b23^x$$4S)wG;P3j_;DhG8#86$BYLX0%`vX5q?ES^%3PWvB0zAUxZ#g9A6io-152>4@CC+XnZPXxXn+!|BfOH5$5``e@yUN52fJ-qpud2*{I0Ea-)(^8!Ng!9 zaUiNswcm#A@Oryt2iL-%=S%>2xOwwMre@M!Soe+LsIq@w3Kw;l?JsYjvH}&-NR=O^ ztiO~eE;#R3*0$N%nU*wo2}$T9seK$%lj=B{1Ye+=AZw`i{N7qCjKKT5RU05w|7)$K z!Db^BGqZFQ9hH^08lU-JEWof?>R+l|(VEN!Hgd0LJ;zK=37_0+1PN?tT>-ynVQWCp z(`$ismH(l$fga>+3=K-P#|uViB*Nm5%Am2~0uoj%%8NL$+zR~nD=K1@YE!@b|3v_T zA$S367>5UWuc6rZH@H&MCU(`@wbhEj`j1Zq7ci~1Al;fxUADk05*njejbqlk=gT$6 zYCEBYL`3CrSQa0fma`(7Y3vB*pgj$@sYcU=AN}JT$OihS_3XZ|jtv~&O{^vY^u(%wP@9Nf+V7Mp+6WG{k20gxEC zw4Y#Cp#}K)!a#h0saVo(u1T|UI6kyQ(3T?yJ5Ymx{nAG|&{^n7RU6|EhXm=+&ZN?5 zoRj+@xB9*SdwL1k=v9bfHi_5T2Wo5vVi4$B() zK_Wb=J?n6`P-r^XYydP}DBA|}ZFr-JX&o?n+Iplj>@1B2Pim|mR19&2p)H4 zZtFa>tZ?oZ36G=fpsdSV!cIo$=+>Kth0)Iw4$f4Yb`Ep?>k@WpdW>Aq_VS zmG+;(m=}yYyxDfpui1;m{+!ySK&L_t2r*GJ~h`Y zK6T$3q2S^?<2BdH+*-iW_;KKHM&;|*4}Wg6MB+g~@_IRRTqg$fQB;0+&a+AQI-8D6 z+if^{6`^qSkt>0u+%P4n4$z2Ti$iI1f@}WNMy$!w@B1Oq&{X_-IHQ4UxrlzEL{r~# z;5NV7O+f|sDDkJ6yPd*0=HW>jA2s#gfu^Sw6oL*lsBYhk5eaSAD=Y|#f?p^${=mCA z-T`&Yk(P-|Wqe_Yg-c1R)>T-r>I)B6@9dbGF!7#8A1s|Dn~2?x(H_jV-3YAhT#eMQ zS#ui2Jp)f@`j>*XnVFeSxjVMJ?dk~vFHQu9Ybo$}+{@~zj&YM(Q?KXK9C6A+{K79c z$rpwv&G~HP4)>jv!fcMsJev@q6%^@Q!)cW9jOkJ!;Ko zsQ#euKh7ty1CF#T6(z9I(m$9PP+*w-$a+32>vAZM62+57__0pt^e{mgXz{l*7@7eY zA-M%7thB7Kw$Un!Yi;v7d-mxA&)NnVoEBO(BPLr{mY_CRicEVG&o`P$!$g+54C@Qw zwr=W=gD^v2CH*iL$efa`0V)x#0`tD&cc_4sU_->Fr0CG1%zscyEP}8la}Emy>JVz)_2JNp9&w0>R9lk*uNlb452`oo&Js=pQ(fk_H=1x_M*roVNG6 z2eIZymuf4_?Q9ahR(L+8^1J;{-v2@qVw*pmC{SX)HggD$itAzO%e{FweGJO+z1G&L zQ$MUO|M$Z3b^XmeSUoQ*35Wtx*kF!4s(<3n{ErXX|KLTd@x0LG!SVYgIq z@<2llgLE#S-JjwYz8K4K2YwKn|6?HAp~HODr~)fLCV@eXJd1%RSLL-9M_^Q&&kV3? zzqfKb+%Z0w-~9K!kPX_UO}e zE}jL!K|y`f6E(PJ7hW9qR!wj))Zl80%mbjK>W}oZguLMg(47Y0F!9uh*T!qv9Esz& z9n(iIfK}CKUP_s)KseoHlu{63Wco*6{-3Gs7~Gfi^QZOJl_-Hy^&e~d>47bqMWaB5 z#$b43v_4_H-oeT(vr*ixeOy`|5kKYDUFI<;cY-$@fDU~_%enq4oDM+Hz<@x|SjhKs z=c``<70oId2r1|bjt07UU}P|nmrze!Cd+N*Kf{)aY!W{q7d^VTRZhSebFHm*@LUcL z|71;aLz)b4{Yfgfxd&16#lLaZ47N;#uw_ANcHf;qR7!BKgU{p;r^^OPYmQ1MsxQ=$D0j}9RW9-RGT)u! zY?&IL*s>rytrpYHzsFS=iuex zWRPA!L-l^(#~l8lYh8CJxX@XpT!n)BjYWKEbA z2i#JXxV_3~jCFZeE+)Z=~@IorrHGS)R`%wwIC&5Ti zQ|&pl8KVv%f$qO5%DMjnh9V!L-M~t&PGDw=vY)O2@+90Q5^VuB*%B5hx&qcn)asDO zGj<(5yaaJYh8(y9>5;Dy>Dt1F6sm)?7moq{i}ooS2OL%V5Euh=We{{`Vv=vYxdo=K zsz;psOF2Ce818WixL+(C{ATgfPFFWAonXU7bnf8l;99%T%7XWwv1~_O|B64ji|b>$ zbt*m%8dL3h5&x8Pvr}{Q&vMtYUe?H!R!Rski z$G2`Q+mFzqrz9?q;|5p9?taxn>(`GQ#k?Qrxe`A-4Q8Q3O;P0%J^_D;0@O?Y++c|> zi+@(nz)PU0`2A0Fe$kuoKXb2l)b8Nus=fSV-{oq~J!`~jx;9&!3Aio1#*SCzU~Wg* zrv;Ul?4^UAY>c~iAV|#O-JJ)QS6PjmI?ds*)4@~R$zHBwvgM~f+Ozu*&2KIF3lWP$KE6kkB{2^{c{^ z+kX2f$@tb*q=xj^_F!apx7o|~t$;igxK9M3hFH>tFG9j;Z&W*xd0o%Z4?5!SEXL2D z2^}5_oD{?5vGWgWY3&8e9)&89z4%uK;?~TBC9~_hB(84fNE; zFx%YU1jo0+e=6uDWM*#o0qc?+eoJmh}dy}@^X6Mb)S)3Qa@tp%0Pvmtpi z#-4q#*cfMY1*AtNqXN2O8Bd-t#>aH$g87|H4G(; zj@b6?FHz-fZ*n^4=s0F0#4kAJB9<2)e^gUb(Za&QR-y(jo}{!iHr78{dU|V+%=KW2 zfj|;t)sjWCA6Bnf)BEMix@8OM-n`j`D9ttr4|CA+;M=12dw6i6t04+z6nW;mqHjye z2cdAh5}BtD24T70zkpR&|LN0OuIo@gN5A)x=Ma^WI_TjcyLj>9@87>O9>XAJZec;i zAl1;Bor3nGoNFRVLGc&UEe{6q2^!-j@+lo$S@nQVDTux7iQxbBAN`&y@uZud_jCO^ Q2L4jotE!l~=lF&H2eK|xbN~PV literal 0 HcmV?d00001 From a5bc3dfa90303513542e8bc21d6aef644d80477b Mon Sep 17 00:00:00 2001 From: 2024148052 Date: Sat, 9 Aug 2025 21:46:40 +0900 Subject: [PATCH 43/52] info-theory ch5 and 6 --- _posts/2025-08-04-02.Information-Theory.md | 70 +++++++++++++++++++++- 1 file changed, 68 insertions(+), 2 deletions(-) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index 02c2497470..a57673da51 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -731,13 +731,13 @@ i.i.d. ←────────────|─────────── $$ P_{X_i | X^{i-1}}(x_i \mid x^{i-1}) = P_{X_i | X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}), $$ -이 성립하는 시퀀스는 **k차 마르코프 과정(kth Order Markov Process)**를 따릅니다. +이 성립하는 시퀀스는 k차 마르코프 과정(kth Order Markov Process)를 따른다. 즉, k차 마르코프 과정을 따르는 시퀀스에 대해서 $$ P_{X^n}(x^n) = \prod_{i=1}^{n} P_{X_i \mid X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}) $$ -이 성립합니다. +이 성립한다. ### 2.5.4 Stationary Distribution @@ -755,4 +755,70 @@ $$ ### 2.6.5 Joint Differential Entropy +## 6.5 Joint Differential Entropy + +**Theorem 61 (Chain Rule of Differential Entropy).** + +$$ +h(X_1, X_2) = h(X_1) + h(X_2 \mid X_1) +$$ + +사실 discrete의 경우와 똑같다고 생각하면 된다. + +**Proof** +$( X_1, X_2, X_3, \ldots, X_n )$ 들을 $X$ 라고 정의하자. 그러면 우리는 joint distributions에 대한 differential entropy을 정의할 수 있다. + +예를 들어 $X_1$ 와 $X_2$ 가 연속적인 확률변수라면, + +$$ +h(X_1, X_2) = \mathbb{E} \left[ \log \frac{1}{f_{X_1,X_2}(X_1,X_2)} \right] +$$ + +$$ += \mathbb{E} \left[ \log \frac{1}{f_{X_1}(X_1)} \right] + \mathbb{E} \left[ \log \frac{1}{f_{X_2 \mid X_1}(X_2 \mid X_1)} \right] +$$ + +$$ += h(X_1) + h(X_2 \mid X_1) +$$ + +위와 같이 나타낼 수 있다. 이는 pmf(discrete)의 성질과 동일하다. 결합 확률은 주변확률과 조건부 확률의 곱으로 나타낼 수 있는데, pdf(continuous)에서도 동일하게 성립한다. + +**Theorem 62.** +$X$ 와 $Y$ 가 독립이라는 것은 다음과 필요충분조건이다. + +$$ +I(X; Y) = 0 +$$ + + +**Theorem 63 (Data Processing Inequality).** +\( X - Y - Z \) 가 Markov chain을 형성한다면 + +$$ +I(Z; Y) \geq I(Z; X) +$$ + +**Proof** +조건은 엔트로피를 감소시키지않기 때문에 + +$$ +I(Z; Y) = h(Z) - h(Z \mid Y) +$$ + +$$ += h(Z) - h(Z \mid Y, Z) +$$ + +$$ +\geq h(Z) - h(Z \mid X) +$$ + +$$ += I(X; Z) +$$ + +첫번째 등식은 Markov property $f(Z \mid Y) = f(Z \mid Y, X)$ 에서 나온다. + + ### 2.6.6 Maximum Differential Entropy From da40a65720f3bc8643b380ccd8a8dc88f5d34c96 Mon Sep 17 00:00:00 2001 From: 2024148034 <1221ohr@yonsei.ac.kr> Date: Sun, 10 Aug 2025 00:18:35 +0900 Subject: [PATCH 44/52] chapter 6.3 --- _posts/2025-08-04-02.Information-Theory.md | 98 ++++++++++++++++++++++ 1 file changed, 98 insertions(+) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index baa9884e09..4b31b604b6 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -850,6 +850,104 @@ $$ ### 2.6.3 Differential Entropy +이산(discrete)적인 상황에서는, 확률 분포가 균일(uniform)할 때 엔트로피가 최대가 된다. 그리고 사건(event)의 개수가 많아질수록 엔트로피가 증가한다. +그러나 이를 **연속(continuous)** 적인 상황으로 확장하기 위해서는 해결해야 할 몇 가지 문제가 있다. 때문에 우리는 일단 연속 확률 변수의 상호정보량을 정의해야 하며, 이에 앞서 **KL 발산(KL divergence)** 의 정의를 연속적인 상황으로 확장하면 다음과 같다. + +$$ +D(f \parallel g) = \mathbb{E}_f \left[ \log \frac{f(X)}{g(X)} \right] +$$ + +이산적인 상황과 마찬가지로, KL 발산은 항상 0 이상이다. + +$$ +\begin{aligned} +D(f \parallel g) +&= \mathbb{E}_f \left[ \log \frac{f(X)}{g(X)} \right] \\ +&= \int f(x) \cdot \log \frac{f(x)}{g(x)} \, dx \\ +&= - \int f(x) \cdot \log \frac{g(x)}{f(x)} \, dx \\ +&\ge - \log \left( \int f(x) \cdot \frac{g(x)}{f(x)} \, dx \right) \\ +&= 0 +\end{aligned} +$$ + +$-\log$는 아래로 볼록(convex)인 함수이므로, Jensen 부등식을 위와 같이 적용할 수 있다. + +--- + +이제 우리는 KL 발산을 통해 연속적인 상황에서의 상호정보량을 다음과 같이 정의한다. + +$$ +\begin{aligned} +I(X; Y) +&= \mathbb{E} \left[ \log \frac{f_{X,Y}(X,Y)}{f_X(X) f_Y(Y)} \right] \\ +&= D\left(f_{X,Y} \parallel f_X f_Y \right) +\end{aligned} +$$ + +**정리 59. 상호정보량은 양수이다** + +$$ +I(X; Y) \ge 0 +$$ + +이는 $h(X) \ge h(X \mid Y)$를 의미하며, 조건부를 취하는 것은 미분 엔트로피를 감소(또는 최소 유지)시킨다는 것을 알 수 있다. + +매우 작은 $\Delta$에 대해 $P(X^\Delta) = P(i \cdot \Delta \le X \le (i+1) \cdot \Delta) = \Delta \cdot f_X(X)$로 연속 확률변수 $X, Y$를 $X^\Delta, Y^\Delta$로 이산화(discretize)하면, 상호정보량의 정의는 다음과 같다. + +$$ +\begin{aligned} +I(X^\Delta; Y^\Delta) &= \mathbb{E} \left[ \log \frac{P_{X^\Delta, Y^\Delta}(X^\Delta, Y^\Delta)}{P_{X^\Delta}(X^\Delta) P_{Y^\Delta}(Y^\Delta)} \right] \\ +&= \mathbb{E} \left[ \log \frac{\Delta^2 \cdot f_{X,Y}(X,Y)}{\Delta \cdot f_X(X) \cdot \Delta \cdot f_Y(Y)} \right] \\ +&= \mathbb{E} \left[ \log \frac{f_{X,Y}(X,Y)}{f_X(X) \cdot f_Y(Y)} \right] +\end{aligned} +$$ + +이와 같이, 우리는 이산적인 상황으로부터 연속적인 상황에서 상호정보량의 정의를 자연스럽게 도출할 수 있다. + +--- + +**미분 엔트로피(differential entropy)** $h$는 이산 확률변수의 엔트로피에 대응하는 연속 확률변수의 엔트로피이다. +위와 동일한 전략을 사용하여 연속 엔트로피를 유도해보며, 어떠한 차이가 있는지 살펴보자. + +$$ +\begin{aligned} +H(X^\Delta) &= \mathbb{E} \left[ \log \frac{1}{P_{X^\Delta}(X^\Delta)} \right] \\ +&= \mathbb{E} \left[ \log \frac{1}{\Delta \cdot f_X(X)} \right] \\ +&= \mathbb{E} \left[ \log \frac{1}{f_X(X)} \right] - \log \Delta \\ +&= h(X) - \log \Delta +\end{aligned} +$$ + +여기서 + +$$ +h(X) = \int f_X(x) \log \frac{1}{f_X(x)} \, dx +$$ + +가 미분 엔트로피이다. + +미분 엔트로피 $h(X)$는 단순히 이산화된 엔트로피 $H(X^\Delta)$와 $\log\Delta$의 차이로 같아지지 않는다. +$\Delta$가 작아질수록 $H(X^\Delta)$는 더 커지는데, 이는 $\Delta$가 작을수록 더 많은 경우의 수가 가능해져 엔트로피가 증가한다고 생각하면 된다. + +--- + +이산적인 상황에서 엔트로피 $H$는 **라벨 불변성(label invariance)** 을 만족하지만, 미분 엔트로피는 그렇지 않다. 라벨 불변성이란, 일대일 대응 $f$에 대해 $H(X) = H(f(X))$가 성립하는 성질을 말한다. + +> (예시) +> +> 이산 확률변수 $X_1 \in \{1,2,3\}$에 대해 +> $P(X_1 = 1) = 0.4$, $P(X_1 = 2) = 0.5$, $P(X_1 = 3) = 0.1$라 하자. +> 또한 $X_2 = 2X_1 \in \{2,4,6\}$이며 +> $P(X_2 = 2) = 0.4$, $P(X_2 = 4) = 0.5$, $P(X_2 = 6) = 0.1$이다. +> 분포가 동일하므로 $H(X_1)$과 $H(X_2)$는 동일하다. +> +> 그러나 연속 확률 변수에서는 그렇지 않다. 예를 들어 $U \sim \mathrm{Unif}(0,1)$이고 $V = 2U \sim \mathrm{Unif}(0,2)$일 때, +> $h(U) = \log(1-0) = \log 1 = 0$, +> $h(V) = \log(2-0) = \log 2 = 1$이다. + +또한, 미분 엔트로피는 음수가 될 수도 있다. +예를 들어 $U \sim \mathrm{Unif}(0, 1/2)$라면 $h(U) = -\log 2$가 된다. 이는 미분 엔트로피가 $\log\Delta$ 항을 포함하여 정규화되기 때문이다. + ### 2.6.4 Properties of Differential Entropy ### 2.6.5 Joint Differential Entropy From 3125d9465997bb976de6d0cc3bad5928c88f65d7 Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 11 Aug 2025 13:19:50 +0900 Subject: [PATCH 45/52] Update Information Theory chapter with detailed explanations on jointly distributed random variables, marginal distributions, and mutual information. Add new image for stationary distribution and enhance formatting for clarity. --- _posts/2025-08-04-02.Information-Theory.md | 197 ++++++++++++++++----- images/figure7.png | Bin 0 -> 41985 bytes 2 files changed, 152 insertions(+), 45 deletions(-) create mode 100644 images/figure7.png diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index 41c6597ecc..7446b1685f 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -36,65 +36,84 @@ long contents ..... ## 2.4 Jointly Distributed Random Variables 두 개의 확률변수 $X \in \mathcal{X},\ Y \in \mathcal{Y}$ 를 생각해보자. 이 확률 변수들의 결합 확률 분포(Joint Probability Distribution)의 확률 밀도 함수 (Probability mass function)는 다음과 같이 주어질 것이다. + $$ p_{X, Y}(x, y)= \mathrm{Pr} [X=x, Y=y] $$ + 이 결합확률분포의 확률밀도함수 $p_{X,Y}(x,y)$는 $X, Y$가 동시에 특정한 값 $x, y$를 가질 확률을 말한다. 이때 특정한 확률변수 하나에 대해서만 (여기서는, $X$) 그 확률을 고려해볼 수 있는데, 이를 주변 확률 분포(Marginal Probability Distribution)이라 한다. 이 값은 다음과 같이 목표가 되는 확률변수 $X=x$에서 나머지 확률변수에 대한 확률밀도함수값의 가중합으로 구해진다. + $$ p_{X} (x)= \sum_{y\in \mathcal{Y} }^{}{p_{X, Y} (x, y)} $$ -다르게 바라보면, 다음과 같이 가능한 $y \in \mathcal{Y}$ 에 대한 조건부 확률 $p_{X\mid Y}(x\mid Y)$의 기댓값으로도 생각할 수 있고 + +다르게 바라보면, 다음과 같이 가능한 $y \in \mathcal{Y}$ 에 대한 조건부 확률 $p_{X\mid Y}(x\mid Y)$의 기댓값으로도 생각할 수 있고 + $$ p_{X} (x) = \sum_{y\in \mathcal{Y} }^{}{p_{X\mid Y} (x\mid y)p_{Y} (y)} = \mathbb{E}[p_{X\mid Y} (x\mid Y)] $$ + 이는 $X$에 대한 주변 확률 분포(이하, Marginal)가 조건부 확률의 $Y-$평균으로 간주할 수 있음을 보여준다. --- 이제 결합확률분포를 이루는 두 확률변수 $X, Y$에 각각 임의의 함수$f: X\to \mathbb{R}, g: Y\to \mathbb{R}$ 을 씌웠을 때의 기댓값을 생각해보자. + $$ \begin{align} \mathbb{E}[f(X)+g(Y)] &= \sum_{x,y}^{}{[f(x)+g(y)]p_{X,Y}(x,y) } \\ &= \underbrace{ \sum_{x,y}^{}{f(x)p_{X,Y}(x,y) } }_{\text{term1} } + \underbrace{ \sum_{x,y}^{}{g(y)p_{X,Y}(x,y) } }_{\text{term2} } \end{align} $$ + 위 식에서 $\text{term1}$에서 $f$는 확률변수 $X$에만 의존하고, $\text{term2}$에서 $g$는 확률변수 $Y$에만 의존하므로 각 항을 확률변수 $Y, X$에 대한 marginal로 쓸 수 있다. + $$ \begin{align} \sum_{x,y}^{}{f(x)p_{X,Y}(x,y) }+\sum_{x,y}^{}{g(y)p_{X,Y}(x,y) } &= \sum_{x}^{}{f(x)p_{X} (x)} + \sum_{y}^{}{g(y)} p_{Y} (y) \\ &= \mathbb{E}[f(X)] +\mathbb{E}[g(Y)] \end{align} $$ + 이로써 확률변수 $X, Y$가 결합확률분포를 이룰 때, 각 변수에 대한 함수의 기댓값은 항상, 심지어 $X, Y$가 서로 독립이 아닐 때에도, $\mathbb{E}[f(X) + g(Y)] = \mathbb{E}[f(X)]+\mathbb{E}[g(Y)]$의 선형성을 띰을 알 수 있다. --- 결합확률분포는 또한 다음의 특징을 가진다. + $$ p_{X,Y} (x,y)= p_{X} (x)\cdot p_{Y} (y) \iff X \perp\mkern-10mu\perp Y $$ + $\impliedby$ 방향은 독립의 정의에 의해 자연스럽게 도출된다. 따라서 $\implies$ 방향을 증명하기 위해, $\phi_{1}: X\to \mathbb{R}, \phi_{2}Y\to\mathbb{R}$인 두 함수 $\phi_{1}, \phi_{2}$에 대해 + $$ p_{X, Y} (x, y)= \phi_{1} (x) \cdot\ \phi_{2} (y) $$ + 를 만족한다고 가정하자. $X, Y$ 각각의 marginal을 조건부 확률로 나타내면, + $$ \begin{align} p_{X} (x) = \sum_{y}^{}{p_{X, Y} (x, y)} = \sum_{y}^{}{\phi_{1} (x)\cdot \phi_{2} (y)} = \phi_{1} (x)\cdot \sum_{y}^{}{\phi_{2} (y)} = \phi_{1} (x) \cdot C_{Y} \\ p_{Y} (y) = \sum_{x}^{}{p_{X, Y} (x, y)} = \sum_{x}^{}{\phi_{1} (x)\cdot \phi_{2} (y)} = \phi_{2} (y)\cdot \sum_{x}^{}{\phi_{1} (x)} = \phi_{2} (y) \cdot C_{X} \end{align} $$ + 이때, 전체 결합확률분포의 정규화 조건 $\sum_{}^{}{p_{X, Y}(x, y)}= 1$에 따라 + $$ \sum_{X, Y}^{}{p_{X, Y} (x, y)} = \sum_{x}^{}{}\sum_{y}^{}{} \phi_{1}(x)\cdot \phi_{2} (y) = \left( \sum_{x}^{}{\phi_{1} (x)} \right) \cdot \left( \sum_{y}^{}{\phi_{2} (y)} \right) = C_{X} \cdot C_{Y} = 1 $$ + $$ \therefore p_{X, Y} (x, y)= \cfrac{1}{C_{X} \cdot C_{Y} }\cdot \phi_{1} (x)\cdot \phi_{2} (y) = \cfrac{\phi_{1}(x)}{C_{X} }\cdot \cfrac{\phi_{2} (y)}{C_{Y} } = p_{X} (x)\cdot p_{Y} (y) $$ + $X, Y$가 서로 독립임을 알 수 있다. ### 2.4.1 Joint Entropy @@ -249,7 +268,7 @@ $H(Y4\mid Y1=1)$은 $3/4\log4/3+1/4\log4$이다. 상호 정보량 설명 다이어그램

->**상호 정보량(Mutual Information)이란?** +> **상호 정보량(Mutual Information)이란?** 상호 정보량은 엔트로피와 조건부 엔트로피의 차이로 정의된다. @@ -269,7 +288,7 @@ $$ --- -만약 $X$와 $Y$가 서로 **독립**이라면, 위 도식 혹은 정의에 의해 $$I(X; Y) = 0$$임을 보일 수 있다. +만약 $X$와 $Y$가 서로 **독립**이라면, 위 도식 혹은 정의에 의해 $$I(X; Y) = 0$$임을 보일 수 있다. 또한, $I(X; Y) = 0$이면 $X$와 $Y$는 독립이다. 상호 정보량은 다음과 같이 **KL divergence**로도 표현된다. @@ -285,31 +304,39 @@ $I(X; Y) = 0$이라면, $p_{X,Y} = p_X p_Y$가 되어 $X$와 $Y$는 독립이 **정리 36 (데이터 처리 부등식 I)** **정리.** $f$가 결정론적 함수라면, + $$ H(X) \ge H(f(X)) $$ + 이다. -**증명.** +**증명.** + $$ H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X) $$ + 또한, + $$ H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X)) $$ + 따라서 $H(X) \ge H(f(X))$이다. ($f$가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 $H(X)=H(f(X))$.) --- **정리 37 (Mutual information은 대칭적이다)** -**정리.** +**정리.** + $$ I(X;Y) = I(Y;X) $$ -**증명.** +**증명.** + $$ \begin{aligned} I(X;Y) &= H(X) - H(X\mid Y) \\ @@ -322,12 +349,14 @@ $$ --- **정리 38 (Mutual information은 비음수이다)** -**정리.** +**정리.** + $$ I(X;Y) \ge 0 $$ -**증명.** +**증명.** + $$ \begin{aligned} H(X) - H(X\mid Y) @@ -335,9 +364,10 @@ H(X) - H(X\mid Y) &= \mathbb{E}\left[\log \frac{p_{X\mid Y}(X\mid Y)}{p_X(X)}\right] \\ &= \mathbb{E}\left[\log \frac{p_{X,Y}(X,Y)}{p_X(X)p_Y(Y)}\right] \\ &= \sum_{x,y} p_{X,Y}(x,y) \log \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)} \\ -&= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 +&= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 \end{aligned} $$ + 따라서 $I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0$. 여기서 $p_X p_Y$는 $X$와 $Y$가 각각의 주변분포 $p_X, p_Y$를 가지지만 서로 독립인 $(X,Y)$에 대한 분포이다. 또한 부등식 $H(X) \ge H(X\mid Y)$는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다. @@ -346,11 +376,13 @@ $$ **정리 39 (데이터 처리 부등식 II)** **정리.** 임의의 함수 $f: \mathcal{X} \to \mathbb{R}$에 대해 다음이 성립한다: + $$ I(X;Y) \ge I(f(X);Y) $$ -**증명.** +**증명.** + $$ \begin{aligned} I(X;Y) &= H(Y) - H(Y\mid X) \\ @@ -362,21 +394,25 @@ $$ **일반화.** $X - Y - Z$가 마르코프 체인(또는 $X$와 $Z$가 $Y$를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다: -1. $X - Y - Z \iff X$와 $Z$가 $Y$를 주었을 때 독립이다. $(X \perp Z \mid Y)$ -2. $Y$가 알려져 있을 때 $X$는 $Z$를 추정하는 데 쓸모없다. -3. 모든 $x,y,z$에 대해 $p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)$. + +1. $X - Y - Z \iff X$와 $Z$가 $Y$를 주었을 때 독립이다. $(X \perp Z \mid Y)$ +2. $Y$가 알려져 있을 때 $X$는 $Z$를 추정하는 데 쓸모없다. +3. 모든 $x,y,z$에 대해 $p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)$. --- -**정리 40 (데이터 처리 부등식 III)** +**정리 40 (데이터 처리 부등식 III)** **정리.** 만약 $X - Y - Z$가 마르코프 체인을 이룬다면, + $$ I(X;Z) \le I(Y;Z) $$ + 또는 대칭적으로 $I(Z;X) \le I(Z;Y)$. -**증명.** +**증명.** + $$ \begin{aligned} I(Y;Z) &= H(Z) - H(Z\mid Y) \\ @@ -385,6 +421,7 @@ I(Y;Z) &= H(Z) - H(Z\mid Y) \\ &= I(X;Z) \end{aligned} $$ + 따라서 $I(Y;Z) \ge I(X;Z)$, 즉 $I(Z;Y) \ge I(Z;X)$이다. **문제 29.(b)** @@ -396,30 +433,37 @@ $X, Y, Z$가 결합 확률 분포를 가지는 임의의 확률 변수일 때, **1. 체인 룰(chain rule) 적용** 상호 정보의 체인 룰에 따르면: + $$ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X). $$ + 이는 “$X, Y$가 합쳐질 때 $Z$와 주고받는 정보량”을 먼저 $X$가 주는 정보량과, $X$를 알고 난 뒤 $Y$가 더 주는 추가 정보량으로 분해한 식이다. **2. 조건부 상호 정보의 비음성** -항상 +항상 + $$ I(Y; Z \mid X) \ge 0 $$ + 이다. (KL 발산 형태로 증명할 수 있다.) **3. 부등식 결론** 따라서 + $$ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z). $$ **4. 등호 성립 조건** -등호 $I(X, Y; Z) = I(X; Z)$가 되려면 +등호 $I(X, Y; Z) = I(X; Z)$가 되려면 + $$ I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X $$ + 이어야 한다. 즉 “$X$를 조건으로 두었을 때 $Y$와 $Z$가 독립”이어야 한다. 이 역시 $Y \to X \to Z$ 형태의 마르코프 사슬과 동치이다. @@ -428,44 +472,57 @@ $$ **문제 31.** 임의의 결정론적 함수 $g$에 대하여, + $$ H(X \mid g(Y)) = H(X \mid Y) $$ + 이 성립하려면 어떤 조건이 필요한가? **풀이** **1. 데이터 처리 부등식 I (조건부 형태)** 이미 알고 있는 바: + $$ H(X \mid g(Y)) \ge H(X \mid Y), $$ + 왜냐하면 “$Y$를 알면 $g(Y)$를 알 수 있지만, $g(Y)$를 안다고 해서 항상 $Y$가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다. **2. 등호 조건 분석** + $$ H(X \mid g(Y)) = H(X \mid Y) $$ + 일 때, 양쪽 사이에 끼어 있는 + $$ H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0 $$ + 이다. 즉, “$g(Y)$를 조건으로 $X$와 $Y$가 독립”이어야 한다. **3. 마르코프 사슬 해석** + $$ I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y). $$ -이는 바로 + +이는 바로 + $$ X \longrightarrow g(Y) \longrightarrow Y $$ + 꼴의 마르코프 사슬 형태가 성립함을 뜻한다. **4. 특수 사례** -- $g$가 일대일 대응(가역)이면 당연히 $g(Y) \leftrightarrow Y$ 양방향 복원이 가능하므로 등호 성립. -- 또 $X$와 $Y$가 본래 독립이라도 + +- $g$가 일대일 대응(가역)이면 당연히 $g(Y) \leftrightarrow Y$ 양방향 복원이 가능하므로 등호 성립. +- 또 $X$와 $Y$가 본래 독립이라도 $$ H(X \mid g(Y)) = H(X) = H(X \mid Y) $$ @@ -483,16 +540,19 @@ $$ **1. 데이터 처리 부등식 II** 이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 $g$에 대하여: + $$ I(g(X); Y) \le I(X; Y). $$ **2. 직관** -- $X$가 $Y$에 갖는 정보량이 $I(X;Y)$이고, -- $X$를 $g$로 가공한 $g(X)$는 $X$보다 “덜 상세”(또는 같음) → + +- $X$가 $Y$에 갖는 정보량이 $I(X;Y)$이고, +- $X$를 $g$로 가공한 $g(X)$는 $X$보다 “덜 상세”(또는 같음) → - $g(X)$가 $Y$에 제공할 수 있는 정보도 당연히 $I(X;Y)$ 이하여야 한다. **3. 형식적 증명** + $$ \begin{aligned} I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\ @@ -502,10 +562,12 @@ I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\ $$ **4. 등호 성립 조건** -등호가 되려면 +등호가 되려면 + $$ H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X). $$ + 즉 “$g(X)$를 조건으로 $X$와 $Y$가 독립”일 때 등호가 된다. 다시 말해 $g(X)$를 기준으로 $X$와 $Y$는 더 이상의 상호 정보(조건부)가 없다. @@ -730,19 +792,69 @@ i.i.d. ←────────────|─────────── ### 2.5.3 kth Order Markov Process 확률 과정 X에 대해, + $$ P_{X_i | X^{i-1}}(x_i \mid x^{i-1}) = P_{X_i | X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}), $$ + 이 성립하는 시퀀스는 **k차 마르코프 과정(kth Order Markov Process)**를 따른다. 즉, k차 마르코프 과정을 따르는 시퀀스에 대해서 + $$ P_{X^n}(x^n) = \prod_{i=1}^{n} P_{X_i \mid X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}) $$ + 이 성립한다. ### 2.5.4 Stationary Distribution +stationary Distribution + +**그림 7 설명** + +- **i.i.d(독립 동일 분포) 가정**: 시퀀스 내 각 확률변수가 서로 완전히 독립이며 상관관계가 없음. +- **실제(practical) 환경**: 시퀀스 내 변수들 간의 상관관계가 높음. +- **정상 분포(stationary distribution)**: i.i.d보다 현실을 더 잘 근사하며, $k$차 마르코프 과정보다 현실 상황에 더 가까움. + +--- + +**정의 45. 정상(stationary) 과정** +랜덤 프로세스 $X_1, X_2, \dots, X_n$이 다음을 만족하면 정상 과정이라 한다. + +$$ +P_{X_i^{i+n}} = P_{X_{i+1}^{i+n+1}}, \quad \forall i, n +$$ + +- 임의의 $n$-튜플을 $i$번째 시점에서 시작해도, $(i+1)$번째 시점에서 시작해도 분포가 동일하다. +- 확률변수의 분포가 **시간에 의존하지 않는다**. + +여기서 + +- $P_{X_i^n}$ : $i$번째 시점부터 $n$개의 변수를 포함하는 분포 +- $P_{X_{i+1}^n}$ : $(i+1)$번째 시점부터 $n$개의 변수를 포함하는 분포 + +--- + +**예제 46. 랜덤 워크(Random Walk)** + +$$ +X_0 = 0,\quad X_n = X_{n-1} \pm 1 +$$ + +- $X_1$의 가능한 값: $\{0, -1\}$ +- $X_2$의 가능한 값: $\{2, 0, -2\}$ + +시간이 지남에 따라 값의 분포가 변하고, $X_n$이 $X_0$보다 "더 랜덤"해진다. +⇒ **정상이 아님**. + +--- + +**비고** + +- 모든 마르코프 과정이 정상인 것은 아니다. +- 정상 과정은 무한 의존성(infinite dependency)을 가질 수 있다. + ### 2.5.5 Stationary Markov Process **예제 47.** 초기 분포가 $P(A) = P(B) = P(C) = \frac{1}{3}$인 다음 1차 마르코프 과정을 생각해보자. @@ -770,7 +882,7 @@ $$ --- -**예제 50.** $p_{X_i \mid X_{i-1}}(1\mid0) = p_{X_i \mid X_{i-1}}(0 \mid 1) = \alpha < \frac{1}{2}, p_{X_i \mid X_{i-1}}(0 \mid 0) = p_{X_i \mid X_{i-1}}(1 \mid 1) = 1 - \alpha$ 인 이항 확률 과정을 생각해보자. 이 때 전이 행렬은 다음과 같다. +**예제 50.** $p_{X_i \mid X_{i-1}}(1\mid0) = p_{X_i \mid X_{i-1}}(0 \mid 1) = \alpha < \frac{1}{2}, p_{X_i \mid X_{i-1}}(0 \mid 0) = p_{X_i \mid X_{i-1}}(1 \mid 1) = 1 - \alpha$ 인 이항 확률 과정을 생각해보자. 이 때 전이 행렬은 다음과 같다. $$ P = \begin{pmatrix} @@ -803,7 +915,7 @@ $$ [P\pi^\star]_i = \frac{1}{n} \sum_{j=1}^n P_{ji} $$ -전이 행렬에서 한 행의 합은 확률 분포이므로 항상 1이 되어 $[P\pi^\star]_i = 1/n$. +전이 행렬에서 한 행의 합은 확률 분포이므로 항상 1이 되어 $[P\pi^\star]_i = 1/n$. 따라서 $P \pi^\star = \pi^\star$, $\pi^\star$는 정상 분포이다. --- @@ -814,7 +926,6 @@ $$ \pi_\infty = \lim_{t \to \infty} \pi_t $$ - **정리 52.** 극한 분포는 정상 분포여야 한다. 풀이: $\pi_{t+1} = P \pi_t$ 의 양변에 극한을 취하여 쉽게 증명 가능하다. @@ -823,7 +934,7 @@ $$ $X_0 \sim p_0$라 할 때, 다음과 같은 전이 행렬을 가진 1차 마르코프 과정을 생각해보자. $$ -P = +P = \begin{bmatrix} 1 - \epsilon & \epsilon/(n-1) & \cdots & \epsilon/(n-1) \\ \epsilon/(n-1) & 1 - \epsilon & \cdots & \epsilon/(n-1) \\ @@ -839,7 +950,6 @@ $$ X_t \approx f_\theta(X_{t+1}, t) $$ - 그렇다면 우리는 균일 분포로부터 $\tilde X_N$을 샘플링한 후, $f_\theta(\cdot, t)$ 를 재귀적으로 적용하여 $\tilde X_0$ 를 얻을 수 있다. 이 $\tilde X_0$는 $X_0 \sim p_0$와 유사하게 동작할 것으로 기대할 수 있으며, 이것이 **생성적 확산 모델(generative diffusion process)**의 핵심 아이디어이다. ## 2.6 Continuous Random Variables @@ -861,7 +971,7 @@ $$ $$ \begin{aligned} -D(f \parallel g) +D(f \parallel g) &= \mathbb{E}_f \left[ \log \frac{f(X)}{g(X)} \right] \\ &= \int f(x) \cdot \log \frac{f(x)}{g(x)} \, dx \\ &= - \int f(x) \cdot \log \frac{g(x)}{f(x)} \, dx \\ @@ -878,7 +988,7 @@ $-\log$는 아래로 볼록(convex)인 함수이므로, Jensen 부등식을 위 $$ \begin{aligned} -I(X; Y) +I(X; Y) &= \mathbb{E} \left[ \log \frac{f_{X,Y}(X,Y)}{f_X(X) f_Y(Y)} \right] \\ &= D\left(f_{X,Y} \parallel f_X f_Y \right) \end{aligned} @@ -931,22 +1041,22 @@ $\Delta$가 작아질수록 $H(X^\Delta)$는 더 커지는데, 이는 $\Delta$ --- -이산적인 상황에서 엔트로피 $H$는 **라벨 불변성(label invariance)** 을 만족하지만, 미분 엔트로피는 그렇지 않다. 라벨 불변성이란, 일대일 대응 $f$에 대해 $H(X) = H(f(X))$가 성립하는 성질을 말한다. +이산적인 상황에서 엔트로피 $H$는 **라벨 불변성(label invariance)** 을 만족하지만, 미분 엔트로피는 그렇지 않다. 라벨 불변성이란, 일대일 대응 $f$에 대해 $H(X) = H(f(X))$가 성립하는 성질을 말한다. > (예시) -> +> > 이산 확률변수 $X_1 \in \{1,2,3\}$에 대해 > $P(X_1 = 1) = 0.4$, $P(X_1 = 2) = 0.5$, $P(X_1 = 3) = 0.1$라 하자. > 또한 $X_2 = 2X_1 \in \{2,4,6\}$이며 > $P(X_2 = 2) = 0.4$, $P(X_2 = 4) = 0.5$, $P(X_2 = 6) = 0.1$이다. > 분포가 동일하므로 $H(X_1)$과 $H(X_2)$는 동일하다. -> +> > 그러나 연속 확률 변수에서는 그렇지 않다. 예를 들어 $U \sim \mathrm{Unif}(0,1)$이고 $V = 2U \sim \mathrm{Unif}(0,2)$일 때, > $h(U) = \log(1-0) = \log 1 = 0$, > $h(V) = \log(2-0) = \log 2 = 1$이다. -또한, 미분 엔트로피는 음수가 될 수도 있다. -예를 들어 $U \sim \mathrm{Unif}(0, 1/2)$라면 $h(U) = -\log 2$가 된다. 이는 미분 엔트로피가 $\log\Delta$ 항을 포함하여 정규화되기 때문이다. +또한, 미분 엔트로피는 음수가 될 수도 있다. +예를 들어 $U \sim \mathrm{Unif}(0, 1/2)$라면 $h(U) = -\log 2$가 된다. 이는 미분 엔트로피가 $\log\Delta$ 항을 포함하여 정규화되기 때문이다. ### 2.6.4 Properties of Differential Entropy @@ -954,13 +1064,12 @@ $\Delta$가 작아질수록 $H(X^\Delta)$는 더 커지는데, 이는 $\Delta$ ### 2.6.6 Maximum Differential Entropy -> **이산 변수에서 최대 엔트로피는 균등 분포에서 달성된다.** -> +> **이산 변수에서 최대 엔트로피는 균등 분포에서 달성된다.** +> > 이산 확률 변수 $X \in \{1, 2, \dots, K\}$의 엔트로피는 다음 부등식을 만족한다. > $H(X) \leq \log_2 K$ -> ->등호는 균등 분포일 때 성립한다. - +> +> 등호는 균등 분포일 때 성립한다. > 2차 모멘트 제약 조건 @@ -976,7 +1085,7 @@ $$ **정리65. 가우시안 분포가 최대 미분 엔트로피를 가진다.** -*proof.* +_proof._ $X$의 확률 밀도 함수를 $f_X$, 평균 0, 분산 $P$인 가우시안 확률 변수 $X' \sim \mathcal{N}(0, P)$의 pdf를 @@ -985,8 +1094,7 @@ $$ g(x) = \frac{1}{\sqrt{2 \pi P}} \exp\left(-\frac{x^2}{2P}\right) $$ -라고 하자. - +라고 하자. KL 발산의 정의에 의해, @@ -1010,7 +1118,6 @@ $$ \mathbb{E}_f \left[\log \frac{1}{g(X)}\right] = \log \sqrt{2 \pi P} + \frac{P}{2P} = \log \sqrt{2 \pi P} + \frac{1}{2} = h(g) $$ - $$ D(f \| g) = h(g) - h(f_X) \geq 0 $$ @@ -1021,4 +1128,4 @@ $$ h(g) \geq h(f_X) $$ -$\therefore$ 2차 모멘트 제약 조건 하에서 가우시안 분포가 최대 미분 엔트로피를 가진다. \ No newline at end of file +$\therefore$ 2차 모멘트 제약 조건 하에서 가우시안 분포가 최대 미분 엔트로피를 가진다. diff --git a/images/figure7.png b/images/figure7.png new file mode 100644 index 0000000000000000000000000000000000000000..bb3784ede57dffca91afd71102b7d8665af34896 GIT binary patch literal 41985 zcmeFYhc{f^{s*ju5yBur^wEh<6212xB8c8e^k}2^j1r;~y^Br+(aVSyB?yraqW3O3 z@0RDe_ddD5`>yr=0k5@Y%`xZfeRlnp&*!tl)K%qf-6Xq-f`W2OL0(z|1qH(t1qGD` zf(d@PO8sJlf^xImMoLOuK}w27-Pys?#?}G_MLsMc3G1=uDxv?C*C;tE8bluZ{sAjg zTyZ5^R`4rC!CxE!gTDEytKa@UixzDyoFkmMo>gW%{Kg~Vt{)`Q81b%E#!`z0v(PD@ zQJb1iJO1BH25)tIvm_=BM`GbGjpZ=Xby)5jv`JGOmvdc^HDD@C_|w$jpV?y5eJe`#jC_g#wzl+cPXh zCz#|j?`sW|q6U6yohbE}^>0Nc!_sOpUC|pkNg`%(Oju^M; z^FlLs6@*Y6CANra;2-Ot_-(rtDCz>dqL`Q{UDhby0^vM1zvA&lcH2;BvuN);qiMy# zY{Sr@brnF#bjb=(Ak>H{Y}? zIO6G}X}7yNk_%&qWKlO^(9MdF2GKyU9?_8Hp{`2Gz7{aY;)c2RklYOI$mVB8RSZSG z#%1*%7iUmsd5pRl@GRRXn`l^|2z@PdOR9ModVqO~n`_KdiuSzoW99u%!Mcu63T)2c zxSzQE)EvPN+ZG+~dqeC4huXD&es{z_C!~@=y^Wn8IwGZ;lg#Y!n3R<&AviWCF*p2? zMbWdzBE@&UL^Xu1N!-d6&91U0dlOYF-I#+u{K%S05WShAnaUtQ)ZbpxNPI^6C`WF1 zhU<1D@kfgJKoc`l?%reyWr6}+%^(}3K62{gf!PnUDxLdm=$xaMl0xovY_?H$q_w(QU1WEjwYGcp6}nm z+AZ9DxPyMo9Z1`bn3aUk?O?-$Uj_RFKk2wHDP|H`ByA3zM#LZ=&#{^cRAqR?93zes zrD<2=(iHaPB}WuB1XdxdJa3Z@!b+7N(0Rp?ytY`lwQ#ZUZsBa9?)J^DStHWW69H|sP@T-2Ug-D(J}kbU#f@|ESQ?l;ydyaVtz z0&g1mIG^DSJxSRVOnuns@$2&>evL6ZZ<%9R{!_2_g70PDyVhL1XZR*mGxQvPy=c{A zEpN^Ci$ED~p3K(i%N+p`n~rJ zx->)2K^>*(H7=1zZAWC6n;=XAOwxa%(*+WYGIv=wK5G1oWftlbx%+h9a$X`-FleC1 zYK)sIMO|4~nMb);#XiMUC8fZoKuDz`wcQfWlEpH?a^jQ83%M8BC#w7QIFTXmLcZpF zn=5CSjI~Iy)3us>o^N@__Wifw$+d*{*{)58mg{co4iE4i(5Cu4z_&}VL$}lZUi+=3 ziuc|8q}I3T>cX#QlNFT?RemDf-ciPbda5r}Y9hCUPcrUjptET{VO@u=CnUW}8Y}s{9#j``#IyZQl$qKu z(=?OA$YO?h=H?8O@2PLEud6TJCElgd#So@3S|Hj3tSO7<@8BCxf5~TQ&Q`bKNGxO_ zvcj_p+b!EiX2+rY^jzjjJ-O<+>Q2@#NFin~?XbN*nK<(Bw+?g;&VMRNI})CH&_vTD z5=dOdKWB_QldtG`6@#CvoMZmT?(^8njnD5tQ=595Dw=tkmYF4W8NM2gB>MOsIX{;> z|9nnv`D}3JL91UtXJF0^cVZsmC5{c9ybtmrdxAn*vY}k!9mzY^(Ir#wybG| zs#u+Zmj}KNdi5SHI4t60PhsQ-2GG~#jpVhP*DbL3O0iI}Sg>?TI+%p)xIPnK+Zw~S zF|j!t{V2no6YApaDS3)rRn4#BZ4x#ZJH;?f_(CBjkExTvOz$ItPyT5fwgty0+g=Tc z&^*R+ua+!r=vC882R3I z$k`e`w^w@y^WIJEgNg$qxbYn)t#8FM+TTk#3@+?dKD`;2-0VmQ@ew<|QrFH?r)O_y z9CzK^qW&y)({JOcRjYk>gG1N(+&zW|3>FMVmj!MMS= zTOgDw@_?FIi*kU@5Ce`z`-j}a+s$LF~HwwFd*&hF4P<^&P)RDQpxjQrZ*iPS|mZb5a*Y>{8=d*8q zCYKs|xw@Jf`>w4XenSB}=p@h5pFPKaMmeQ}HPO2kipS3Ha#1<-GtsmEROHsPTMTk- z1d}l&t&HcM%hto6Yt25H9d^Hp(!M`J7Ll4&&{Pn!6u*>_Sf98>6u|WDsevB3-@8-0 zD~0B`gu=&acET#c1|FX0%9kmh-^IS`T#g+&e9vz0YU)>dV28GnBp#8_pZg8kStj78~{t$G1LA7dm)M@w<;M zFXiiP=xIB={IS(SUpo_`xuV0V?}>7F4NnPYZFrq@8p(&ANQ5al~Qki)z2KU zgv(M-i@mjDqYOXSC}h+@YhnwP-@D7QkKZr0mztiFFGh;OGcSENq;}a-{`TSC|KY>Lh$j(Li^X# z7^Ye1|GGw{0ryZOG^G?2z_+HEvxSBI3u^}#-5H}w@B_A^yzUDW6k>+!52}I&{SK&q z!sfA#i;jx2pqYamhl#m^sRf6Jo#S;qD8e3s;L^^*#e~Mg&er~gpoa+U?~{UYI%CIJ($4*wb9s zYhvo)>LNl*d;Ow+|NYfY3lE$ByvhE>-`xTo`V@be4*e*XX5`Oh2wQBvnWCAqnIc>Y=RAGiLysMZS$XDJ6e@J<)e|IF9l zh5vc;?}Ead*Ioa|Q2aH{zkdY-EqYU!^WT#udNZNh<$5(z*hs5A2H#+n{r|4{W0iiP_gC3|8r>^PedvOvyA7hMfv0RzaN2O+%`R@{bzxHl?}ioP)FE6 zts`RoZ>8dBH@SVW{`*zeCB=gv%t$^+P1pab5;cUh75#rTGD`w9gAC)F>Hn(IUovv$ z&p!R##9HivzEa<%ZzXsrsck&_pC6$B3 z^&ijDgcr2|{8>T;$0Se=AJuz*GK zqhq*zc>h?!FR{HIy4C$5F?>8D?_HTUP9N`%dhZWR+;*)Y{A2gGtuSRlc~7?k?!Ok# zWK<_HhSL225Au2J%<`?5zAH%3HvBNanrB9*)Np!YDiWwQU=}TsNab_zxn}(7^Zd63 zZ&>#v7FLi&^_&ek-Y*mv_$LIrVZqHtzds0)M@L5wfFBkp;5 zvOGFrhq5mR((lV9(Vp;4;;cVlb+Jcbva28)T#S7^-TG|HpRrr4f(>xJs4FRopzr|ul;Hop_5Ysisgf8X(i~=3;n}14r2jFa1fAceurT=5(8>%2u7ju zT-@4Yua`+GSlqb1eapUa^Fh3fGJym1o~qDhjeNxM-lSD#{@He`SXu42XRAGQ(aJBW zeLYV5jV=i#F_#O{-M&FhqeM?v_@-S(Z!v7Se0*8m_b5@Apn|vL4PnKC=G?^4ehY7R z`yoHq&wWibk%Vyr_vwR=XlxM+3PuTcNFlv%EQSC?HS zA>oP;M)C&TZSTV`+CT9Z=OQ>&d545wJoP#JGWu>vl)T^Z<6Wz?nry*Jqzr(Mual3_FDQ2g{`3HQti;zj0gv}Cav6SJp1ts@A$feE?V|-(s zTv4YRqxb{gl{(=Nz$Zv@Ab};*&wu~$@b0`;?yKjXz>yyb@rN0*GkfFawFv& zSx)B1NK7JXLO3UsF7uirm2Rc-)l?yByu!GM0;D$a3~|4aGnl}SO=8=(LYl5Vo2oS zH%U(CW?~wx0f{djo zokAm5g1&qP!%X2l+cK&ulrMI<8{Ho0f%)g!|8TwbCoU=<5UyxqKusZwhifGjQPY79 z)d-eXbfTuX#0+&azFxNQS2LuEtQV_lem5VXMvzM1VG~W%cka~*sZ= z01Z2Epe+F1toQQ|uWd?KGZyIL`7D+gBmkqZ3qj{T?W*m)#f(&^(({hP?+=5j)`DeQ znUh@>-@Zr3rdKqCL8J`rz$boKnCa`;;f|LBeIg0ri{NOmJ|6h65UUi(q8f|SX`%~F z@cLQur{y(9gFBmCN0wY27}Y2m7FD!SO+Ky(Wn9G@X8C<{(hI$Zo-|wRbyFG^Os#h& zs^v8n^Y3f@xb?O#P${8Irr7rIk=^?*Pre|D)byu4=3i;mK7L!hsF)D)(({Sk_J@oz z!(ujT=@U(r`&x(5e&=+1EUx`6w#61n1`o=Y%c@J-gRtaIokjEtAM38Xt@d~X5Ldo0 zVN4l1i)HmC8~*ium(Pmdk3TJGmzWej(Mr*oZc`qip^Zu@HZ0Q*YPHs3 z`)pQop2UnDGoQfnm_KgXYFPhB2pb`K*)X4%G@Y>1t>N8X+4S;&0%;aupSDn4ipW=* zF!Zuxb4NpQg79y5p>jtB>b?o)B<=f|^=dMQF;V>Dd|6Cwl9h2Vjw3>7_3~_6jVaAh zlC8@WPU!2dNU7`DMaaB{inE42G=~$q*Bi9{Uj{({8yJLTpQyqdebk#J56pn4E zFh>gSo%Yqb)(g8dx#TQmJn7rsC9jWe-Yb2*S6%pkn#~oq1bmw+LU7>~RO*r<{%ke~ zzn}@pf`N~uz{qdVk(!+IH0&qL*FkJwi~XF46F&sFSQq~9WjNe5 z4>_a5*()b+-E?B%j8=rhHT48XMpQl2nQE(LhhglSz|xshbKAMnvoE?Ybi#xF+=0R% z`+u`+s6&K(po<2%fk1JESw@TeLZl-EiLkvsKZm zvb;=>t4uT@f9_^&`rT$Nta3lX=$tn3Q573bKk1q#zKlGK^IM>?W*=1sRCB2N=%0iA zTKomb_H72wOv~tp3n4T-G{mz*^g<1{N}_-l=k-n=h9W~~x#B}%d@i`1;iJ1x6_h41 zz{a}8XFBMQimu`2N!|g;BnaoXZ#h}2`58)H+x20m1Lr%NJyhlah-!BTUW_O(g&1qF znf7G>ow?wjWP&u zn#xLB$fFxp&7h>=LYHeI4~#Ts8?=EU%A3GhF-zpQy7&9@?mb5Dd74?rOW;gzQFB** z`mR+tbH4P@sfBHw6@JY62UNnx2_T-O=7;0TXg+}`Xc$;{meGQ1MNk;@t|M!IY#NBd z8pRG>oNaSiO0f!+!6v4o7z|a7&{F=0SsWp&!b-oNu3jZ=>S2s;e zEV7VLhvHCoP%;+t{J-oN{MwFfH&~RF)Z#IPG*@tzZBemz^&exgx>8C>jw!k$zkVH ztSb)w^{%(uYQB4MMNF&q9~KjJWJB)U8s|N>gHfM186Qe!4MMmnz}D2Ub?})ma1U7t zf=CI?0I#Rh5Dakz$-~PPo&mnmyo;k5u|%Z-5EDI8bCWdHB@lfMEiNJ&7t;AYtA0Em zEvBkx_g?F`sojKA^3!!X83nQgmuc4t83P^St|wo~Z7U^gw++@v6Au5&Ti0CMieKY8 z+}L22kq|Uh8>hYqsAl37jSfxZPG39Rkbv&N507~$5C6pX0KqD@m1}3QoZ)4UV1SV6 zRH};(I+5s_#}uLGKz()ihg=g0rX4$PnTSYD_u`mX3};E$fQ4YMZB_p6jDQwbDfv2O zs`Q14)#e%kuh%K|39P_$Ly!qpR<=`rs_Ld92Z5QGPRo?bsLIcpqgM}q$Zxk^`6Ad6 z+6?&TQ#5n8%a6<2JBs+(3#gF!Q8;Xs;*Em89_a1=34?e>1AuY6ijN8V;2s(Tl|Q!` zv{@3xKA6Q@$Jku+OVfzr`Rk5LH?IX)Jh_haF5`;5Qg&W%Gh1vk9Tu7ewv4Kylc)%Q4YYVfbLzn#h8%ZY+T>KQij@;N72Y z!~1$EY-i}uVISN@gP|^bLX0gH;GR%)5?BOB@gG)7~B;s z6-?q${NDe(m)a?xN^nU_O|7Y+O=GX9u+Ucq@iuci+2P{Ne|2<;4s_J}2uY@prA8pG zzM{Iq?CZib(1TnpHcbDL%jC4~y2fVE+dBW=+1F$BgJ`wWy2Y{KABe9t$F+}k6)S!9 zM-ToQPj+Ph9ECWPtNghjena6||4C&2FH~H^1 z77urTk$ZZ)^o{S2tm!W}>rDh$h%ct`pZ^&({;ozG2Y`JxKU1HN{tux3ADw&}D6XX? z_1-KJz=>=6R!o8goAwQZdt@;$K%Q+^JYn*QyIa}p)%|gVxdj=vd=@oP(GlGZsob-7 z8s!!L^0#~>*H*lNdR!LGC!_6X#xIk9EudG<9T^E=$?|kahqUEJRk!M^v?hLd@r=MV zC?LWxtV{is8~?OZ_SbXD{_Twy%|8ZoS_juQ1pex&xDf*w7VYh{!$k2o!WHEnW-ZEb zWNwK|r=sTGW|?+y766?1tIag_7L$w$bS+aD27m*DLGM>{G=E{-2UG}|oWE~S3$9Xw zNr>f!(wdJW@3@1Ga5Ljy4rt{$7}?WrlH9%Km=Mh)(qxj_sm=>RCaRQ!|{_EVC{~8{Gx-g}f$0E7EJl4zyc`7$v z>4hTAEvySe_fjmShOHLj=TfJYQ5QOIj{roK%3nm{^T4P6U*u81BPns1<(T7rZR`Uf zG-X<-fvUh_ybHjv@^?Ryb28pR-0f$3r!4sEtJ$bDk;-j-L9cJ8y-b;T25yrKBD+W; zn<=MmJ0io&<8HBn`{O!v+%cqgh~iIQ<&=+IobL~*9ZkJZi?0I^luW9%Q8%`-NEz5} z0hdZy9F`#QW>^KD(8_ZmMlMG!Z#!p5YDy+J1$e5_04%EHrL-4=wZ7$fFO97(=6hl( zpIqi|7i^zpUY%s}{R}252*ML&9uT`aw>u=C+*9HFJ0uYI0();0eyo5-NGgGbdywKN z3;?WE;DpqY3_Wf1Q~^%t+5ljZ5e+5wJLqQ(S?%=x^MgX$%GXZl6tr1tC)qdbKL5wHiupFAv<8*}|uF1*Y^o8D&oA2ludR2m@%Hjj{Ow zlIjAY>frm+U^df<^&Q)xE}6imxGW}UhbGL_jH;$`fJh5kwEALY0$`iD!H1u~oM&7k zvxaxfR*b6n@*L8APgh6H<5b4+#9WV0*DFRj{Z9IW5y8fn0E`y7*m)^dGxJ=o5C5;d z6Y%5OWO=a-D4<qt6IlvW1&BO2P`%FO)zNkl0fJht$BPte! zqqrcLzfQJ{uv=NG$we-|;*&ir2p^XxO`HxCbyFKxJ8iNe9hhH2di6MO>b6*xk$4=d4)tcHdi9O^eM08(Q29d-&lFc{4}^CEF|% z7%o1xoNc8tW_Zl4Jm+@@8E+n46hAEzDxGo-BAkkzVu%8mzsn{@h8P=_tR$XL@Ymh6 z!Y0pF@wCA?f};q|7KE^_Tg_skUg)e!dPJp)m`v-dLlXkiYaAIGUjJk+MjQKZPwB(r zd*sjeR26BQCtoUVm0U6ySe>{glxI9#UE39Ge8QRAR8jYmk5cNwv-`Pk;$O4`E^x%3 zb|7#AG{Th!sF<4+*Wvcl7X$Y@AEKe_cvqZH_+4l>9FFUCZZwIUje=SlnnZPMbifPrNl=icB)B|K76VxpM}8nj9kgQrXxI z>?}7)TpK~mk%@jb*9{%9!KC_pYlRJ3@u4C43jHpN}{|J^VKobx@;Sx^i(%mX9DJSbs;fmu#KZ*6btFH+wwb|L^ zS(S7xuO7OZ>`!*N;{|IQks(1i~$L`Z@X=Hh26$TdGHTNG!?bTm0da ztQbs*w|NYz(~qnKjE3qKv(xl~=hn{-iI;E3 zstjLhke(3LKSAE!6Zf$C@VGY@`7_}Kl4Vywj?}R6igWxbzi?_KF&4kSrby_@Xvb=t z+oja6*`C3^n}4zCZ#NpS1qJjR9>Y9v6w|com}^p@xY)2z3mLJilOZ!*!k}>weTz`K zPdRNe-p1_!=y2x_K~RwVr?Xw&AZVu-BL;4u!q7bnnz71(17Iodh#K&VjVklze^`2R zk5LM@G)(Rd=+eEkZQAjjyRaoIu`}H_AX^=MKVe7?H>n;HPw(x!&OV|%b>BR$L%>?K z4dD#RM|VFZ1&Ex`7SHyF{vzB4=|c1`8u?wmH>XuMewDr(Buf;1@rhe*hki@!o#qhm zQ;pN+p$Z?b;iMV>e#-j5JyrE0n7hoe3p3exvp7Q3>g;1<=xG8B8QQj^!!DLm9Wnqg z>=(S!$CKH7^h3xu_4bof&bi$)_Ksb^sSx|z^nJgg^tBAp5-b|&y{ZRNo=jxg{N3Z4Y=_)!eUMBsHUqin8>|`-1+P5|S&fP^Z5u1l;Hsn`A$J7#V2nU;M7a6ww7O)kBU9|yuP?l)@@mhbkDW7T2vl# zBFs#jSVgsf7i1OciKN4M@I}`uUCTnEsPDUJ_Xpvaw|o9geR!<7s_-ns#W0NoCVVa8 z=x=M{CnvqG30SKHnS6j?^LoEo`~3-A-OF^sx2qo_R}O+&OCmM2i?NN9`xY zg(mTnVp{`E3#Y7xm7IuTw%3n!v&yPDQ&=Oue38Uq9~+;rG^y=V4WM)A>rM3e(y(5x zXAwiU$LMz|xW{nS^jtHc%%d2j_hP$>!l#>T#g7lnF!r*`Yq%rCwTL5&n`~=xGIO>K ztkPX`j0)9qX8QU|iZ^Qb=i(mdNj(9E+;c48yjKXPU#r$X(rv^+lj(G6%m6X_~UKv0#SX<+QY(09yl%KD^S0Ok0ppWf{a*{A*7fGNSR=hwhWb@W<0TV zPs^@>u4jN}EZK|eOGe?A=uN!$IfF+cM-;cbmn6Uf(2NlcF`?B2`aSy&erI~h!k32? zezzEq>Mw1ZiQ-CPqk2d2gf`S+!^2cjMpvg3T86QA;Fkx5Vr5hS*JtGvfMCYs2Z6Mk zpV0(&mcX%^ZoY`zHJfVE$tod}uTG_CFK#)x{&faFLZap~ws?iN-GDS2os54A>ZAL5 z9>{H?_8?I-7|mH%cvHVa!h|yok^-0>*ljwz*La_4^h_ULW8IJj2=M{uWHr4s$tnIR zI9?&lgM4}_efqRdYWVn?o?d*!bei6T%W{en?06czaj&3{m<7hQ4OWBJk42VKGK?1( zCUfRje6WHzf|K}PFv#aZI${{g=PM1)KKfhB1W{YSO4YXDz!9Gan$ zvvEn4p^&ckwkaAGVnUDnJVyLR{YDCp@}|c~+OL%eK91Rj2x$b%!6ZezoKYW~AGS2= zHc0oC#+smB8)00N{-ERTkI6nJs@w5rWHJ8|53Hbq+={A=rx=h#wrF71GRkR5ajAss z`;;P0Uq>85g0$y&zIHhWqjCh9lxp|+*V_|xwvojI6?QLlzHd5bVwDnAw%)7GfqIdC zvU+z=|AY~&o=IV`a^Ban%mN_DHw%%ZtR~-fTR6 z*JpWUx409ZTG)=eC6K(K?rRb|Fgwq3Pwi6*>G_s>YeY?D7W?Ew>9J@9Vm3&gg{0&U zxZK-%RfCjdf;0>a%qw~08lu^{9)~-hQJ)h@-#Nu*{H23o+MbxyDJ{~!UE8#jAG3QV z2g#yt%L#6CJw-VsU{k6zW}!uyV2MV@A?nL^kXm4fchPSJEL4t~q`!DQ?6nm(GTW~s zHu^G56terK?f%*>2C4{K{*<74?S`Ec6l+}B%c+8-2(iE6>=|JY<(Qg+pK zN>G(5{#2TVjkuRQfQfV2w($Y&W zS~B$$L<{bSqfiCMPLMk^J^Gz%&b>}lw<7&FY4hhy$+$2Rb0_=Jk#R8_J$svP>fB*I z2k@K7_HFobI!VXPrA?hwb3bg8y+Pv^4kQ;TqXTBoWQ7vsj<;p3e@{n1uQ0lOFxehM zJijs~m)5c%EjF>B@Y_YfARCPA4WTSa>z@<_r<6&IPIdqy3}gC`yud4ATxp28hLD)V zl8A4g^>ZZ7ge(~KnJ5q{lWy?d%^tv5^ZRP@Qs$}jo7^Zt*1@>MbEO}7ogGEWgtW1K zz#|vXv^m^a$M!wb>HPeXre}EBc(tRN^b|#M^`VCt8>|2+lLmlBy$&AqpNTEm2zs4Q zCXb|A!@kI^K2%KGy2%Z1+*}C~yvco_c901XIZ&HS(vE-BmmPJmtCKX`J<@F=A(>Sn zi7-*HT+Q4c{|YM|dku}y=O3iCDR9I4X#df67P!Xdw( zAtZCW7p(nqZ|R=MpGVW)4!su6)KHdWM+H8WKKL7U%z6nDdQZrw6<`S`Fi2;CdDsai z(u5-us?A?YaHy$pTgU}77tC2@z%BDSIZ@ZQg@{a<6Pi+PbMZ5B6J*qG(u}uv~$suO;JFe z{~WzR&5j^Bz=81S#F;No*#)8`P-j4;DE9I*=b3%*F3J`|lqrif_c zK%?8I1r5;7`@y$M75eUb*Fx7WxO}{SkTsS?v->y_nC^4}CBoZldBaFjOU!w{>uDQP zhDXk{>ss6AX*Z&16q3`8y{o*-*4%@#rV%`(eW_UyU4LQq=wc7L?-;(xtFs>GLXBv| z?B9}`HVEKR?n*c^0?;dzQ600+6&5P-a5=@B3$px{)pCtLw@ZOjDbAxqK5Yxa9p5)g z>a+l)0;N$RzrK1%>SYwsB55|DJ#qE8bL*101?L#$32n0tW7M$FhF$surpYcj)TK>f zb_N3ir@pK-refT&y9e{p1uaefJU!&Q*i6y5zj|Bw7Z%AxP4>2!A2G&ZCCU*b&*D<> zb1^!xQ8LFx{#FNNtwMIl^ZjOzqGV|LZ&n@5x~owK-Z0i}kXme{Lk`Quw_vtvKyF+! z*bsF79htBB+wI&Of#?Cg;b!K+qzR!zEQ>ei`XSa1xXbh$^boBq{|qjY0hII$vj1}$;Mot;!F~mxbObN=3d%i zpqx|GCg#RXzI%H&qd+^Px&F z3MHOZuln&+N!$xUNnBOmw?cu^yW5h}*flX8H8K1L>wsS{(qC6bywyVkd83hj9-toe zb0afq8xKAJLbu5LX9RU}btiS>(XKxV?EEzw>*s=NTuM}v^KZt{*c|XDk!%v904%h_ z=#$O^vX}tD?_9iJW!ZlA(y2MEt7$h9n)W0eu(6nGabNuP_-bJfRG0| zbZn$K_mTYSH^l3YAsYw)5cxLVw;&bHKnc=~8U*MLouTm~4K}&TaFf?VL|WzU3`nj@ zOWJpzc>06o18(5LV-f>IiLevt5)=jzY$`bn`IlX^m|&#d=X<+JvRc>z+0W0ZI^{$U z&!=um*{_t-6f+p`lx|*&ZLGzV?u3uZ^;z%)-BH<1Xp1u`^)n8(*77EnF1Q4U>zi%pZ>bC4$;qb$c;8jwHbj0S9an@ zSqm7QGP0RN9f5&ZUDfL!$vcgOl_y-5^TIGQwSsB$Y+EmWJ#s&#?PGfVFu)t?ye4Y8 zGbxibJ^edVWf3)(t(oS6xiBJ!w+7K{>OaP+C-Rt}25BAvVofaAQJU}DqrELQ{2_(E zfOAhtfa5dOMBW2J);RIIU-#pQ#h4J-5Jn8lvttRC@5$py&^xe#Ejr9h3}yR1loOx{ zeWd`IgZMt}gBzw`Y*cpQ+0iPbFvo{MEaug+l>@(`2B|X=?!vBE4z1+q*`9<$J6#!X zT+5MkYG~-In*7;|l*rclh@STuPkv@d(kGlu47=@mSJ=Z*=L^^H44}2XC#Z>zEd%{x zlmd#=SAlS64>ALtzlSvtn+GNwf&lFEm0r30&Na zGVL#y(9bn$W6eE|HpR9ifUk1$m$zP?LUH;===)eN=-}#4c6~awWb*Bs2mwEz?|Wc` zFM4c@ymvv;&-+%$hc>DodqL%7L4vaCcHS+>XPF)r$xoo`l&b`>eNoc+L%A(FRIy?g z)30Gtw0>^I6y#6?2J#?V)6kv3NAI6muM=H1xc&G8KYufo4NGYZ}%eo-VNi)MTHRb`saG zwO{)8)O_Hy${D!h@TZa6Xh@ul(`w}~@r*onwI_F1_8+GdreTzSkqV1uQ0xxFu^^z{ zcS*$O{%Jht`tfQeJ8YdFU)DG$3P>W|4gnzB9qjL&Qe?a-Dfmq%n5;ZOoe`g{m6pmi ztL0kXEB&^c-Nris>@Dhm(>&^c8%j5W=V;SLtQ?IuwG;7SI>UYhD-SDcn7<2+`kh}Z z>YVOALP5pw<4Luv)rH(ae3y}Dq`aVg!gpYIAjB5Irj*K@B#Lf=9uOoN(h`xc43@s- zTS8hwc!EKYPN4328#MYs^?`GC2ywWuB@paD-TBon2%c9;=2hfeTq~Q#GOHDaVn0>0 zMKFkU&4sK}#1D)peQP_Uog3@g%&18feoG$sWHJnIMj+UkUDRdo<*!+$(3ZM$v7g!E za?9)K^oQ|(QCV4X*8x&+e-H3I+8CtAJUu>u1UD5Q%JY{v0px~O^J{j6`oZ>5BSuWz zjsC1;ZBgC;7$uhJjW{TUL2OhQj$SKIig9IB0z^+~UNeBHk{?Yr62{(0Ts3+l=ourL zGHY^HeD6)QOah;JRc6ZENTq~I? zFKefq`*%_T`Mm(0E+^LI;0HhlJXpw#Al3zu4^AM556Nm(xI~YEMS@lbYtVBxIIB+w z8V(!u0{e+8f)3D`-U#kInaZpgY5pwx_;xQgN%?4*egJ+wEdvl)6*+|sf$Yv%$6f&; zRtd@JLM+w=p(&0J>7jIK8x!tjEuO%_YsbVvc%p1fl=#yT82zaIUTFJP<2DtZNB<$H zzUdA7Su@MTN#?HikIU2=#6}v^_Ev4`gH`}We*pvusp(Dq%E$mScZ@r0nt%;&f9FVg zF~k4-FPgFJ+B|7(7iPm4h=_x4Vt%cga#q64Ah2QfYV${h8OIlvAvq6C zt2fn zy|hWe_9dqrcMUA$+lFUSo*uY^O3BPgOrO}^29hiT@CK-Ej02<92ud%G%joFMxL?XE zi*?yMLYjaE!Qi-d?xD(T!i>mx0H9T@4g}7(R_CG0E1Z=&5-aT^!J;AS2lzT)X`ap= zq*fCMti(a1`^%LN$SHL8U{B)`TV7w@xtDOQhEBX$R`rqWk>%=HeN>x91zq9;NIzm0 zLSBR29w?e&5DGApt4d3j3ziDVK4j&fpTS{{8UUxC-AbPnk!&ssE;=`FkagoJiP*Rk z3^>&&QTE39rU4~P*BeBG>m6$=f_Z|5@I}iHRtEX|O@HqmCXA0X&c5G_uVEK14U82< z{=GIK3#&L5y$ESvcw6e8KflEcwv&ihx~;aVLeh<>_>dU+?hm$Fv3nS_7Tk=B0r0#5 zNrk@48ydBu3X_WT7O3=#3Tk~sf$^Ei1skcb#lrqDp1okY#a@Ypq|D<2+py6mg~C~? zaGuyb!mRitp7&o~?(52joyJig(!4gxxSfCQ!e?Q^WYPLCtUjN;sgPqV=m@TnSp7A2 zullVu(Q=Vh#_O(_B)j+dcK4coF{UmQ3Ogz4dMloUx$fk0GGJA$$>})eINzmMnqB_Z+c5eX6q~ z7IGyu)`-y;tSzFB8L$`Df0eQ!%x}TXWMLvo2^4-#%{45d#~``-Jvp(!&dCyH^#Zo? zBY|<-C*$M*!9bi2NYJu#%Oi9P%=J#z65MlmenxN;eU@F85hH~`3>_scZUuvZwvz~8 zBl)mUeJc)dnrLZX>`?v8hoE_HZ5$23@z5kub``om#9G-fOb~>BFeD-9I~+7r`Y{&P z64LT+;k&MnV1Lky{E9`9lVK7~?bEj!A1hB~M-J)Zg%x;dH@8%E^KlK|o&o+ivzo!Q zhFy;<-}VmC<`#D0R{V2{-*E8C%rz~2bWwLmxDtoa*Y*MTxF4nAF1hBK;&dOfaLh~R zkbSj*$X(~e1851Xg#-4^*cp;$oZL@~V{7wR;PDeb4LElNy(m*^DEIHdomxs7+?08F zGL_)Xy2MY!b@(l>L|Hfu6ydrWeM)MbZ@4+b6yafy5rz<>f4gds@2#r5Spvs={*E*0 zhsQ9&i#naFo8G(W9Bu&oi{)(jW<>IaAJZaxiRQ0>-22L!GYa>ZK#8pF>*9?^gKz#J z{Xcjuu4@{iR@o$^bxZ*qln%iK;HKi8s-W*|J-fR;v+WCwOFnM4GpC$uc1I~fcoT^`s7Gh*u$c8-L~ls9*TjT^@RhVot!tt`1A#tH8TUbjtG}qZz50e@QWpt`D?O zDZPmOizmG9#R?sUW5J-k*9Lu;s^`XOum!FJK|%DCbP3CKo1?GWocnO_*+1GGNr75w z#=q8~baBzMX#ebQRl+iu9>L`~-G2`aO@Oa>7Mqra|0>qQ?~GtS5n2<198blWuJq4i zHh*U@|DzVZyPy`vM%a@=KO$zKhc0=uMEgtp*Dhe-sI}<6YrsYtdu<_1IIJIAvqZdz$q-{H$a|jG41T`bHG;w z;Re3St^tVP=j#mEOpmu%kdYZ@rf=zF{Vm+Q3)R3`Ef=83%LmP@x6`G(SOtd=Mn{x5 zr`_z4irfic(MMv4UL1_pfHBM;5MI)N$PYE#+0kpy=5~4ajcm z$I9_%%t|-{${|fhKfJiz=1iV+SB*;Hi^PNTG=kl#2JOIa3c`T40sFR^g0Tzqc&8J8 zbn3-W`mvmLDIe+AYPMC-ZFz83>)q9?=jz96l(zj8C~xe|RK_9PK(AaA6lOSQ`+%hs zE4gW$-4vXrwLH*5^LB3q2avAixCKC)nV$~ryehj+^6bFrpqt!2hnRW}*tkI`_*JBZ zd$X01nqh-qSHTP_^M2wAnjbUS*^k8#yx#2c$RR>f6>#7L$Vti%fbg(R#0CJiH@Ta= zG@+)()03L%03wiu6}USctxwe;RwwFO7s-J3y427fC^p@cHY@i8!I^^*AQc7*t*ycD zG}w8;(9W-6FLhiak`)+Jq+uU95g4-mAVr6W^M+x_-arjb{;g8y!$vJ&Q+Z>Z69($F zn1ygxTH0uss1W==#JzP?RcqTmDu@CSE<#CxMGAsQh;)ZEiXtT`APNZ5Nav!JMp9Hz zx|EP+Nl8gaC{ofW-F5Ei-tYIlzu!6kpD`GFti5C{=6vS!+<9HsP0SAQIgN`{j|MtB z!v{w{e-Fq|pPN+C*`Mt`cD<0s$0gv4NOQvsIxKGvXlq)N_4_3V#Eec~Hb|9Cx4!Js!7j_Qn$intQU1EJ7wiEmg18$q1$f{(Qq1)nBqqz?ki z6Xoo~tBlUB_c^VfcLc}SS;{sN?|*V-zezxp(MYnG-^@gV5v27OId=*8 zzK5|cIIw=q+Dic!FY(I4kdPQ5maWpz$l;P8_lWAeg^^X8*4^2O0dIP6BlE*(5vpH* zr!4QACy-=I99aw~%fvKVwF(_0g)cR)7P>~P%+<+&X@2s9sy!a-IsQot5A67Cud5?4zK9k8 z-=+awIfIvu-6G#AA)XFh#D z8O=uZSMSsitis`bB0AxFx(`}h@kn~=v^yD+0~l*|hZVix&0+KCw|=MbgS7&BpU%Gu z$sW`(-~ouSE4sTL=y}!%cv(|&@4-v6FwQ<1{7Z4)z@+Tfe_iuYSn9LsO5ntn&w72h z`x?RV%$q-HCx3`Aj4wsq+Lu9RJJu+exI-PWAHm)s#38p)Jw z7j;ei1Oefu6g;!fk>ME=OiUBQ4j8cVURk2IKzOVeCvCc5CVEon{_zQN>{E6M#6BqA zoIGZ5|Mg-4!xD89aTcuK0cg;7OX*U49ngDsJx8r`-X3j#FY0nd${%SO5Uk1@D^&uV zp%2i{)H<<;nz~PFxBB48Fl2l=iNVZgNFrC>Gsb`A$1>hi4x~5x(pNhDhtA#t*(||b z??(gM2xRMCQO&x_z%{9oNB%FjkGLMZdgcE(?fMFW0^~}$v!nXWvqIR&W8v-JE^MiY z`v=H#?*a_NVzn(`voc*F{}C)m^pYyihda)YyMLVCf>`n%fG(cJpLzLc?K4#of&p|H znwFE=kLBPU1Se)>3(kDa>r2+%nptIy>p&8?2P_iffU|4Fw?IG?Ou~)eCMblhxyjdO0su41!&y6g|B=#Nk5x}L6vDen!>j0Rm+}SkV zG&is*Q4oxKylHNg>Y!-I_@rhn7xJ?_1dBB-dLl>cm2&FjgoeXe$i?GmYv{E@l=i{4 z#K-MOwgzn#sQ32b{XG>FlxD$}T};XC{eXee=X+&_>S7X;>WXM1?h`?bE;R;y`C6Ni zY0w4cOE21{!I|Z;XLzo2N$o|LLyxEsWkqo0;G2!2sQ4+xgXGW(b`LnZGEcIj8KKbj z0UqC9d^BbaQb8r`>`w{~-ut;ah7O-A>#*dicMznIAqUS;hTBvqYVl?U4|5)n_%0VZ zcJ)?(x!nAHVD&pC+E+EUH2?8)X#teI_3i0D{;ILTmT3wx*Dm!0%$7r25c@Ps++IWP zp|U#@!_tYeGlV8N2#M8#j6H#_L~sGP1*GFRd&Y*x|H3=d4k zKsZEddNt9@YdEo==QaUI7ARos*;Xum-5~Shk>n%;8^eA zA_7>hOnHwI5PU3883p%o^*6N77oe~~z{rQs=xHx2Fa6H+`4P~$v0FeU5%9z!NdqAx z?wc9WV{@19wiO6W>+^&skTwaeB6rVDc=!;3b^jez;qnZ;$iZ=+=>F6FXZu$VpM8BY zbns{28CwzMB{n32dLa7g=RTf6MG!csXHRTL=E1NDcvKqX;swKH2~ft|a*;)6KQ1S( z8*!nuss-Yyt^R`-3QaHH5@SnZOuzTpcr(a$0;TVwn0ee1@x;hJ{FXRdm$zA;V82?w zvmcMQ0yx|!_EL}2Wz|k9CkZ&&;_7NWXPqAu4Q;G@jU$HC^-uiu-*kv|Z}BQkI07FJ zo}pA$Z783{Br)d|H;>7lnirE%efRaLfudM}1$Wwx*xTtCmztl>3k9z5{ab&mee7O< z->f_MSX+^-c|bn zd;~rTUyFfkj!Xr${&D6jm;G)jg0GExb$!}f1wNng(=BDp6EBzzD-QS}YaqOwpL4&j zcUjOl{AHQq>X+~La-eyA12Gt;gMM51ercChqnk8PYMB;esXN8IgJGdp#)~qJmaP^_ zzg&G>@r79RQ|iIU#k#IF6We|(=OJuVRL)F9PA0!r zS!@G_oH_xu0bt=A0E54^oqI{f)9iGjbSgXv0C0~%QlSw~;}Jq;(mSwNxPVLGp=R`H zv~E9;LgOYtQMJF5vee#wmweNNl1w_V@kIOH_j?HT*E&{Rh!Aanwxk@xD~oS<$m|O- zo-*1}aO_mLtq3eAkE^P!mN8pzGD^+>_Ir&W5R`_Kg9+1gXjyzhqyPf$G;mAlb6{3F zUH;DZC-uW5H@`Xa*D;de>NZWNh7c~Cp)!1qcq4n0&Z;TAWWwLToTa?Tmnv{GQ;%@f zYqo)KXCWtp;Zx39`iel2r%wgQIh2FF3RH*~pR=ru{iccw2}MbNrc402ch;gzc#&3#IAqWKC;lJ{f(vP8+|Z)!%o=vjW5?1 z{WgeAI3O%d>inBgcB%NT{6-`m;+}WywX>&it6yux^Ug@wn$_bajKK3NY|(&TCeGlS zqnEJ%>+6n$>XHeZ01ni;zFCvJ_wShNN+-q%`MR;=qA_x$hK@ddP**e2l_l1sC8<@-EK}xVYpZq@N%?+4 zwt6so<5fJtu9w~0Pu2#ky zTya66nAJ=s@(i5|U&*~?l1TrSt6YzkTgZDgmAUy!%tC)_qk1o!F|%fV^)(AW^Vp^& z>+7)j%J0LWCr4$oVy;OBmVas;=YG2HY@~9|E$^p@SgmZNe;7(r>$-NF-Pk^9ovDL}BBmhOYkNfX&yWV$LlQrP9MLFp$sHkI zg{sToiBjMkWr+0`y{!(D{!VuJy3687nUx3ld4v?Uctmfmdxi|p~8Nv_ztB-*k?KM_eS(znon_VvmCKkYPr~?B+J)qO17FfS; z5pLre_Fg{S#Mi`g1V|+P-k`$Hdi_`X0(fjL-A|@xnok}h%!kK?Rh9@K--1RP$C&N? zRUEsfV%pSerm~3tr#sBp(}cKn_WhIbx&Rm2c)_ocbi|El=Mz}gYBUOuJ+|O2OD;iH|&eq- z+PE$c+$AC3;7mcEeC93ONRY8Ojl{nC0RHi`zk<%b704rcsvZ~;96a@h>jEU~9-H%% z8>wWq#R+6f7twd$uoDEL%3x1`6|8PQL%r?L-x0ZpA!F%7htN;y=r3!d{PfvTvYn7| z_CXot>%>Xt$qr<%$^mCdo`zEshJQFz&9!6JVgR!V5*|kSfMo51pcrO zXQ+ahLgqf+OLDVxc$$bEX;XO}>74-Fmm6CP{Z{Pg;2hB&sS{7cX=1A*b%&k_5qSKl zF_XFGeYkt}Mj-*8E(#%4+mW%LvwxoOd>HqZm(ONf26lw?;=p^7^URqnW6P{SgMPp9~cW4V6 zDT-G zmacPQBWMKJkwD})BN3&2P@nVYGVTmY8e_W5iq58g6m|tSlHxgJpLCbV{Bp^kqqHS{ zkelVUR{vCuL20j?_!bU&6Y||(+PU*sK9e4o+^pl(+e+qMad@a*0=J3D-kpP2cN>?3 zZerduEP3!M%c|9$oUYb6V8c2UjB6K=`8_3o1rAA=3X|S|BPQ5$lTSXA3trthQ$__3 z!6SdEmX(li>-hY<{_jLo{|9f)4~lplXePKieYmq=n^#1$_FDvyebgQ(9JSBZ5*6FIN^`-M#h<{r|^J*`A!= zg(3>kmoGj1U${eg81+3;1BzS4(nuxN9WE&CQ00Zpjfr=;N<)D+34f0v9nL0foi(LRhsd9g|x+=n>8igWQ z9~7|e7Z-C@NN!z(XHk1J^{9y8kP-gsNvmvzd?pWU0BfSK4mrG0U-;8PzQax2a8IbX ztPjYg=&)=OC)r_Lkd)w+Tu3&Q^tgG78*mrk?5M&aR5`DC34-x` z3pKI7J&vI1{v1tBg#0rVoMqLM{K;Mah=qI^9Tg^hj~({Ym6Pg621>At z`pE|FW)s9Q!FzadE~9Md?6d~1@5ykT$%M)ZVklD+_YTgSH;90Z^U6;N(@TzR=#V$S z+8LILT|*+1U=q4novZY%%(K9qS}mt%6mzjb)MIW}*o}D_pBx{J`LkyWk}17%KpwHx zYZm6-LAaKM#ropWd$#aiuDan&s5A?5AaJuUxu{~S@!xfnvcj6NmBiJ?aw^zhu7Qy% zCE|S0WQC=Xr^;rJq!;NcFa!>n2Jh)tv*7!lehr$Y;LuPzjZeC{pdxSbs1G;`SHh`t z1`opnlV)i+g9)5~wPIGi$eZWlObOq8Nx^6)OqvW{DM*j59cXM zuIV%ISbd0b{i{8tYaZzY48`oX3HlvDlz|D53XVlf9j-PblpQrCMlUCQ>$maeTB}|# z9U)F70g`klpuSZX(dc2zmvdgA`uR1&*l_Q^fX7_8o0qG8Ng1}cQs2E1=I1O-XmBdy6dN?X-zy0BsJ`*_7TJ6Utg+LK@jcrm0$2-C|LP7( zKXQ04&bLqF6Kq2YT?;V^_-z5S^&lztJp$eOUs6ihdtQ4z4ymr&HxeWnH8ZSW_gGr8 zkFwxyA?Bp^u{Lle+LDe{ke{_F|Yc z9az@>;A`>m1k~`i_USOvk%%>`Wt5dw+X8Q*jK%_bSvZpJ#??vrgarY$kVdY63qHD^ zL);J^N$vFQgU5(_pgr-sBSH2MdU|G~WQC=Ls_uEr(;uvG?kZI@v>fX@BnC^kc+wEFRJR z`%SV=le1gEXi8qBK{+#KKv0I z1YvNvXyfiGN|3>On)M$?_4}c&yuZ0Ho#);Oq1~B~7zk4|kpezK<{&zFREM^0AJ}QbXJOWUH!*P1n%(Bw?K5166z?<`;n=wIJXBPsiG4Dt6jdkN>msA z7Qm5=ic>p#*GUvhlRe7!!ESlD1d%{mbJLGh@u4Q0*N1DM7W0BanLuP37&4KSo+cWP zp+{BvEV#er;MpG7-z{X;62j5L#zp2&;gw?EQ>T%K`4SB9!CM1s(M8!q63D9~W9d_) zNw88vXLFb3GjHP}(t4thmGwizR>!T+S3onJ|9CyIen5Ler7__qzPWC*_!F}J0)qY0^sD(ZlWy57=!gW?Zb>%8H=>>~Y^;`BKwQYw>7SNwq$)Oucjn?vC{5j4 z?)yZ5k)~qKEYYUg=NpWBi9AYn@3VJh@s6c%M60HJg`ZOqg+(ttv%tev^V_NXy$#G& zn?2OgotnAmg);c~5EFcSX!p`!*eLRGA#eOaSv-gm|L>nnQsf*3FzTsO!WI3$e%_J5 zwtO`0s>SnvfAH^DEg}v@boa%e{Qt*iQGWl|pUw=!vlpf&RkBL46%xS~GC#ZU_sZcJ zz|WQja~r!^dSYlx|p8GQ~NMxTD+@iGoM@y-38 z1%wyUKx{TsG5f0V&z_88_wDsP(+MT}xT{d;-vqrfk9Zeo2nt$uCb5I?BsuK-H2K2| zI=bll4xcaBU2o#Udx@3{enUvX{-*xu_Y*`rWTUhgGbt>qRuInDIM?HI>{vbFPh=Qj zIu2#r7=ZtIJgGPO?;Z6h8kS@9K>ZHOKUZ-=E{$nCXW92g83`zyiJl|no33+wZ&=h) zgm``fe-0^uD4VxNIfs*RD z)dPxrRmIpjXb-4h-Y*!d$5Z@g&%bj;EbtLy=C-RcuK0zX5PhH0jG{craOreu;nAa3 zspA)j#M<9HdNwerm~s!~v(hyrwg#LaD$9Y~?-L_+;JNHS*LVoSlcYcsZUMTc>WJ70 zv*cU{n3H(ml|9JlmN&ZOa9mz)7)ZU?I#2+So@6cXJ;}}1eVDv1{^x2?ezeHeKI=ny z_x%P10s2iUU8PE&llSdMeguN*Oo2&AebW}~ab4dnBMjOZ8=5+0h%idW_!R_Qr_L zZuDCHmk9vN2C-an=r%?=kH9`Q_PoRC*ztRdj*|CP`vnuuYbaF_M$k3>8T&+K_eSOI zS4pyWcX82Y1=+Fog}-{z9^x-F-C6-=?Bq8=fakpyJ4u83#26>94&UzWy%}Dgh5k5{ znqma?J|F##>fal9cMF#(Fbla zP7yM9Q;BpjU@orwISH~B6P~q*M+f3{U*I-FL=N`%{6CN!?A9TBD!vxWy~kgkRAxi0!>8^5uBHTxWdOHSMlndbN z?Z^35xl00v$QVVq-PP$AJ7OmD*%iE(Uw6~lRlX{d-$X}4xut7EdVUn@=<1h+!oDJc!eScFMKv_-+Xc@?*Swc&GG zN+Wd1KOboz%9Ykouh9gHt?~NC<*#UaN06wa+Uptu_`-`Q@%1*W_OqzOe!W}AP+NF$ z6{zy{Us)vb8YiAp&b^tL9a3Rcf$wDRO+`Vk51N3VqT>!5F8KLbDkW^(HXv$z@ zY$nAgBvQ9pa+Q}q0oW0#N_x648y_v+i%kC{7~%Pj@%V9ZW@8Vr+al43y1(5w?jPIdbP=@wKHD49!_6B$= z$rvYt*qTltV%hzG*;KmZd`BMDfUVV5Ps1kjkr=XK?iem5UNN?4u zyceLP*19dh8>mD7@2#t#ljJ$(-edy%KPVMFtUWOiSs*2rA`qurEU*)ib=dm-{e}b_ zkE@FOwpLTvP!eu4v%N>$QqXbrVti-%zA0A@gHk8tOMPsEbo9iIydZt~fxc#~%LUUq zq%;!^pDNQzdDpB!tE@QuLV1vAe>%jNy!U}q`G+!T3Gd=n=oFheG+jS!Itxz0aWaVW z4l!$0ckvV8g*r}7@6BasLiaB?{8s9;J36>#*j_gxGvGW;egMk9%?Bz&=^vq1_y;ff zy`E<wvp!$WqX;8Ug2P2+)b-(2P6?b^C;{Y zMt-~{wVyND9Fl`n)(-eywg|fqyt`$T^Jw68knn|qbb?{!Ob8izRd8Ki^b9X^I(&o{ zyOm2o?1*4Mr;eL7zZHcM|EKpIoidjtoGmr60!!~CNLo8czP-14Q^qly?97#(F{bM- z^o=k+C2cBPI)q|Es>@Q_yA+C5f@L^1A0hU4tKHR1dG}%@F0~WuX9F=$k76Wke6q#O z7QVh@>6qk)&jA)^d7S2z>S#$AlYDcbRc&+iaOwvix@qG9$C~Py?bwh|RB|X~vfif$ z?D`Mb?@)HQgF5e3P;c+$~_;Te=@=}a?N{7v7 zPOAr+rvxZ+4m}huEiaf@YU0&KxllX@Sd>?gXiNo9`0u@@w0(L=R*wzDK|^i?QQS&? zd*AY#bdX?>|JFZ|UqjIc!;r2lzJt%a-Y*=|5broo=XKHiGa?~UwlJLxNQTa2&yR2% zEOXLa^ta(#L}dDgJRaspebpQ}9c|Ojme^@iU04yh-P?MHMeD}?{b%+uBh4f$N*i7l z=FUZmV|Nt2D5THafq?cQo8SDyPFl9I1=Pq2NIiFE%edkHxbw|P)&>w#?{X%y!=wDA z)4PH$Cu*>Y(%PvlJgnrLp6yN#d?v)xUR1U2WQdom?t8*xz=;k%5p80_?TQ8&=+1o2 zQYaq{_i%P!=_V{Y)t&&MrwuevJ3IGT1sJa->!n(x=FQ5nm*qT9-n+AIiB_{G{@R#t z;c5IHhxXtdh5y;p4+HOQoSr^y8&z^kQZ`b3niIqGw}7KuOG7yt*XZA7dQmKS&wS1E zeTd%c2L$rVau4~!8Kb|PlElWC$muOlQwMy3wXfB3jT&*fLY0d0?96RhQq+&Sm7s31 zDa0h5tPq_;g8q`Qx&4%^+UBLXWw-B<@B)OBlg@|0K)!#uM`~W-pEwxDudm-^I135(&hl)X5{Sw*i&Sd@UoY3U%b@OWO6nnLMQ z7g^mYy{=O(*N8(Nt!7qqL+WR3wd3Xj#l=15355W=gs^bSWm2zC& z>C-l_WN&jO*<-q^+5AeGy|8mF9og~^kO=OG@Wzc$aguu|zit(#vznh}Ba+>%KGJ_M zXk3*iyLI|8Ww)O&@69iJ4Y3LaBHRXmkq}71{grTec3>30dbxsA($3VZ&dAV4I#mw} z?xo7H>>@(z?f4xgr`(%KZd5)Duy<_0!FQwVV1FL$HY?D9|AT;4=zd4ELsaa~Y?ZwR zN*uhkxQ63*J~b(tiNxWwc#H;*zAvd5M&UDZ-$A{;+?ud6Tb$VQfeo8kyy?d_#hY+L z_xJDsOGP>hkN%=iupdniAArKzJ>pjCB@>+pRZ(S4d5?q-Bb^pr?Auou2c_;ju0UUh@s?S)s@}SoYJStJu0QK3Hyj&P4odU;9ST^^>pKJKVV}&6m&$+KII|*5 z+FWI4ZvBp7?VFO5knh)zcniezfc+0bE6w zPUen}4i2~^YdyA9*hMSrDN>H->eLG>r_SxzHl2tcFF6!WV87wv?_@m4o@mFTaTWTK z>U@}n%7~8?#urJvsZ@o1ojSGg^(@w#K4)0yZfnmDlstbPRXryizj8~+TgU#Q&FR$# zv$O5l`>YAE6*8~H&RX7OP2HT5Pn;>YH8EH%Be%`@lbGH9pbRw@AJ1 zE7>QegDtAwbL>r4gsljzs%^)8mpyGKa=s3m|`neKT1!~6L^ufrb;cMt#e^Eb``AB1mJx-0w)sw=fm8Z;9L zsefAa8qb^_@)0T=e2cp`bAa`v?<32q?_`{IRE?fa?8PJ58Ei?SVC4QPHM5cJ^Ol$0 zSZC|O71FNw)#MLImv$?i*+9UPV-nh?*Xp_(|+HCF&%tcoY>Lx9F!dv0#QM?YA4N9;<}NI#FOeI!ceaLO^n zG0HKJM8O4G$o`uB!re*e@xdI82t*oryz%a`c>#)d#v1o=*9-7zH36o?WAw&}y%&Xe%H-kZ3 zczUTaw}bbXR-a}`)ZpXmPVFX@FMlE86DIn|QAx6x)FYRn@V5q{LNVc?F;0f-T{lkP zkn&j6|IC%I=yZyZ5;k)YhIO^(~XQxr&||{ z=TGY@$2K_E3CoKvs?oN@{ql=-q3;lAd22W|vU%4P)sy4`s1zRIOb#CR*p~d-+WP~s zl7u-}q5GA+=d~r>6{@f$oJBwD`-fhHsB^3f{!*^-Y^#XoyY@TaGjf&7Bd6z* zM#FLEIoLcG$cu?SrG%Slh3%ouu{rWjn0uck$a<-Cwz<~*17&0$ZFIn^t;=-ekl zu6XQ5DJh2-zy-WsD)gjFlp%R!+1*6`PkLXVjl!K#Cw(dDDVg?_{0-jZ43{wJ0*VPk zlkoS-Lc5NRX5AvGh60h86R~5}Ya+9rj~5TE!?#B>N7C?&-6n%1Z9}S#KX$}eU78bH zvDx*U`jH)FX*;F;c36`kbw!9^)mmmZ8*P%sfFA7@WTsQ|U=SYr(3r1;W}I5JlZ_X1 z57bms&mx{OJEtLHNO3uKAx!vUYqFbnb26*;6~bFC@Q;ydXIOqM&5La^BS{K#FDp*r z`-t(Z@oO*MHV&|oQ-nPJNXSRBf3|RDSJ(7WuAY+R_BH13fWkQxwYze(x2eCKJfC4( zIT=i&?MkyV`D_+Ct2>qS6@y8hGKAUlQxDSiQS)-ltI6eRp`Z`@x<)+vB&MRk<=42a zMO~+kbVp&;ENxMEsO(Rr$r`VM58pbzflBrGaM-_f}pSKNp2e!%@5Q zwESgvz{~Q|Y0Ns9*qrC8?ZR4cl@|P%^LDmx$#^mjK#pb7d|8pgc`R8txJDa^4H2Ya_jz8JJ0d$3;Q7TJ*6jquKON@sve>N&! zG-NdQC^f`Jcy`uM?l99vHcmB7q?JsW#-1X?G3|(e#^I{cm?|OPSJLjsI^0>@XR(v? zH##QL_I7HY?QB0?mnHVUcEwp+Jv z!YuI(d14*#hzm#ZcUwE0-*`c;Jw`=jhVO-wcLkBzX-_b)6QLTR@hRm?V7+>Nc7OZ# zQe7_)@Kjx~Q4}8gq0}sj^|AHG{ftb1pm;9&=M=+>(`)mt^#^HlN;CtF+5Oc5rg-Fa zWf^CfZALXMwI6y-zhXU4=s*qB)TM)Fy!~e5qajXDqk){FEQxZW)(y<9f#~@C3F$Pw zAp4dGnm;y-^@13=h>*37vtK~4{@Fq3CxG(ppT51@Cn>b6g7L%179cH#EA@ekU#$u4 z9dZOF+ogXj7w?n#krv#+&~c~eOlnfO>33@r2h!lSZuqUlHJ`iY)a%5b-zRIOnn^!} zlne?tV>9;pFN=>|?dHv>fMOI61?EKZ3T3iLxmc?L2EAJEGorI*I?>A1tCmfqNo_tc z$Y2{@<38Hf6M)zb@ z{`nG-s;)AD!PJbLlk$C|bl1k?~>Tv+U0?*kWAIo)GUk2x?$9^IPPr z2EO|f#J}Tm&Yq`X@5I{So z=eKSnZNY)I^RFH`8R0sa0Z-}V>d#x;0Nxz|D#0(3Fw(+G=VhyDWtjCxifQ(dUk=S)y%v%%>BlebpF&R znKs9J{L{ASab_;vDjIaQ<$qtC>dPpcJ1c4{5a5JTM52u zYNiMkXgyhHdd|Cs@<@85kT(BiUTj);rtgHM#Y9=|5-OUORujrz)>Nck$*m`)$vPD4&a(n@V%o{}18vuRg<=@K&H%He>rdT*9n}MqhFG=P zz75tm-&0tVO|FzItS^ns+2A)ESDh8+&!I0@3KWD@?cY+GGAp(FlIu~oC%R8s`%lp> zjukaDh%&1TW_c$-`au8d$zjh)r3EW4u^EoP@-eLeH`c@}@-n$!CHgjY?k3|njndO2 z%SF*6(j)xyX9%#90!J5zJhRzM-;=i<2GsUO4d3j)jb_iT>N{b=K2PwDJPyU@7zi<+ zlnUl&M%^%GKd`=Xz|s(6T_esd{Ua*_tE6!)Y?s{3Kk4UVKi`C+kGJyt3GS#gh@QoE zKG3Z93e{b@8RLA-dbrrMj`ixeNVgdJ=blZPO)2Na_D-%?kqI?~v|Va_Aw6pPv!6v_ z7nNdZ6yFF1nQ_xMQFKo%f4<||TU))CJ?YO6O3Q>oDuwC1sQfe(d`~I~@#?q*E<|s% zpVezWYtWuLykD9m)V48meVTr{l7v5&1UvencA)iaO#9i_MoJ0$f?t~xUsU9z)zw^{ zyZ+?~`8&oT5(7fcky9o1$ED-kBQb<`5=_{@WOIUdQX@RPBPlyexr z91Wy0Zc4WhQx{yDDYbPbuu?SIesj&itGF?DXb3wYe<{?wDV|sL+zs5BkvO(!r7{0c z5+!OvV;zYT+ZYeBzfG8j38%c0Lvey;^3;hn+1of$))%~}hJ3b@sVC`ZTDFpU-n=bB zL^xyB_10%n7w8sFv)HFaHCPpHv8%CeoXiY4?xWVPHGWQv`)IAz&V84BWuS+Fi~U*K zWQJ|-^F+C{seR3#d;GiIrNfq{3wtRRmZk4YjZSXL)p>q=zuT@ux@pcXxu=^f*(RUy zAmL4@*R|ro)KsE{_21D?UrSAi9Tln@sLUD;w-WxcI{&1G*D|6@cbMTe>qg4-(bc`L z`1}dkKR=3U^Q*3({ry_~9JAJS+-)Ttq__I~)H!j@Wsr{HDA1&7_%4pKRePtn`}1AT zP8oNPZf&w`!qq!WCwRW)ST@Fw01h6zRB2k>Zm5U5CKBvSqNy#c=$%xkD8g`ym$^5T zaFucH@bb^yXbLx8$rjhXyDat$EmdJ3h)AFC;pdP>riB=asSJvY-pTzL*W9w#9jl^N zY|gminPZsFPo7hGM3(r}VOW&`8-DcJ;zmo_?*F)?24?}O>zq%HWa?!y8m?Eomppxi zrp1+AahI|`$vdU!%tAYU2Dh%B*;<>EQT~ULI@6Iysr9j~F(TpAiy?Pezs2ZcC-5@X z2|jztEt~uNWIlUhvB?RTlJ&Qek$Tt$yn4ZiSIIg)P)vBX-?C5B5qP0{26#%^6_l;| zsn*rI!;PGhQJ(5f4jlWX7>87k_qTB0`TotIP?-WI)7kjO=bau2>oseO`$gf;Re`c7 z;~0)*l8<6eV6nfwY)(k?$D7TOlzCYbzOf5uzlzKSQ6HM3gjTJ{ak}t~apTnBl|av`lA;o)&km}e zIc(pT!k}qh)qgY4!0`+EcUIAKB$AH}>LP$dDt zpmwuVRIbiUC-TRdga@UqP z>455AwAkSc=UI&}S>|3qE;;Au+Evq^;n~l}(mN6BPkMpliSYU_WgNdl1l;^TKcZ2m zm~qXeJQMl0r(fv-8<8l52=F}A*D_7W0vvyOV)%9Q{rEWRT2Ufx8GM{G<|3iz+Mo4Z`NoWI6M<4^LP$BP*PL;7i~NBc-QRh&YxcdE+-vT z#}u`7dq{)pBBCDTeq^hkP{iKhJ*p&T+LTno2UAZ9ZAA+Wq6J#m<&TdQc$u{nkWvYO zfr2v+F4TH2Z@gPK+;qqaXSsHDQCxX~6DKXLOLNN&l}XVU7JT7(6J@N1fT*(0eKg58 zen8dv%DraEa%?1y6`VczoXGZIkV2k8e8T*$9BtsG)PR`aea?T85Pv)RPV_h}<`E}m zw4_a^wXF$w$jqqwO>N1)+!H8#5dYdUlei@Ykj8JKFLd2V=Jivj@31uYZ1ZkO)^+Gf z;%hEr@@dHyj$whKfa@VLP=O3VE=UI ziDANK!CCfnjNmfMr76Me4|#%owRJy!6pxt&drKmQ1jD4At>%D(w`46(A5~&D2dGF1qLw7gh25v2ch7~o zA`QsFc90THBB>aRDsHgcC*LD`s2yQI_GDF|SvNlZ`KkaQe1>*)_kd!>8{tm&G)sMe z2ItHbs+MB$fj7i;0ty*?LY*khq~Jgl#l@Mp3h2>1fLU*e2L98h@gGy^#F?pSNHph$ ztcm_^4okg2D$>p6JCM;!=@Xqvg`mmwueW!5oFRJ`=X<|$?6laG%p~Ed5#70j&T{@W zyE-G!4Ck|dcz%i+o!C)%@BFg66!t8r!twh(H`C9Q;$Nn}rf*uBPG12tX`(6D2P&m8 zHZNnI1zUZfbgZ7WW_-3>@?c6ci+E|+^ZEsfXD9hu{H}!P7{9k z9<)=XBb#)__uCV4HS*Kj7u_Q6(a4Psurso})S9|-@df@&%H?0yzx_-~7uMUe)!8;U zVs+D^J#I5xSxLsc=!}NwMB+HvQ@vA}y^xh6%ri*3rH0*OH_Q__hjr0D8A(37~Pp@@te;O0eQfGc^qMy9|io9s}lOnIg&+Lr_X$4AJhem>N+U4UW>0Y zG3>phm=<(d)@4*`9^{VhLs*!IIxRB!hy9t`LX8bqee_UQSj*D6Pt;#-?2>IN;Ef_^ zJ{R0Po28IbX@L^T5AD~4;(ykEk0o3gR&(F6APhK1^-O!Nc6uVKX9v^l9Z0zyt68U= z{o3@kz)YG3USqJd1oM5#`peoY|Kw`_{CAM0!7ak%_+B4U_*{wDVP0J&hB0w|4)?t~ zl~Qk>0CAGt;MTiqKOaQ24ac&*lEZ}VF5gf^8GFCPcfu>H(Ky=QQl+ykf5Cg*mPmPb z_eIGx%&C~hJ!?@ilIxNFGxczvzlVU1Kvd|0WJx|U{P54Xg!wa>Q!-5a#=Px1oKM$+ zEsEQR4liY|O}Bp14JekS<802ijnRAhsjb;{o8_>0K!4xU zAl~IE7GWNMOr_tWRJ;F)M`zy>^Jcx%<(4YBlPXez8*l@4`w_n8--{LZ=T43=e;QU2n z@wwzO$9Ajh&+zHuqC4W-6k*d!KchzH5?eoI5H$9=lVZO z)`m-8M=*wG0rv7=Pvswb@%O)q(y|f9Xa9X*y)t-V8KbvIB+`~L8Rb5Q{SQ=4Iv)8J z@`o4xB2JilxA9Q?VV{WuBN8w)1#J(s|AvPp#) z5Hj**W@o?H)&Y*>OgL>{S-I89&swXeheO}qk(r>36oF;Z5=l4r#jf;$RfeQjA8_K+ zbaTtfFv_-FihH5|dq4L$0N|B(()1_;xk4uy+!Eq>7&jare4g=-EU~IqsShCS)L9fG z>~Fn}OCn=#Bf0V8IpF8`sf?vJ0oahEE;Pb=1X9P2FW$ISb$-NR2;{~F+8%*=8^DC$5f&f#Jv zaNYyalRgSf@fX{WLV(%`?^|RPG&1j(+-wTJA26=}SqivyK*>);=dvTKBQ1fFZZkOm zoLM|V$rbe4ccQvmEHncDZVTBh?o8!kjM^%GGX&T<)4EBow3#5r2zWNZijXb?1XDaM=L(Ara0q# z&A}vBbQ74ap^o95PrOOU47UPcmohLC#Q`SM&BL<|>%=Y}j=FI(<%E9k!pht;`tV)P zIma3$`fW6J8LDG{IN;*YM()-;D3kXwd zw{8BKDL+~k-;4{{l#?qn$V4234*~Gihy#ztjyKPC{#?~z$}Nrr1{5;o&Kf8tnnXP1 zTC~?6#c7`5V#C6e_fDkBy#QQNjiTCZ{iga(1ftvR3mxU(1Fw~${i$Vtz(%`K3)mNp z&`Pg^ZD-XKgcc^T+He{Xq1YDR-vS0Xz~?sMOR@pj+0BYYptR{jFp!urJP+$LRRr#(1 z*rdvF42DU3%Mt7XJsNA6mFR?DFHE2~Y%)p_<&P{@#-bd9n%F47_xj;f&H0nco^!W> z!Mk;y*P93>?Q}&rpO6Je3pmYdJ)ycNicV#E4hS_7Yp8?Y#9T(EHIJF{;hx)LCN{N@ zOZ!V6LD(j6r2G1%AQ$Uigz-L?)f8mgUPU3+r1tl2uE=^DOKpMa89B*&fN;_W?G3~H zP;0g8s~dU$Cho`~>fIw4ZUB$=PlhJSgF|tTKV>u)nM^e@|MhhlqF&qC-fnaKO{b2= zx(fm{y7^+H{B0-ROB>J&>{hF6BNd+T?ZgImavPQ+qI}tv$RqckTatweI$WL)!{L)@oEwJ-OieSJ^CpN4TFU}@_M5wKEzvauXF>a?)FvJoE zFsXTQp;Pb4M=;;dJjC5n@5_#)TRm7uHN2U z=x+@o*}#b%$yK?^l%)N0`Aw|GQ@`1FucJCTAF&>c^mq%!q5@9&XZoA?RW=K`EDu8n zxOVzg6ZdUHdcLJNL=V={<&Dfc=}u{BnP1Ysl3`Qxm$|hgyzXU~VY$Bh%N;<|&#Dmw z5@34uW_^VPh^Ts&fPLQf7oL+zzu_F4EMWE|N8P6b_-HaxiV`*|cU&NcsYC_L3z#&V z8dvfwZ_c)NA45IrByU-gaUV#lfzdENmO{2)lB1~kn%tik`Twu2$4D5cNVEwYKN7AG!!q(7~nN6fi2D|J1^bYFm-0_ z%nN4hxs<-Rtz|$57yvrm^@)VFY+I74KcN|s4&RrnpYp?5>6L!TQ1eUiB&$=bI}xzB zhg0X@M@bahH8SIuJlI{GOctTqJ`_=uct>S+K1H3aqj*2GT00sUU2FguSFM+B1@s=6 zjv&b++5%2T8qv3_FOcz!^D|~7a*}w9MgQEvzxUw*PDH;)OXMG~=EUSzgK`8MRwcEm zxAu=1yzqEnXbmZx%jPk?UIypCnm|r8TkwLWx@-i~YSc~t8DeI6qlYqTrXJ+q*k_I3 z_U@z1lC}dUnjJP~rf}6TtS`r?$`Z?}6Y%XiqfJW4(d)BfvJoPGwyMn< zH>Md+hL7qdj4hGgxXovF&5KPWW<*n{V@s6Ts(Zi|F`6-Cz0D=!)<;(ig1q7k?@vlv1|?3`JBh3#kroT*zBu;&*uk>A$w5ZO{zf zHce>WC~xI}3tb3uYHdwfj)CDg)a}$M;$TF@$<$&xbnBl>{ddhDAzLX@i{{_0#Oik& z7O?qswB(|<)@pxg11{0-ofH^&))aIG8`Kh*lq8GYWX`^h$fI7JqJP?ku6v2fY7Hc$ zCkqxbw}D_{Mz(Zz1AjE^f^%)f`xBtQoX zV=fExDq{~ zsUGU{Uw==JW>1}FF4tnmRpIuFbTr0N<6T^=0~qeJ?=VzK+Y}d<*zfu|ETaJ006rY#kY82n{pY;F(`1O_=va0#gWc*t2~8+=TI*9ugd-Aobw?(e)8 zcy5kgzqbsmasUNv<2KMnv)oE8b4b%mOOQj6*?pJJ{~p!jz>69mE>#XuP}(3R;BBD~ znyj8-nEXfLw`X^QvsH`4v_<=XrOqFV;}K3(z*@0Duz97GPPi}dP?1diz6Q_shJ#u@ zQ`{Buw*k+WJGRzm!wg3irIxK-^&6+J_zyg7V?O94yEw7a*`Tw6v~HQC?pCac=11IM{boq^Fz+|1-?IR_PCMVq_8y{D7U=zAHho|NKkyFBr5+fq5(DwX1> z*`U*2QZ83c;-ADwRxxwimJ%cO z{h&R5=PtWUO3^k|EnYXbQQNMREOqV4bwbZ%QIl5NPA^pWTt~ zmK^4@){zA+sz2E>Ic2qrs&M)riKn0geor2mnes30kHq_D3oLGmEZG7YTfF_y$zb78 z^Uvjv|E%baJX{g0Isb9mQsL06NX^R*2WjBu&C6~IQ+vS`sKZx|8Ll1TWxzv=cN!#4 zQ`R$5SfnrublkVcvm@8OEAH8#sC6X$h{%zC;8o=}T}4@hX78Jv)A<_IAKc0D5xAR7 zE!t88)E&IJ%6Xpr`!vnTpfd|T0#C6D6VJ*KRTa0hXe%(P`SBrTnr>&6(i4TY3F|Fy zeBHCsrgSH8ZRR9P0l&cd&2gUK8$5x_`h}A?nkKAWGzGM*QoPXP`s(oYCJ6@`N`R|% zb{{awyR)O@YG`<6^qGwXM)mq9mszW_D9+A%Qgf#1_|aJci6`0}WOKMeHfj2tT&8Kc zyHi+Q?Q{3zHCr{ z0h?&gm^ezEa})}6?35?n0XB+TOA2d%HE@YxQ$@sLg$baQ;3vZzz06EcxC-ecRDFLp z7ud_&_yxGCszUC`-SzSNTLhB)N+$L=xwE?<>sQ($RBQ1Z>~n5Lx+j z>Sf>wLa&|9G4tCzNaCzK(w532X2xOu%v=pPQ00A&DUkKG{2I_LiTtlxj`C-Ev);?;w5NF5<{%%4*MNPgqnu7ob_xn6sx|`KL#)0{ z7F#XOl*BUI@^9&Dp-)F{sjzT;a>(dx&}d5K{rWJXu;cO1zr9zL<)?pg-l3@bbhBXl z_Z7@fXRVjgpT8@q(^=+H+kwgY)^^1*r=?Fh9$EDF;<1j!D7kJMa3A=xw-H+E5Et+% zOc2*x^kW(a=h90P?dDIj5Y+#6y!uVQ(dSHW+0*jj^*@^A~v(Z$5%k5SQoH`0o~OL9|Axy94diT$&};X8zHMJ;gdX2 z#)2eZ<){UmV?(wO!A9+zB3lb)uK?{B?z*VC5UD{58-)NmVG3x6OywStXr$2rq(#R#7hIIHw-JSfKC|oHl+4PAxC2yTT&ZMi70 literal 0 HcmV?d00001 From 4a036af30aa3989449bffbdfd37a03fccf9830dc Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 11 Aug 2025 13:25:29 +0900 Subject: [PATCH 46/52] Add definitions and properties of Gaussian distributions, including univariate, bivariate, and multivariate cases, along with conditional distributions and linear transformations in the Information Theory chapter. --- _posts/2025-08-04-02.Information-Theory.md | 93 ++++++++++++++++++++++ 1 file changed, 93 insertions(+) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index 7446b1685f..87d76ff05a 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -958,6 +958,99 @@ $$ ### 2.6.2 Gaussian +**정의 54. 단일 가우시안 분포** +평균이 $\mu$, 분산이 $\sigma^2$인 가우시안 분포를 $X \sim \mathcal{N}(\mu, \sigma^2)$라고 하며, 확률밀도함수(pdf)는 다음과 같다. + +$$ +f_X(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) +$$ + +--- + +**정의 55. 2차원(이변량) 가우시안 분포** +$X_1, X_2$가 평균 $\mu = (\mu_1, \mu_2)$, 공분산 행렬 + +$$ +\Sigma = \begin{pmatrix} +\sigma_1^2 & \rho\sigma_1\sigma_2 \\ +\rho\sigma_1\sigma_2 & \sigma_2^2 +\end{pmatrix} +$$ + +를 가지면, $(X_1, X_2) \sim \mathcal{N}(\mu, \Sigma)$라 하고, 결합 확률밀도함수(pdf)는 + +$$ +f_{X_1, X_2}(x_1, x_2) = +\frac{1}{(2\pi)^2 \det(\Sigma)} \exp\left( +-\frac{1}{2} (x - \mu)^\top \Sigma^{-1} (x - \mu) +\right), +$$ + +여기서 $x = (x_1, x_2)$이다. + +--- + +**정리 56. 조건부 분포의 가우시안성** +$(X_1, X_2) \sim \mathcal{N}(\mu, \Sigma)$이면, $X_1 \mid X_2$도 가우시안이며, + +- 조건부 평균: + + $$ + \mathbb{E}[X_1 \mid X_2 = x_2] = \mu_1 + \frac{\sigma_{12}}{\sigma_{22}} (x_2 - \mu_2) + $$ + +- 조건부 분산: + $$ + \mathrm{Var}(X_1 \mid X_2) = \sigma_{11} - \frac{\sigma_{12}\sigma_{21}}{\sigma_{22}} + $$ + +여기서 + +$$ +\Sigma = +\begin{pmatrix} +\sigma_{11} & \sigma_{12} \\ +\sigma_{21} & \sigma_{22} +\end{pmatrix} +$$ + +--- + +**정의 57. $n$차원(다변량) 가우시안 분포** +$X_n = (X_1, X_2, \dots, X_n)$이 평균 $\mu = (\mu_1, \mu_2, \dots, \mu_n)$, 공분산 행렬 $\Sigma$를 가지면, +$X_n \sim \mathcal{N}(\mu, \Sigma)$라 하고, 결합 확률밀도함수(pdf)는 + +$$ +f_{X_n}(x_n) = +\frac{1}{(2\pi)^n \det(\Sigma)} +\exp\left( +-\frac{1}{2} (x_n - \mu)^\top \Sigma^{-1} (x_n - \mu) +\right) +$$ + +이다. + +--- + +**성질** +독립 가우시안 $X_1 \sim \mathcal{N}(\mu_1, \sigma_1^2)$, $X_2 \sim \mathcal{N}(\mu_2, \sigma_2^2)$에 대해, +합 $X_1 + X_2$도 가우시안이며, + +$$ +X_1 + X_2 \sim \mathcal{N}(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2) +$$ + +--- + +**정리 58. 선형 변환의 가우시안성** +$X_n$이 가우시안 벡터이면, 임의의 행렬 $A \in \mathbb{R}^{m \times n}$에 대해 + +$$ +Y_m = A X_n +$$ + +또한 가우시안 벡터이다. + ### 2.6.3 Differential Entropy 이산(discrete)적인 상황에서는, 확률 분포가 균일(uniform)할 때 엔트로피가 최대가 된다. 그리고 사건(event)의 개수가 많아질수록 엔트로피가 증가한다. From 37ecbfd7e1fa3a454185b53bb2af84a08891833d Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=98=A4=EC=9C=A0=EB=A6=BC?= Date: Mon, 11 Aug 2025 15:05:52 +0900 Subject: [PATCH 47/52] ch 6.4 summarize --- _posts/2025-08-04-02.Information-Theory.md | 36 ++++++++++++++++++++++ 1 file changed, 36 insertions(+) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index 41c6597ecc..a27d6a98ee 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -949,6 +949,42 @@ $\Delta$가 작아질수록 $H(X^\Delta)$는 더 커지는데, 이는 $\Delta$ 예를 들어 $U \sim \mathrm{Unif}(0, 1/2)$라면 $h(U) = -\log 2$가 된다. 이는 미분 엔트로피가 $\log\Delta$ 항을 포함하여 정규화되기 때문이다. ### 2.6.4 Properties of Differential Entropy +**정리 60 (상호정보량의 스케일 불변성)** +**정리.** +$$ +I(aX;Y) = I(X;Y) +$$ + +**증명.** +$$ +\begin{aligned} +I(aX;Y) &= h(aX) - h(aX \mid Y) \\ + &= \big( h(X) + \log |a| \big) - \big( h(X \mid Y) + \log |a| \big) \\ + &= h(X) - h(X \mid Y) \\ + &= I(X;Y) +\end{aligned} +$$ + +--- + +**비고.** +수식 (3)에서, +$$ +\begin{aligned} +h(aX \mid Y) +&= \mathbb{E} \left[ \log \frac{1}{f_{X\mid Y}(aX \mid Y)} \right] \\ +&= \mathbb{E} \left[ \log \frac{1}{f_{X\mid Y}(X \mid Y)} \right] + \log |a| +\end{aligned} +$$ + +--- + +**설명.** +- 이산(discrete) 변수의 경우, 1:1 변환 \( f(x) \)를 해도 엔트로피는 변하지 않는다. +- 연속(continuous) 변수의 경우, 스케일 변환 \( X \to aX \) 시 차분 엔트로피는 \(\log |a|\)만큼 변한다. +- 하지만 상호정보량은 + \( h(aX) \)와 \( h(aX\mid Y) \) 모두 \(\log |a|\)가 더해지므로 서로 상쇄되어 변하지 않는다. +- 즉, 단위 변화나 크기 스케일 변화에 대해서도 두 변수 간의 정보량은 동일하게 유지된다. ### 2.6.5 Joint Differential Entropy From 839053f7ee1d736becc63b60ec1c76ed1eaa9f2e Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=EC=98=A4=EC=9C=A0=EB=A6=BC?= Date: Mon, 11 Aug 2025 16:14:50 +0900 Subject: [PATCH 48/52] ch 6.4 summary --- _posts/2025-08-04-02.Information-Theory.md | 361 ++++++++++++++++++--- images/figure7.png | Bin 0 -> 41985 bytes 2 files changed, 315 insertions(+), 46 deletions(-) create mode 100644 images/figure7.png diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index a27d6a98ee..04625628be 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -36,65 +36,84 @@ long contents ..... ## 2.4 Jointly Distributed Random Variables 두 개의 확률변수 $X \in \mathcal{X},\ Y \in \mathcal{Y}$ 를 생각해보자. 이 확률 변수들의 결합 확률 분포(Joint Probability Distribution)의 확률 밀도 함수 (Probability mass function)는 다음과 같이 주어질 것이다. + $$ p_{X, Y}(x, y)= \mathrm{Pr} [X=x, Y=y] $$ + 이 결합확률분포의 확률밀도함수 $p_{X,Y}(x,y)$는 $X, Y$가 동시에 특정한 값 $x, y$를 가질 확률을 말한다. 이때 특정한 확률변수 하나에 대해서만 (여기서는, $X$) 그 확률을 고려해볼 수 있는데, 이를 주변 확률 분포(Marginal Probability Distribution)이라 한다. 이 값은 다음과 같이 목표가 되는 확률변수 $X=x$에서 나머지 확률변수에 대한 확률밀도함수값의 가중합으로 구해진다. + $$ p_{X} (x)= \sum_{y\in \mathcal{Y} }^{}{p_{X, Y} (x, y)} $$ -다르게 바라보면, 다음과 같이 가능한 $y \in \mathcal{Y}$ 에 대한 조건부 확률 $p_{X\mid Y}(x\mid Y)$의 기댓값으로도 생각할 수 있고 + +다르게 바라보면, 다음과 같이 가능한 $y \in \mathcal{Y}$ 에 대한 조건부 확률 $p_{X\mid Y}(x\mid Y)$의 기댓값으로도 생각할 수 있고 + $$ p_{X} (x) = \sum_{y\in \mathcal{Y} }^{}{p_{X\mid Y} (x\mid y)p_{Y} (y)} = \mathbb{E}[p_{X\mid Y} (x\mid Y)] $$ + 이는 $X$에 대한 주변 확률 분포(이하, Marginal)가 조건부 확률의 $Y-$평균으로 간주할 수 있음을 보여준다. --- 이제 결합확률분포를 이루는 두 확률변수 $X, Y$에 각각 임의의 함수$f: X\to \mathbb{R}, g: Y\to \mathbb{R}$ 을 씌웠을 때의 기댓값을 생각해보자. + $$ \begin{align} \mathbb{E}[f(X)+g(Y)] &= \sum_{x,y}^{}{[f(x)+g(y)]p_{X,Y}(x,y) } \\ &= \underbrace{ \sum_{x,y}^{}{f(x)p_{X,Y}(x,y) } }_{\text{term1} } + \underbrace{ \sum_{x,y}^{}{g(y)p_{X,Y}(x,y) } }_{\text{term2} } \end{align} $$ + 위 식에서 $\text{term1}$에서 $f$는 확률변수 $X$에만 의존하고, $\text{term2}$에서 $g$는 확률변수 $Y$에만 의존하므로 각 항을 확률변수 $Y, X$에 대한 marginal로 쓸 수 있다. + $$ \begin{align} \sum_{x,y}^{}{f(x)p_{X,Y}(x,y) }+\sum_{x,y}^{}{g(y)p_{X,Y}(x,y) } &= \sum_{x}^{}{f(x)p_{X} (x)} + \sum_{y}^{}{g(y)} p_{Y} (y) \\ &= \mathbb{E}[f(X)] +\mathbb{E}[g(Y)] \end{align} $$ + 이로써 확률변수 $X, Y$가 결합확률분포를 이룰 때, 각 변수에 대한 함수의 기댓값은 항상, 심지어 $X, Y$가 서로 독립이 아닐 때에도, $\mathbb{E}[f(X) + g(Y)] = \mathbb{E}[f(X)]+\mathbb{E}[g(Y)]$의 선형성을 띰을 알 수 있다. --- 결합확률분포는 또한 다음의 특징을 가진다. + $$ p_{X,Y} (x,y)= p_{X} (x)\cdot p_{Y} (y) \iff X \perp\mkern-10mu\perp Y $$ + $\impliedby$ 방향은 독립의 정의에 의해 자연스럽게 도출된다. 따라서 $\implies$ 방향을 증명하기 위해, $\phi_{1}: X\to \mathbb{R}, \phi_{2}Y\to\mathbb{R}$인 두 함수 $\phi_{1}, \phi_{2}$에 대해 + $$ p_{X, Y} (x, y)= \phi_{1} (x) \cdot\ \phi_{2} (y) $$ + 를 만족한다고 가정하자. $X, Y$ 각각의 marginal을 조건부 확률로 나타내면, + $$ \begin{align} p_{X} (x) = \sum_{y}^{}{p_{X, Y} (x, y)} = \sum_{y}^{}{\phi_{1} (x)\cdot \phi_{2} (y)} = \phi_{1} (x)\cdot \sum_{y}^{}{\phi_{2} (y)} = \phi_{1} (x) \cdot C_{Y} \\ p_{Y} (y) = \sum_{x}^{}{p_{X, Y} (x, y)} = \sum_{x}^{}{\phi_{1} (x)\cdot \phi_{2} (y)} = \phi_{2} (y)\cdot \sum_{x}^{}{\phi_{1} (x)} = \phi_{2} (y) \cdot C_{X} \end{align} $$ + 이때, 전체 결합확률분포의 정규화 조건 $\sum_{}^{}{p_{X, Y}(x, y)}= 1$에 따라 + $$ \sum_{X, Y}^{}{p_{X, Y} (x, y)} = \sum_{x}^{}{}\sum_{y}^{}{} \phi_{1}(x)\cdot \phi_{2} (y) = \left( \sum_{x}^{}{\phi_{1} (x)} \right) \cdot \left( \sum_{y}^{}{\phi_{2} (y)} \right) = C_{X} \cdot C_{Y} = 1 $$ + $$ \therefore p_{X, Y} (x, y)= \cfrac{1}{C_{X} \cdot C_{Y} }\cdot \phi_{1} (x)\cdot \phi_{2} (y) = \cfrac{\phi_{1}(x)}{C_{X} }\cdot \cfrac{\phi_{2} (y)}{C_{Y} } = p_{X} (x)\cdot p_{Y} (y) $$ + $X, Y$가 서로 독립임을 알 수 있다. ### 2.4.1 Joint Entropy @@ -249,7 +268,7 @@ $H(Y4\mid Y1=1)$은 $3/4\log4/3+1/4\log4$이다. 상호 정보량 설명 다이어그램

->**상호 정보량(Mutual Information)이란?** +> **상호 정보량(Mutual Information)이란?** 상호 정보량은 엔트로피와 조건부 엔트로피의 차이로 정의된다. @@ -269,7 +288,7 @@ $$ --- -만약 $X$와 $Y$가 서로 **독립**이라면, 위 도식 혹은 정의에 의해 $$I(X; Y) = 0$$임을 보일 수 있다. +만약 $X$와 $Y$가 서로 **독립**이라면, 위 도식 혹은 정의에 의해 $$I(X; Y) = 0$$임을 보일 수 있다. 또한, $I(X; Y) = 0$이면 $X$와 $Y$는 독립이다. 상호 정보량은 다음과 같이 **KL divergence**로도 표현된다. @@ -285,31 +304,39 @@ $I(X; Y) = 0$이라면, $p_{X,Y} = p_X p_Y$가 되어 $X$와 $Y$는 독립이 **정리 36 (데이터 처리 부등식 I)** **정리.** $f$가 결정론적 함수라면, + $$ H(X) \ge H(f(X)) $$ + 이다. -**증명.** +**증명.** + $$ H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X) $$ + 또한, + $$ H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X)) $$ + 따라서 $H(X) \ge H(f(X))$이다. ($f$가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 $H(X)=H(f(X))$.) --- **정리 37 (Mutual information은 대칭적이다)** -**정리.** +**정리.** + $$ I(X;Y) = I(Y;X) $$ -**증명.** +**증명.** + $$ \begin{aligned} I(X;Y) &= H(X) - H(X\mid Y) \\ @@ -322,12 +349,14 @@ $$ --- **정리 38 (Mutual information은 비음수이다)** -**정리.** +**정리.** + $$ I(X;Y) \ge 0 $$ -**증명.** +**증명.** + $$ \begin{aligned} H(X) - H(X\mid Y) @@ -335,9 +364,10 @@ H(X) - H(X\mid Y) &= \mathbb{E}\left[\log \frac{p_{X\mid Y}(X\mid Y)}{p_X(X)}\right] \\ &= \mathbb{E}\left[\log \frac{p_{X,Y}(X,Y)}{p_X(X)p_Y(Y)}\right] \\ &= \sum_{x,y} p_{X,Y}(x,y) \log \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)} \\ -&= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 +&= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 \end{aligned} $$ + 따라서 $I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0$. 여기서 $p_X p_Y$는 $X$와 $Y$가 각각의 주변분포 $p_X, p_Y$를 가지지만 서로 독립인 $(X,Y)$에 대한 분포이다. 또한 부등식 $H(X) \ge H(X\mid Y)$는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다. @@ -346,11 +376,13 @@ $$ **정리 39 (데이터 처리 부등식 II)** **정리.** 임의의 함수 $f: \mathcal{X} \to \mathbb{R}$에 대해 다음이 성립한다: + $$ I(X;Y) \ge I(f(X);Y) $$ -**증명.** +**증명.** + $$ \begin{aligned} I(X;Y) &= H(Y) - H(Y\mid X) \\ @@ -362,21 +394,25 @@ $$ **일반화.** $X - Y - Z$가 마르코프 체인(또는 $X$와 $Z$가 $Y$를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다: -1. $X - Y - Z \iff X$와 $Z$가 $Y$를 주었을 때 독립이다. $(X \perp Z \mid Y)$ -2. $Y$가 알려져 있을 때 $X$는 $Z$를 추정하는 데 쓸모없다. -3. 모든 $x,y,z$에 대해 $p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)$. + +1. $X - Y - Z \iff X$와 $Z$가 $Y$를 주었을 때 독립이다. $(X \perp Z \mid Y)$ +2. $Y$가 알려져 있을 때 $X$는 $Z$를 추정하는 데 쓸모없다. +3. 모든 $x,y,z$에 대해 $p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)$. --- -**정리 40 (데이터 처리 부등식 III)** +**정리 40 (데이터 처리 부등식 III)** **정리.** 만약 $X - Y - Z$가 마르코프 체인을 이룬다면, + $$ I(X;Z) \le I(Y;Z) $$ + 또는 대칭적으로 $I(Z;X) \le I(Z;Y)$. -**증명.** +**증명.** + $$ \begin{aligned} I(Y;Z) &= H(Z) - H(Z\mid Y) \\ @@ -385,6 +421,7 @@ I(Y;Z) &= H(Z) - H(Z\mid Y) \\ &= I(X;Z) \end{aligned} $$ + 따라서 $I(Y;Z) \ge I(X;Z)$, 즉 $I(Z;Y) \ge I(Z;X)$이다. **문제 29.(b)** @@ -396,30 +433,37 @@ $X, Y, Z$가 결합 확률 분포를 가지는 임의의 확률 변수일 때, **1. 체인 룰(chain rule) 적용** 상호 정보의 체인 룰에 따르면: + $$ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X). $$ + 이는 “$X, Y$가 합쳐질 때 $Z$와 주고받는 정보량”을 먼저 $X$가 주는 정보량과, $X$를 알고 난 뒤 $Y$가 더 주는 추가 정보량으로 분해한 식이다. **2. 조건부 상호 정보의 비음성** -항상 +항상 + $$ I(Y; Z \mid X) \ge 0 $$ + 이다. (KL 발산 형태로 증명할 수 있다.) **3. 부등식 결론** 따라서 + $$ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z). $$ **4. 등호 성립 조건** -등호 $I(X, Y; Z) = I(X; Z)$가 되려면 +등호 $I(X, Y; Z) = I(X; Z)$가 되려면 + $$ I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X $$ + 이어야 한다. 즉 “$X$를 조건으로 두었을 때 $Y$와 $Z$가 독립”이어야 한다. 이 역시 $Y \to X \to Z$ 형태의 마르코프 사슬과 동치이다. @@ -428,44 +472,57 @@ $$ **문제 31.** 임의의 결정론적 함수 $g$에 대하여, + $$ H(X \mid g(Y)) = H(X \mid Y) $$ + 이 성립하려면 어떤 조건이 필요한가? **풀이** **1. 데이터 처리 부등식 I (조건부 형태)** 이미 알고 있는 바: + $$ H(X \mid g(Y)) \ge H(X \mid Y), $$ + 왜냐하면 “$Y$를 알면 $g(Y)$를 알 수 있지만, $g(Y)$를 안다고 해서 항상 $Y$가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다. **2. 등호 조건 분석** + $$ H(X \mid g(Y)) = H(X \mid Y) $$ + 일 때, 양쪽 사이에 끼어 있는 + $$ H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0 $$ + 이다. 즉, “$g(Y)$를 조건으로 $X$와 $Y$가 독립”이어야 한다. **3. 마르코프 사슬 해석** + $$ I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y). $$ -이는 바로 + +이는 바로 + $$ X \longrightarrow g(Y) \longrightarrow Y $$ + 꼴의 마르코프 사슬 형태가 성립함을 뜻한다. **4. 특수 사례** -- $g$가 일대일 대응(가역)이면 당연히 $g(Y) \leftrightarrow Y$ 양방향 복원이 가능하므로 등호 성립. -- 또 $X$와 $Y$가 본래 독립이라도 + +- $g$가 일대일 대응(가역)이면 당연히 $g(Y) \leftrightarrow Y$ 양방향 복원이 가능하므로 등호 성립. +- 또 $X$와 $Y$가 본래 독립이라도 $$ H(X \mid g(Y)) = H(X) = H(X \mid Y) $$ @@ -483,16 +540,19 @@ $$ **1. 데이터 처리 부등식 II** 이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 $g$에 대하여: + $$ I(g(X); Y) \le I(X; Y). $$ **2. 직관** -- $X$가 $Y$에 갖는 정보량이 $I(X;Y)$이고, -- $X$를 $g$로 가공한 $g(X)$는 $X$보다 “덜 상세”(또는 같음) → + +- $X$가 $Y$에 갖는 정보량이 $I(X;Y)$이고, +- $X$를 $g$로 가공한 $g(X)$는 $X$보다 “덜 상세”(또는 같음) → - $g(X)$가 $Y$에 제공할 수 있는 정보도 당연히 $I(X;Y)$ 이하여야 한다. **3. 형식적 증명** + $$ \begin{aligned} I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\ @@ -502,10 +562,12 @@ I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\ $$ **4. 등호 성립 조건** -등호가 되려면 +등호가 되려면 + $$ H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X). $$ + 즉 “$g(X)$를 조건으로 $X$와 $Y$가 독립”일 때 등호가 된다. 다시 말해 $g(X)$를 기준으로 $X$와 $Y$는 더 이상의 상호 정보(조건부)가 없다. @@ -730,19 +792,72 @@ i.i.d. ←────────────|─────────── ### 2.5.3 kth Order Markov Process 확률 과정 X에 대해, + $$ P_{X_i | X^{i-1}}(x_i \mid x^{i-1}) = P_{X_i | X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}), $$ -이 성립하는 시퀀스는 **k차 마르코프 과정(kth Order Markov Process)**를 따른다. + + +이 성립하는 시퀀스는 k차 마르코프 과정(kth Order Markov Process)를 따른다. + + 즉, k차 마르코프 과정을 따르는 시퀀스에 대해서 + $$ P_{X^n}(x^n) = \prod_{i=1}^{n} P_{X_i \mid X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}) $$ + 이 성립한다. ### 2.5.4 Stationary Distribution +stationary Distribution + +**그림 7 설명** + +- **i.i.d(독립 동일 분포) 가정**: 시퀀스 내 각 확률변수가 서로 완전히 독립이며 상관관계가 없음. +- **실제(practical) 환경**: 시퀀스 내 변수들 간의 상관관계가 높음. +- **정상 분포(stationary distribution)**: i.i.d보다 현실을 더 잘 근사하며, $k$차 마르코프 과정보다 현실 상황에 더 가까움. + +--- + +**정의 45. 정상(stationary) 과정** +랜덤 프로세스 $X_1, X_2, \dots, X_n$이 다음을 만족하면 정상 과정이라 한다. + +$$ +P_{X_i^{i+n}} = P_{X_{i+1}^{i+n+1}}, \quad \forall i, n +$$ + +- 임의의 $n$-튜플을 $i$번째 시점에서 시작해도, $(i+1)$번째 시점에서 시작해도 분포가 동일하다. +- 확률변수의 분포가 **시간에 의존하지 않는다**. + +여기서 + +- $P_{X_i^n}$ : $i$번째 시점부터 $n$개의 변수를 포함하는 분포 +- $P_{X_{i+1}^n}$ : $(i+1)$번째 시점부터 $n$개의 변수를 포함하는 분포 + +--- + +**예제 46. 랜덤 워크(Random Walk)** + +$$ +X_0 = 0,\quad X_n = X_{n-1} \pm 1 +$$ + +- $X_1$의 가능한 값: $\{0, -1\}$ +- $X_2$의 가능한 값: $\{2, 0, -2\}$ + +시간이 지남에 따라 값의 분포가 변하고, $X_n$이 $X_0$보다 "더 랜덤"해진다. +⇒ **정상이 아님**. + +--- + +**비고** + +- 모든 마르코프 과정이 정상인 것은 아니다. +- 정상 과정은 무한 의존성(infinite dependency)을 가질 수 있다. + ### 2.5.5 Stationary Markov Process **예제 47.** 초기 분포가 $P(A) = P(B) = P(C) = \frac{1}{3}$인 다음 1차 마르코프 과정을 생각해보자. @@ -770,7 +885,7 @@ $$ --- -**예제 50.** $p_{X_i \mid X_{i-1}}(1\mid0) = p_{X_i \mid X_{i-1}}(0 \mid 1) = \alpha < \frac{1}{2}, p_{X_i \mid X_{i-1}}(0 \mid 0) = p_{X_i \mid X_{i-1}}(1 \mid 1) = 1 - \alpha$ 인 이항 확률 과정을 생각해보자. 이 때 전이 행렬은 다음과 같다. +**예제 50.** $p_{X_i \mid X_{i-1}}(1\mid0) = p_{X_i \mid X_{i-1}}(0 \mid 1) = \alpha < \frac{1}{2}, p_{X_i \mid X_{i-1}}(0 \mid 0) = p_{X_i \mid X_{i-1}}(1 \mid 1) = 1 - \alpha$ 인 이항 확률 과정을 생각해보자. 이 때 전이 행렬은 다음과 같다. $$ P = \begin{pmatrix} @@ -803,7 +918,7 @@ $$ [P\pi^\star]_i = \frac{1}{n} \sum_{j=1}^n P_{ji} $$ -전이 행렬에서 한 행의 합은 확률 분포이므로 항상 1이 되어 $[P\pi^\star]_i = 1/n$. +전이 행렬에서 한 행의 합은 확률 분포이므로 항상 1이 되어 $[P\pi^\star]_i = 1/n$. 따라서 $P \pi^\star = \pi^\star$, $\pi^\star$는 정상 분포이다. --- @@ -814,7 +929,6 @@ $$ \pi_\infty = \lim_{t \to \infty} \pi_t $$ - **정리 52.** 극한 분포는 정상 분포여야 한다. 풀이: $\pi_{t+1} = P \pi_t$ 의 양변에 극한을 취하여 쉽게 증명 가능하다. @@ -823,7 +937,7 @@ $$ $X_0 \sim p_0$라 할 때, 다음과 같은 전이 행렬을 가진 1차 마르코프 과정을 생각해보자. $$ -P = +P = \begin{bmatrix} 1 - \epsilon & \epsilon/(n-1) & \cdots & \epsilon/(n-1) \\ \epsilon/(n-1) & 1 - \epsilon & \cdots & \epsilon/(n-1) \\ @@ -839,7 +953,6 @@ $$ X_t \approx f_\theta(X_{t+1}, t) $$ - 그렇다면 우리는 균일 분포로부터 $\tilde X_N$을 샘플링한 후, $f_\theta(\cdot, t)$ 를 재귀적으로 적용하여 $\tilde X_0$ 를 얻을 수 있다. 이 $\tilde X_0$는 $X_0 \sim p_0$와 유사하게 동작할 것으로 기대할 수 있으며, 이것이 **생성적 확산 모델(generative diffusion process)**의 핵심 아이디어이다. ## 2.6 Continuous Random Variables @@ -848,6 +961,99 @@ $$ ### 2.6.2 Gaussian +**정의 54. 단일 가우시안 분포** +평균이 $\mu$, 분산이 $\sigma^2$인 가우시안 분포를 $X \sim \mathcal{N}(\mu, \sigma^2)$라고 하며, 확률밀도함수(pdf)는 다음과 같다. + +$$ +f_X(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) +$$ + +--- + +**정의 55. 2차원(이변량) 가우시안 분포** +$X_1, X_2$가 평균 $\mu = (\mu_1, \mu_2)$, 공분산 행렬 + +$$ +\Sigma = \begin{pmatrix} +\sigma_1^2 & \rho\sigma_1\sigma_2 \\ +\rho\sigma_1\sigma_2 & \sigma_2^2 +\end{pmatrix} +$$ + +를 가지면, $(X_1, X_2) \sim \mathcal{N}(\mu, \Sigma)$라 하고, 결합 확률밀도함수(pdf)는 + +$$ +f_{X_1, X_2}(x_1, x_2) = +\frac{1}{(2\pi)^2 \det(\Sigma)} \exp\left( +-\frac{1}{2} (x - \mu)^\top \Sigma^{-1} (x - \mu) +\right), +$$ + +여기서 $x = (x_1, x_2)$이다. + +--- + +**정리 56. 조건부 분포의 가우시안성** +$(X_1, X_2) \sim \mathcal{N}(\mu, \Sigma)$이면, $X_1 \mid X_2$도 가우시안이며, + +- 조건부 평균: + + $$ + \mathbb{E}[X_1 \mid X_2 = x_2] = \mu_1 + \frac{\sigma_{12}}{\sigma_{22}} (x_2 - \mu_2) + $$ + +- 조건부 분산: + $$ + \mathrm{Var}(X_1 \mid X_2) = \sigma_{11} - \frac{\sigma_{12}\sigma_{21}}{\sigma_{22}} + $$ + +여기서 + +$$ +\Sigma = +\begin{pmatrix} +\sigma_{11} & \sigma_{12} \\ +\sigma_{21} & \sigma_{22} +\end{pmatrix} +$$ + +--- + +**정의 57. $n$차원(다변량) 가우시안 분포** +$X_n = (X_1, X_2, \dots, X_n)$이 평균 $\mu = (\mu_1, \mu_2, \dots, \mu_n)$, 공분산 행렬 $\Sigma$를 가지면, +$X_n \sim \mathcal{N}(\mu, \Sigma)$라 하고, 결합 확률밀도함수(pdf)는 + +$$ +f_{X_n}(x_n) = +\frac{1}{(2\pi)^n \det(\Sigma)} +\exp\left( +-\frac{1}{2} (x_n - \mu)^\top \Sigma^{-1} (x_n - \mu) +\right) +$$ + +이다. + +--- + +**성질** +독립 가우시안 $X_1 \sim \mathcal{N}(\mu_1, \sigma_1^2)$, $X_2 \sim \mathcal{N}(\mu_2, \sigma_2^2)$에 대해, +합 $X_1 + X_2$도 가우시안이며, + +$$ +X_1 + X_2 \sim \mathcal{N}(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2) +$$ + +--- + +**정리 58. 선형 변환의 가우시안성** +$X_n$이 가우시안 벡터이면, 임의의 행렬 $A \in \mathbb{R}^{m \times n}$에 대해 + +$$ +Y_m = A X_n +$$ + +또한 가우시안 벡터이다. + ### 2.6.3 Differential Entropy 이산(discrete)적인 상황에서는, 확률 분포가 균일(uniform)할 때 엔트로피가 최대가 된다. 그리고 사건(event)의 개수가 많아질수록 엔트로피가 증가한다. @@ -861,7 +1067,7 @@ $$ $$ \begin{aligned} -D(f \parallel g) +D(f \parallel g) &= \mathbb{E}_f \left[ \log \frac{f(X)}{g(X)} \right] \\ &= \int f(x) \cdot \log \frac{f(x)}{g(x)} \, dx \\ &= - \int f(x) \cdot \log \frac{g(x)}{f(x)} \, dx \\ @@ -878,7 +1084,7 @@ $-\log$는 아래로 볼록(convex)인 함수이므로, Jensen 부등식을 위 $$ \begin{aligned} -I(X; Y) +I(X; Y) &= \mathbb{E} \left[ \log \frac{f_{X,Y}(X,Y)}{f_X(X) f_Y(Y)} \right] \\ &= D\left(f_{X,Y} \parallel f_X f_Y \right) \end{aligned} @@ -931,22 +1137,22 @@ $\Delta$가 작아질수록 $H(X^\Delta)$는 더 커지는데, 이는 $\Delta$ --- -이산적인 상황에서 엔트로피 $H$는 **라벨 불변성(label invariance)** 을 만족하지만, 미분 엔트로피는 그렇지 않다. 라벨 불변성이란, 일대일 대응 $f$에 대해 $H(X) = H(f(X))$가 성립하는 성질을 말한다. +이산적인 상황에서 엔트로피 $H$는 **라벨 불변성(label invariance)** 을 만족하지만, 미분 엔트로피는 그렇지 않다. 라벨 불변성이란, 일대일 대응 $f$에 대해 $H(X) = H(f(X))$가 성립하는 성질을 말한다. > (예시) -> +> > 이산 확률변수 $X_1 \in \{1,2,3\}$에 대해 > $P(X_1 = 1) = 0.4$, $P(X_1 = 2) = 0.5$, $P(X_1 = 3) = 0.1$라 하자. > 또한 $X_2 = 2X_1 \in \{2,4,6\}$이며 > $P(X_2 = 2) = 0.4$, $P(X_2 = 4) = 0.5$, $P(X_2 = 6) = 0.1$이다. > 분포가 동일하므로 $H(X_1)$과 $H(X_2)$는 동일하다. -> +> > 그러나 연속 확률 변수에서는 그렇지 않다. 예를 들어 $U \sim \mathrm{Unif}(0,1)$이고 $V = 2U \sim \mathrm{Unif}(0,2)$일 때, > $h(U) = \log(1-0) = \log 1 = 0$, > $h(V) = \log(2-0) = \log 2 = 1$이다. -또한, 미분 엔트로피는 음수가 될 수도 있다. -예를 들어 $U \sim \mathrm{Unif}(0, 1/2)$라면 $h(U) = -\log 2$가 된다. 이는 미분 엔트로피가 $\log\Delta$ 항을 포함하여 정규화되기 때문이다. +또한, 미분 엔트로피는 음수가 될 수도 있다. +예를 들어 $U \sim \mathrm{Unif}(0, 1/2)$라면 $h(U) = -\log 2$가 된다. 이는 미분 엔트로피가 $\log\Delta$ 항을 포함하여 정규화되기 때문이다. ### 2.6.4 Properties of Differential Entropy **정리 60 (상호정보량의 스케일 불변성)** @@ -988,15 +1194,80 @@ $$ ### 2.6.5 Joint Differential Entropy +## 6.5 Joint Differential Entropy + +**Theorem 61 (Chain Rule of Differential Entropy).** + +$$ +h(X_1, X_2) = h(X_1) + h(X_2 \mid X_1) +$$ + +사실 discrete의 경우와 똑같다고 생각하면 된다. + +**Proof** +$( X_1, X_2, X_3, \ldots, X_n )$ 들을 $X$ 라고 정의하자. 그러면 우리는 joint distributions에 대한 differential entropy을 정의할 수 있다. + +예를 들어 $X_1$ 와 $X_2$ 가 연속적인 확률변수라면, + +$$ +h(X_1, X_2) = \mathbb{E} \left[ \log \frac{1}{f_{X_1,X_2}(X_1,X_2)} \right] +$$ + +$$ += \mathbb{E} \left[ \log \frac{1}{f_{X_1}(X_1)} \right] + \mathbb{E} \left[ \log \frac{1}{f_{X_2 \mid X_1}(X_2 \mid X_1)} \right] +$$ + +$$ += h(X_1) + h(X_2 \mid X_1) +$$ + +위와 같이 나타낼 수 있다. 이는 pmf(discrete)의 성질과 동일하다. 결합 확률은 주변확률과 조건부 확률의 곱으로 나타낼 수 있는데, pdf(continuous)에서도 동일하게 성립한다. + +**Theorem 62.** +$X$ 와 $Y$ 가 독립이라는 것은 다음과 필요충분조건이다. + +$$ +I(X; Y) = 0 +$$ + + +**Theorem 63 (Data Processing Inequality).** +\( X - Y - Z \) 가 Markov chain을 형성한다면 + +$$ +I(Z; Y) \geq I(Z; X) +$$ + +**Proof** +조건은 엔트로피를 감소시키지않기 때문에 + +$$ +I(Z; Y) = h(Z) - h(Z \mid Y) +$$ + +$$ += h(Z) - h(Z \mid Y, Z) +$$ + +$$ +\geq h(Z) - h(Z \mid X) +$$ + +$$ += I(X; Z) +$$ + +첫번째 등식은 Markov property $f(Z \mid Y) = f(Z \mid Y, X)$ 에서 나온다. + + ### 2.6.6 Maximum Differential Entropy -> **이산 변수에서 최대 엔트로피는 균등 분포에서 달성된다.** -> +> **이산 변수에서 최대 엔트로피는 균등 분포에서 달성된다.** +> > 이산 확률 변수 $X \in \{1, 2, \dots, K\}$의 엔트로피는 다음 부등식을 만족한다. > $H(X) \leq \log_2 K$ -> ->등호는 균등 분포일 때 성립한다. - +> +> 등호는 균등 분포일 때 성립한다. > 2차 모멘트 제약 조건 @@ -1012,7 +1283,7 @@ $$ **정리65. 가우시안 분포가 최대 미분 엔트로피를 가진다.** -*proof.* +_proof._ $X$의 확률 밀도 함수를 $f_X$, 평균 0, 분산 $P$인 가우시안 확률 변수 $X' \sim \mathcal{N}(0, P)$의 pdf를 @@ -1021,8 +1292,7 @@ $$ g(x) = \frac{1}{\sqrt{2 \pi P}} \exp\left(-\frac{x^2}{2P}\right) $$ -라고 하자. - +라고 하자. KL 발산의 정의에 의해, @@ -1046,7 +1316,6 @@ $$ \mathbb{E}_f \left[\log \frac{1}{g(X)}\right] = \log \sqrt{2 \pi P} + \frac{P}{2P} = \log \sqrt{2 \pi P} + \frac{1}{2} = h(g) $$ - $$ D(f \| g) = h(g) - h(f_X) \geq 0 $$ @@ -1057,4 +1326,4 @@ $$ h(g) \geq h(f_X) $$ -$\therefore$ 2차 모멘트 제약 조건 하에서 가우시안 분포가 최대 미분 엔트로피를 가진다. \ No newline at end of file +$\therefore$ 2차 모멘트 제약 조건 하에서 가우시안 분포가 최대 미분 엔트로피를 가진다. diff --git a/images/figure7.png b/images/figure7.png new file mode 100644 index 0000000000000000000000000000000000000000..bb3784ede57dffca91afd71102b7d8665af34896 GIT binary patch literal 41985 zcmeFYhc{f^{s*ju5yBur^wEh<6212xB8c8e^k}2^j1r;~y^Br+(aVSyB?yraqW3O3 z@0RDe_ddD5`>yr=0k5@Y%`xZfeRlnp&*!tl)K%qf-6Xq-f`W2OL0(z|1qH(t1qGD` zf(d@PO8sJlf^xImMoLOuK}w27-Pys?#?}G_MLsMc3G1=uDxv?C*C;tE8bluZ{sAjg zTyZ5^R`4rC!CxE!gTDEytKa@UixzDyoFkmMo>gW%{Kg~Vt{)`Q81b%E#!`z0v(PD@ zQJb1iJO1BH25)tIvm_=BM`GbGjpZ=Xby)5jv`JGOmvdc^HDD@C_|w$jpV?y5eJe`#jC_g#wzl+cPXh zCz#|j?`sW|q6U6yohbE}^>0Nc!_sOpUC|pkNg`%(Oju^M; z^FlLs6@*Y6CANra;2-Ot_-(rtDCz>dqL`Q{UDhby0^vM1zvA&lcH2;BvuN);qiMy# zY{Sr@brnF#bjb=(Ak>H{Y}? zIO6G}X}7yNk_%&qWKlO^(9MdF2GKyU9?_8Hp{`2Gz7{aY;)c2RklYOI$mVB8RSZSG z#%1*%7iUmsd5pRl@GRRXn`l^|2z@PdOR9ModVqO~n`_KdiuSzoW99u%!Mcu63T)2c zxSzQE)EvPN+ZG+~dqeC4huXD&es{z_C!~@=y^Wn8IwGZ;lg#Y!n3R<&AviWCF*p2? zMbWdzBE@&UL^Xu1N!-d6&91U0dlOYF-I#+u{K%S05WShAnaUtQ)ZbpxNPI^6C`WF1 zhU<1D@kfgJKoc`l?%reyWr6}+%^(}3K62{gf!PnUDxLdm=$xaMl0xovY_?H$q_w(QU1WEjwYGcp6}nm z+AZ9DxPyMo9Z1`bn3aUk?O?-$Uj_RFKk2wHDP|H`ByA3zM#LZ=&#{^cRAqR?93zes zrD<2=(iHaPB}WuB1XdxdJa3Z@!b+7N(0Rp?ytY`lwQ#ZUZsBa9?)J^DStHWW69H|sP@T-2Ug-D(J}kbU#f@|ESQ?l;ydyaVtz z0&g1mIG^DSJxSRVOnuns@$2&>evL6ZZ<%9R{!_2_g70PDyVhL1XZR*mGxQvPy=c{A zEpN^Ci$ED~p3K(i%N+p`n~rJ zx->)2K^>*(H7=1zZAWC6n;=XAOwxa%(*+WYGIv=wK5G1oWftlbx%+h9a$X`-FleC1 zYK)sIMO|4~nMb);#XiMUC8fZoKuDz`wcQfWlEpH?a^jQ83%M8BC#w7QIFTXmLcZpF zn=5CSjI~Iy)3us>o^N@__Wifw$+d*{*{)58mg{co4iE4i(5Cu4z_&}VL$}lZUi+=3 ziuc|8q}I3T>cX#QlNFT?RemDf-ciPbda5r}Y9hCUPcrUjptET{VO@u=CnUW}8Y}s{9#j``#IyZQl$qKu z(=?OA$YO?h=H?8O@2PLEud6TJCElgd#So@3S|Hj3tSO7<@8BCxf5~TQ&Q`bKNGxO_ zvcj_p+b!EiX2+rY^jzjjJ-O<+>Q2@#NFin~?XbN*nK<(Bw+?g;&VMRNI})CH&_vTD z5=dOdKWB_QldtG`6@#CvoMZmT?(^8njnD5tQ=595Dw=tkmYF4W8NM2gB>MOsIX{;> z|9nnv`D}3JL91UtXJF0^cVZsmC5{c9ybtmrdxAn*vY}k!9mzY^(Ir#wybG| zs#u+Zmj}KNdi5SHI4t60PhsQ-2GG~#jpVhP*DbL3O0iI}Sg>?TI+%p)xIPnK+Zw~S zF|j!t{V2no6YApaDS3)rRn4#BZ4x#ZJH;?f_(CBjkExTvOz$ItPyT5fwgty0+g=Tc z&^*R+ua+!r=vC882R3I z$k`e`w^w@y^WIJEgNg$qxbYn)t#8FM+TTk#3@+?dKD`;2-0VmQ@ew<|QrFH?r)O_y z9CzK^qW&y)({JOcRjYk>gG1N(+&zW|3>FMVmj!MMS= zTOgDw@_?FIi*kU@5Ce`z`-j}a+s$LF~HwwFd*&hF4P<^&P)RDQpxjQrZ*iPS|mZb5a*Y>{8=d*8q zCYKs|xw@Jf`>w4XenSB}=p@h5pFPKaMmeQ}HPO2kipS3Ha#1<-GtsmEROHsPTMTk- z1d}l&t&HcM%hto6Yt25H9d^Hp(!M`J7Ll4&&{Pn!6u*>_Sf98>6u|WDsevB3-@8-0 zD~0B`gu=&acET#c1|FX0%9kmh-^IS`T#g+&e9vz0YU)>dV28GnBp#8_pZg8kStj78~{t$G1LA7dm)M@w<;M zFXiiP=xIB={IS(SUpo_`xuV0V?}>7F4NnPYZFrq@8p(&ANQ5al~Qki)z2KU zgv(M-i@mjDqYOXSC}h+@YhnwP-@D7QkKZr0mztiFFGh;OGcSENq;}a-{`TSC|KY>Lh$j(Li^X# z7^Ye1|GGw{0ryZOG^G?2z_+HEvxSBI3u^}#-5H}w@B_A^yzUDW6k>+!52}I&{SK&q z!sfA#i;jx2pqYamhl#m^sRf6Jo#S;qD8e3s;L^^*#e~Mg&er~gpoa+U?~{UYI%CIJ($4*wb9s zYhvo)>LNl*d;Ow+|NYfY3lE$ByvhE>-`xTo`V@be4*e*XX5`Oh2wQBvnWCAqnIc>Y=RAGiLysMZS$XDJ6e@J<)e|IF9l zh5vc;?}Ead*Ioa|Q2aH{zkdY-EqYU!^WT#udNZNh<$5(z*hs5A2H#+n{r|4{W0iiP_gC3|8r>^PedvOvyA7hMfv0RzaN2O+%`R@{bzxHl?}ioP)FE6 zts`RoZ>8dBH@SVW{`*zeCB=gv%t$^+P1pab5;cUh75#rTGD`w9gAC)F>Hn(IUovv$ z&p!R##9HivzEa<%ZzXsrsck&_pC6$B3 z^&ijDgcr2|{8>T;$0Se=AJuz*GK zqhq*zc>h?!FR{HIy4C$5F?>8D?_HTUP9N`%dhZWR+;*)Y{A2gGtuSRlc~7?k?!Ok# zWK<_HhSL225Au2J%<`?5zAH%3HvBNanrB9*)Np!YDiWwQU=}TsNab_zxn}(7^Zd63 zZ&>#v7FLi&^_&ek-Y*mv_$LIrVZqHtzds0)M@L5wfFBkp;5 zvOGFrhq5mR((lV9(Vp;4;;cVlb+Jcbva28)T#S7^-TG|HpRrr4f(>xJs4FRopzr|ul;Hop_5Ysisgf8X(i~=3;n}14r2jFa1fAceurT=5(8>%2u7ju zT-@4Yua`+GSlqb1eapUa^Fh3fGJym1o~qDhjeNxM-lSD#{@He`SXu42XRAGQ(aJBW zeLYV5jV=i#F_#O{-M&FhqeM?v_@-S(Z!v7Se0*8m_b5@Apn|vL4PnKC=G?^4ehY7R z`yoHq&wWibk%Vyr_vwR=XlxM+3PuTcNFlv%EQSC?HS zA>oP;M)C&TZSTV`+CT9Z=OQ>&d545wJoP#JGWu>vl)T^Z<6Wz?nry*Jqzr(Mual3_FDQ2g{`3HQti;zj0gv}Cav6SJp1ts@A$feE?V|-(s zTv4YRqxb{gl{(=Nz$Zv@Ab};*&wu~$@b0`;?yKjXz>yyb@rN0*GkfFawFv& zSx)B1NK7JXLO3UsF7uirm2Rc-)l?yByu!GM0;D$a3~|4aGnl}SO=8=(LYl5Vo2oS zH%U(CW?~wx0f{djo zokAm5g1&qP!%X2l+cK&ulrMI<8{Ho0f%)g!|8TwbCoU=<5UyxqKusZwhifGjQPY79 z)d-eXbfTuX#0+&azFxNQS2LuEtQV_lem5VXMvzM1VG~W%cka~*sZ= z01Z2Epe+F1toQQ|uWd?KGZyIL`7D+gBmkqZ3qj{T?W*m)#f(&^(({hP?+=5j)`DeQ znUh@>-@Zr3rdKqCL8J`rz$boKnCa`;;f|LBeIg0ri{NOmJ|6h65UUi(q8f|SX`%~F z@cLQur{y(9gFBmCN0wY27}Y2m7FD!SO+Ky(Wn9G@X8C<{(hI$Zo-|wRbyFG^Os#h& zs^v8n^Y3f@xb?O#P${8Irr7rIk=^?*Pre|D)byu4=3i;mK7L!hsF)D)(({Sk_J@oz z!(ujT=@U(r`&x(5e&=+1EUx`6w#61n1`o=Y%c@J-gRtaIokjEtAM38Xt@d~X5Ldo0 zVN4l1i)HmC8~*ium(Pmdk3TJGmzWej(Mr*oZc`qip^Zu@HZ0Q*YPHs3 z`)pQop2UnDGoQfnm_KgXYFPhB2pb`K*)X4%G@Y>1t>N8X+4S;&0%;aupSDn4ipW=* zF!Zuxb4NpQg79y5p>jtB>b?o)B<=f|^=dMQF;V>Dd|6Cwl9h2Vjw3>7_3~_6jVaAh zlC8@WPU!2dNU7`DMaaB{inE42G=~$q*Bi9{Uj{({8yJLTpQyqdebk#J56pn4E zFh>gSo%Yqb)(g8dx#TQmJn7rsC9jWe-Yb2*S6%pkn#~oq1bmw+LU7>~RO*r<{%ke~ zzn}@pf`N~uz{qdVk(!+IH0&qL*FkJwi~XF46F&sFSQq~9WjNe5 z4>_a5*()b+-E?B%j8=rhHT48XMpQl2nQE(LhhglSz|xshbKAMnvoE?Ybi#xF+=0R% z`+u`+s6&K(po<2%fk1JESw@TeLZl-EiLkvsKZm zvb;=>t4uT@f9_^&`rT$Nta3lX=$tn3Q573bKk1q#zKlGK^IM>?W*=1sRCB2N=%0iA zTKomb_H72wOv~tp3n4T-G{mz*^g<1{N}_-l=k-n=h9W~~x#B}%d@i`1;iJ1x6_h41 zz{a}8XFBMQimu`2N!|g;BnaoXZ#h}2`58)H+x20m1Lr%NJyhlah-!BTUW_O(g&1qF znf7G>ow?wjWP&u zn#xLB$fFxp&7h>=LYHeI4~#Ts8?=EU%A3GhF-zpQy7&9@?mb5Dd74?rOW;gzQFB** z`mR+tbH4P@sfBHw6@JY62UNnx2_T-O=7;0TXg+}`Xc$;{meGQ1MNk;@t|M!IY#NBd z8pRG>oNaSiO0f!+!6v4o7z|a7&{F=0SsWp&!b-oNu3jZ=>S2s;e zEV7VLhvHCoP%;+t{J-oN{MwFfH&~RF)Z#IPG*@tzZBemz^&exgx>8C>jw!k$zkVH ztSb)w^{%(uYQB4MMNF&q9~KjJWJB)U8s|N>gHfM186Qe!4MMmnz}D2Ub?})ma1U7t zf=CI?0I#Rh5Dakz$-~PPo&mnmyo;k5u|%Z-5EDI8bCWdHB@lfMEiNJ&7t;AYtA0Em zEvBkx_g?F`sojKA^3!!X83nQgmuc4t83P^St|wo~Z7U^gw++@v6Au5&Ti0CMieKY8 z+}L22kq|Uh8>hYqsAl37jSfxZPG39Rkbv&N507~$5C6pX0KqD@m1}3QoZ)4UV1SV6 zRH};(I+5s_#}uLGKz()ihg=g0rX4$PnTSYD_u`mX3};E$fQ4YMZB_p6jDQwbDfv2O zs`Q14)#e%kuh%K|39P_$Ly!qpR<=`rs_Ld92Z5QGPRo?bsLIcpqgM}q$Zxk^`6Ad6 z+6?&TQ#5n8%a6<2JBs+(3#gF!Q8;Xs;*Em89_a1=34?e>1AuY6ijN8V;2s(Tl|Q!` zv{@3xKA6Q@$Jku+OVfzr`Rk5LH?IX)Jh_haF5`;5Qg&W%Gh1vk9Tu7ewv4Kylc)%Q4YYVfbLzn#h8%ZY+T>KQij@;N72Y z!~1$EY-i}uVISN@gP|^bLX0gH;GR%)5?BOB@gG)7~B;s z6-?q${NDe(m)a?xN^nU_O|7Y+O=GX9u+Ucq@iuci+2P{Ne|2<;4s_J}2uY@prA8pG zzM{Iq?CZib(1TnpHcbDL%jC4~y2fVE+dBW=+1F$BgJ`wWy2Y{KABe9t$F+}k6)S!9 zM-ToQPj+Ph9ECWPtNghjena6||4C&2FH~H^1 z77urTk$ZZ)^o{S2tm!W}>rDh$h%ct`pZ^&({;ozG2Y`JxKU1HN{tux3ADw&}D6XX? z_1-KJz=>=6R!o8goAwQZdt@;$K%Q+^JYn*QyIa}p)%|gVxdj=vd=@oP(GlGZsob-7 z8s!!L^0#~>*H*lNdR!LGC!_6X#xIk9EudG<9T^E=$?|kahqUEJRk!M^v?hLd@r=MV zC?LWxtV{is8~?OZ_SbXD{_Twy%|8ZoS_juQ1pex&xDf*w7VYh{!$k2o!WHEnW-ZEb zWNwK|r=sTGW|?+y766?1tIag_7L$w$bS+aD27m*DLGM>{G=E{-2UG}|oWE~S3$9Xw zNr>f!(wdJW@3@1Ga5Ljy4rt{$7}?WrlH9%Km=Mh)(qxj_sm=>RCaRQ!|{_EVC{~8{Gx-g}f$0E7EJl4zyc`7$v z>4hTAEvySe_fjmShOHLj=TfJYQ5QOIj{roK%3nm{^T4P6U*u81BPns1<(T7rZR`Uf zG-X<-fvUh_ybHjv@^?Ryb28pR-0f$3r!4sEtJ$bDk;-j-L9cJ8y-b;T25yrKBD+W; zn<=MmJ0io&<8HBn`{O!v+%cqgh~iIQ<&=+IobL~*9ZkJZi?0I^luW9%Q8%`-NEz5} z0hdZy9F`#QW>^KD(8_ZmMlMG!Z#!p5YDy+J1$e5_04%EHrL-4=wZ7$fFO97(=6hl( zpIqi|7i^zpUY%s}{R}252*ML&9uT`aw>u=C+*9HFJ0uYI0();0eyo5-NGgGbdywKN z3;?WE;DpqY3_Wf1Q~^%t+5ljZ5e+5wJLqQ(S?%=x^MgX$%GXZl6tr1tC)qdbKL5wHiupFAv<8*}|uF1*Y^o8D&oA2ludR2m@%Hjj{Ow zlIjAY>frm+U^df<^&Q)xE}6imxGW}UhbGL_jH;$`fJh5kwEALY0$`iD!H1u~oM&7k zvxaxfR*b6n@*L8APgh6H<5b4+#9WV0*DFRj{Z9IW5y8fn0E`y7*m)^dGxJ=o5C5;d z6Y%5OWO=a-D4<qt6IlvW1&BO2P`%FO)zNkl0fJht$BPte! zqqrcLzfQJ{uv=NG$we-|;*&ir2p^XxO`HxCbyFKxJ8iNe9hhH2di6MO>b6*xk$4=d4)tcHdi9O^eM08(Q29d-&lFc{4}^CEF|% z7%o1xoNc8tW_Zl4Jm+@@8E+n46hAEzDxGo-BAkkzVu%8mzsn{@h8P=_tR$XL@Ymh6 z!Y0pF@wCA?f};q|7KE^_Tg_skUg)e!dPJp)m`v-dLlXkiYaAIGUjJk+MjQKZPwB(r zd*sjeR26BQCtoUVm0U6ySe>{glxI9#UE39Ge8QRAR8jYmk5cNwv-`Pk;$O4`E^x%3 zb|7#AG{Th!sF<4+*Wvcl7X$Y@AEKe_cvqZH_+4l>9FFUCZZwIUje=SlnnZPMbifPrNl=icB)B|K76VxpM}8nj9kgQrXxI z>?}7)TpK~mk%@jb*9{%9!KC_pYlRJ3@u4C43jHpN}{|J^VKobx@;Sx^i(%mX9DJSbs;fmu#KZ*6btFH+wwb|L^ zS(S7xuO7OZ>`!*N;{|IQks(1i~$L`Z@X=Hh26$TdGHTNG!?bTm0da ztQbs*w|NYz(~qnKjE3qKv(xl~=hn{-iI;E3 zstjLhke(3LKSAE!6Zf$C@VGY@`7_}Kl4Vywj?}R6igWxbzi?_KF&4kSrby_@Xvb=t z+oja6*`C3^n}4zCZ#NpS1qJjR9>Y9v6w|com}^p@xY)2z3mLJilOZ!*!k}>weTz`K zPdRNe-p1_!=y2x_K~RwVr?Xw&AZVu-BL;4u!q7bnnz71(17Iodh#K&VjVklze^`2R zk5LM@G)(Rd=+eEkZQAjjyRaoIu`}H_AX^=MKVe7?H>n;HPw(x!&OV|%b>BR$L%>?K z4dD#RM|VFZ1&Ex`7SHyF{vzB4=|c1`8u?wmH>XuMewDr(Buf;1@rhe*hki@!o#qhm zQ;pN+p$Z?b;iMV>e#-j5JyrE0n7hoe3p3exvp7Q3>g;1<=xG8B8QQj^!!DLm9Wnqg z>=(S!$CKH7^h3xu_4bof&bi$)_Ksb^sSx|z^nJgg^tBAp5-b|&y{ZRNo=jxg{N3Z4Y=_)!eUMBsHUqin8>|`-1+P5|S&fP^Z5u1l;Hsn`A$J7#V2nU;M7a6ww7O)kBU9|yuP?l)@@mhbkDW7T2vl# zBFs#jSVgsf7i1OciKN4M@I}`uUCTnEsPDUJ_Xpvaw|o9geR!<7s_-ns#W0NoCVVa8 z=x=M{CnvqG30SKHnS6j?^LoEo`~3-A-OF^sx2qo_R}O+&OCmM2i?NN9`xY zg(mTnVp{`E3#Y7xm7IuTw%3n!v&yPDQ&=Oue38Uq9~+;rG^y=V4WM)A>rM3e(y(5x zXAwiU$LMz|xW{nS^jtHc%%d2j_hP$>!l#>T#g7lnF!r*`Yq%rCwTL5&n`~=xGIO>K ztkPX`j0)9qX8QU|iZ^Qb=i(mdNj(9E+;c48yjKXPU#r$X(rv^+lj(G6%m6X_~UKv0#SX<+QY(09yl%KD^S0Ok0ppWf{a*{A*7fGNSR=hwhWb@W<0TV zPs^@>u4jN}EZK|eOGe?A=uN!$IfF+cM-;cbmn6Uf(2NlcF`?B2`aSy&erI~h!k32? zezzEq>Mw1ZiQ-CPqk2d2gf`S+!^2cjMpvg3T86QA;Fkx5Vr5hS*JtGvfMCYs2Z6Mk zpV0(&mcX%^ZoY`zHJfVE$tod}uTG_CFK#)x{&faFLZap~ws?iN-GDS2os54A>ZAL5 z9>{H?_8?I-7|mH%cvHVa!h|yok^-0>*ljwz*La_4^h_ULW8IJj2=M{uWHr4s$tnIR zI9?&lgM4}_efqRdYWVn?o?d*!bei6T%W{en?06czaj&3{m<7hQ4OWBJk42VKGK?1( zCUfRje6WHzf|K}PFv#aZI${{g=PM1)KKfhB1W{YSO4YXDz!9Gan$ zvvEn4p^&ckwkaAGVnUDnJVyLR{YDCp@}|c~+OL%eK91Rj2x$b%!6ZezoKYW~AGS2= zHc0oC#+smB8)00N{-ERTkI6nJs@w5rWHJ8|53Hbq+={A=rx=h#wrF71GRkR5ajAss z`;;P0Uq>85g0$y&zIHhWqjCh9lxp|+*V_|xwvojI6?QLlzHd5bVwDnAw%)7GfqIdC zvU+z=|AY~&o=IV`a^Ban%mN_DHw%%ZtR~-fTR6 z*JpWUx409ZTG)=eC6K(K?rRb|Fgwq3Pwi6*>G_s>YeY?D7W?Ew>9J@9Vm3&gg{0&U zxZK-%RfCjdf;0>a%qw~08lu^{9)~-hQJ)h@-#Nu*{H23o+MbxyDJ{~!UE8#jAG3QV z2g#yt%L#6CJw-VsU{k6zW}!uyV2MV@A?nL^kXm4fchPSJEL4t~q`!DQ?6nm(GTW~s zHu^G56terK?f%*>2C4{K{*<74?S`Ec6l+}B%c+8-2(iE6>=|JY<(Qg+pK zN>G(5{#2TVjkuRQfQfV2w($Y&W zS~B$$L<{bSqfiCMPLMk^J^Gz%&b>}lw<7&FY4hhy$+$2Rb0_=Jk#R8_J$svP>fB*I z2k@K7_HFobI!VXPrA?hwb3bg8y+Pv^4kQ;TqXTBoWQ7vsj<;p3e@{n1uQ0lOFxehM zJijs~m)5c%EjF>B@Y_YfARCPA4WTSa>z@<_r<6&IPIdqy3}gC`yud4ATxp28hLD)V zl8A4g^>ZZ7ge(~KnJ5q{lWy?d%^tv5^ZRP@Qs$}jo7^Zt*1@>MbEO}7ogGEWgtW1K zz#|vXv^m^a$M!wb>HPeXre}EBc(tRN^b|#M^`VCt8>|2+lLmlBy$&AqpNTEm2zs4Q zCXb|A!@kI^K2%KGy2%Z1+*}C~yvco_c901XIZ&HS(vE-BmmPJmtCKX`J<@F=A(>Sn zi7-*HT+Q4c{|YM|dku}y=O3iCDR9I4X#df67P!Xdw( zAtZCW7p(nqZ|R=MpGVW)4!su6)KHdWM+H8WKKL7U%z6nDdQZrw6<`S`Fi2;CdDsai z(u5-us?A?YaHy$pTgU}77tC2@z%BDSIZ@ZQg@{a<6Pi+PbMZ5B6J*qG(u}uv~$suO;JFe z{~WzR&5j^Bz=81S#F;No*#)8`P-j4;DE9I*=b3%*F3J`|lqrif_c zK%?8I1r5;7`@y$M75eUb*Fx7WxO}{SkTsS?v->y_nC^4}CBoZldBaFjOU!w{>uDQP zhDXk{>ss6AX*Z&16q3`8y{o*-*4%@#rV%`(eW_UyU4LQq=wc7L?-;(xtFs>GLXBv| z?B9}`HVEKR?n*c^0?;dzQ600+6&5P-a5=@B3$px{)pCtLw@ZOjDbAxqK5Yxa9p5)g z>a+l)0;N$RzrK1%>SYwsB55|DJ#qE8bL*101?L#$32n0tW7M$FhF$surpYcj)TK>f zb_N3ir@pK-refT&y9e{p1uaefJU!&Q*i6y5zj|Bw7Z%AxP4>2!A2G&ZCCU*b&*D<> zb1^!xQ8LFx{#FNNtwMIl^ZjOzqGV|LZ&n@5x~owK-Z0i}kXme{Lk`Quw_vtvKyF+! z*bsF79htBB+wI&Of#?Cg;b!K+qzR!zEQ>ei`XSa1xXbh$^boBq{|qjY0hII$vj1}$;Mot;!F~mxbObN=3d%i zpqx|GCg#RXzI%H&qd+^Px&F z3MHOZuln&+N!$xUNnBOmw?cu^yW5h}*flX8H8K1L>wsS{(qC6bywyVkd83hj9-toe zb0afq8xKAJLbu5LX9RU}btiS>(XKxV?EEzw>*s=NTuM}v^KZt{*c|XDk!%v904%h_ z=#$O^vX}tD?_9iJW!ZlA(y2MEt7$h9n)W0eu(6nGabNuP_-bJfRG0| zbZn$K_mTYSH^l3YAsYw)5cxLVw;&bHKnc=~8U*MLouTm~4K}&TaFf?VL|WzU3`nj@ zOWJpzc>06o18(5LV-f>IiLevt5)=jzY$`bn`IlX^m|&#d=X<+JvRc>z+0W0ZI^{$U z&!=um*{_t-6f+p`lx|*&ZLGzV?u3uZ^;z%)-BH<1Xp1u`^)n8(*77EnF1Q4U>zi%pZ>bC4$;qb$c;8jwHbj0S9an@ zSqm7QGP0RN9f5&ZUDfL!$vcgOl_y-5^TIGQwSsB$Y+EmWJ#s&#?PGfVFu)t?ye4Y8 zGbxibJ^edVWf3)(t(oS6xiBJ!w+7K{>OaP+C-Rt}25BAvVofaAQJU}DqrELQ{2_(E zfOAhtfa5dOMBW2J);RIIU-#pQ#h4J-5Jn8lvttRC@5$py&^xe#Ejr9h3}yR1loOx{ zeWd`IgZMt}gBzw`Y*cpQ+0iPbFvo{MEaug+l>@(`2B|X=?!vBE4z1+q*`9<$J6#!X zT+5MkYG~-In*7;|l*rclh@STuPkv@d(kGlu47=@mSJ=Z*=L^^H44}2XC#Z>zEd%{x zlmd#=SAlS64>ALtzlSvtn+GNwf&lFEm0r30&Na zGVL#y(9bn$W6eE|HpR9ifUk1$m$zP?LUH;===)eN=-}#4c6~awWb*Bs2mwEz?|Wc` zFM4c@ymvv;&-+%$hc>DodqL%7L4vaCcHS+>XPF)r$xoo`l&b`>eNoc+L%A(FRIy?g z)30Gtw0>^I6y#6?2J#?V)6kv3NAI6muM=H1xc&G8KYufo4NGYZ}%eo-VNi)MTHRb`saG zwO{)8)O_Hy${D!h@TZa6Xh@ul(`w}~@r*onwI_F1_8+GdreTzSkqV1uQ0xxFu^^z{ zcS*$O{%Jht`tfQeJ8YdFU)DG$3P>W|4gnzB9qjL&Qe?a-Dfmq%n5;ZOoe`g{m6pmi ztL0kXEB&^c-Nris>@Dhm(>&^c8%j5W=V;SLtQ?IuwG;7SI>UYhD-SDcn7<2+`kh}Z z>YVOALP5pw<4Luv)rH(ae3y}Dq`aVg!gpYIAjB5Irj*K@B#Lf=9uOoN(h`xc43@s- zTS8hwc!EKYPN4328#MYs^?`GC2ywWuB@paD-TBon2%c9;=2hfeTq~Q#GOHDaVn0>0 zMKFkU&4sK}#1D)peQP_Uog3@g%&18feoG$sWHJnIMj+UkUDRdo<*!+$(3ZM$v7g!E za?9)K^oQ|(QCV4X*8x&+e-H3I+8CtAJUu>u1UD5Q%JY{v0px~O^J{j6`oZ>5BSuWz zjsC1;ZBgC;7$uhJjW{TUL2OhQj$SKIig9IB0z^+~UNeBHk{?Yr62{(0Ts3+l=ourL zGHY^HeD6)QOah;JRc6ZENTq~I? zFKefq`*%_T`Mm(0E+^LI;0HhlJXpw#Al3zu4^AM556Nm(xI~YEMS@lbYtVBxIIB+w z8V(!u0{e+8f)3D`-U#kInaZpgY5pwx_;xQgN%?4*egJ+wEdvl)6*+|sf$Yv%$6f&; zRtd@JLM+w=p(&0J>7jIK8x!tjEuO%_YsbVvc%p1fl=#yT82zaIUTFJP<2DtZNB<$H zzUdA7Su@MTN#?HikIU2=#6}v^_Ev4`gH`}We*pvusp(Dq%E$mScZ@r0nt%;&f9FVg zF~k4-FPgFJ+B|7(7iPm4h=_x4Vt%cga#q64Ah2QfYV${h8OIlvAvq6C zt2fn zy|hWe_9dqrcMUA$+lFUSo*uY^O3BPgOrO}^29hiT@CK-Ej02<92ud%G%joFMxL?XE zi*?yMLYjaE!Qi-d?xD(T!i>mx0H9T@4g}7(R_CG0E1Z=&5-aT^!J;AS2lzT)X`ap= zq*fCMti(a1`^%LN$SHL8U{B)`TV7w@xtDOQhEBX$R`rqWk>%=HeN>x91zq9;NIzm0 zLSBR29w?e&5DGApt4d3j3ziDVK4j&fpTS{{8UUxC-AbPnk!&ssE;=`FkagoJiP*Rk z3^>&&QTE39rU4~P*BeBG>m6$=f_Z|5@I}iHRtEX|O@HqmCXA0X&c5G_uVEK14U82< z{=GIK3#&L5y$ESvcw6e8KflEcwv&ihx~;aVLeh<>_>dU+?hm$Fv3nS_7Tk=B0r0#5 zNrk@48ydBu3X_WT7O3=#3Tk~sf$^Ei1skcb#lrqDp1okY#a@Ypq|D<2+py6mg~C~? zaGuyb!mRitp7&o~?(52joyJig(!4gxxSfCQ!e?Q^WYPLCtUjN;sgPqV=m@TnSp7A2 zullVu(Q=Vh#_O(_B)j+dcK4coF{UmQ3Ogz4dMloUx$fk0GGJA$$>})eINzmMnqB_Z+c5eX6q~ z7IGyu)`-y;tSzFB8L$`Df0eQ!%x}TXWMLvo2^4-#%{45d#~``-Jvp(!&dCyH^#Zo? zBY|<-C*$M*!9bi2NYJu#%Oi9P%=J#z65MlmenxN;eU@F85hH~`3>_scZUuvZwvz~8 zBl)mUeJc)dnrLZX>`?v8hoE_HZ5$23@z5kub``om#9G-fOb~>BFeD-9I~+7r`Y{&P z64LT+;k&MnV1Lky{E9`9lVK7~?bEj!A1hB~M-J)Zg%x;dH@8%E^KlK|o&o+ivzo!Q zhFy;<-}VmC<`#D0R{V2{-*E8C%rz~2bWwLmxDtoa*Y*MTxF4nAF1hBK;&dOfaLh~R zkbSj*$X(~e1851Xg#-4^*cp;$oZL@~V{7wR;PDeb4LElNy(m*^DEIHdomxs7+?08F zGL_)Xy2MY!b@(l>L|Hfu6ydrWeM)MbZ@4+b6yafy5rz<>f4gds@2#r5Spvs={*E*0 zhsQ9&i#naFo8G(W9Bu&oi{)(jW<>IaAJZaxiRQ0>-22L!GYa>ZK#8pF>*9?^gKz#J z{Xcjuu4@{iR@o$^bxZ*qln%iK;HKi8s-W*|J-fR;v+WCwOFnM4GpC$uc1I~fcoT^`s7Gh*u$c8-L~ls9*TjT^@RhVot!tt`1A#tH8TUbjtG}qZz50e@QWpt`D?O zDZPmOizmG9#R?sUW5J-k*9Lu;s^`XOum!FJK|%DCbP3CKo1?GWocnO_*+1GGNr75w z#=q8~baBzMX#ebQRl+iu9>L`~-G2`aO@Oa>7Mqra|0>qQ?~GtS5n2<198blWuJq4i zHh*U@|DzVZyPy`vM%a@=KO$zKhc0=uMEgtp*Dhe-sI}<6YrsYtdu<_1IIJIAvqZdz$q-{H$a|jG41T`bHG;w z;Re3St^tVP=j#mEOpmu%kdYZ@rf=zF{Vm+Q3)R3`Ef=83%LmP@x6`G(SOtd=Mn{x5 zr`_z4irfic(MMv4UL1_pfHBM;5MI)N$PYE#+0kpy=5~4ajcm z$I9_%%t|-{${|fhKfJiz=1iV+SB*;Hi^PNTG=kl#2JOIa3c`T40sFR^g0Tzqc&8J8 zbn3-W`mvmLDIe+AYPMC-ZFz83>)q9?=jz96l(zj8C~xe|RK_9PK(AaA6lOSQ`+%hs zE4gW$-4vXrwLH*5^LB3q2avAixCKC)nV$~ryehj+^6bFrpqt!2hnRW}*tkI`_*JBZ zd$X01nqh-qSHTP_^M2wAnjbUS*^k8#yx#2c$RR>f6>#7L$Vti%fbg(R#0CJiH@Ta= zG@+)()03L%03wiu6}USctxwe;RwwFO7s-J3y427fC^p@cHY@i8!I^^*AQc7*t*ycD zG}w8;(9W-6FLhiak`)+Jq+uU95g4-mAVr6W^M+x_-arjb{;g8y!$vJ&Q+Z>Z69($F zn1ygxTH0uss1W==#JzP?RcqTmDu@CSE<#CxMGAsQh;)ZEiXtT`APNZ5Nav!JMp9Hz zx|EP+Nl8gaC{ofW-F5Ei-tYIlzu!6kpD`GFti5C{=6vS!+<9HsP0SAQIgN`{j|MtB z!v{w{e-Fq|pPN+C*`Mt`cD<0s$0gv4NOQvsIxKGvXlq)N_4_3V#Eec~Hb|9Cx4!Js!7j_Qn$intQU1EJ7wiEmg18$q1$f{(Qq1)nBqqz?ki z6Xoo~tBlUB_c^VfcLc}SS;{sN?|*V-zezxp(MYnG-^@gV5v27OId=*8 zzK5|cIIw=q+Dic!FY(I4kdPQ5maWpz$l;P8_lWAeg^^X8*4^2O0dIP6BlE*(5vpH* zr!4QACy-=I99aw~%fvKVwF(_0g)cR)7P>~P%+<+&X@2s9sy!a-IsQot5A67Cud5?4zK9k8 z-=+awIfIvu-6G#AA)XFh#D z8O=uZSMSsitis`bB0AxFx(`}h@kn~=v^yD+0~l*|hZVix&0+KCw|=MbgS7&BpU%Gu z$sW`(-~ouSE4sTL=y}!%cv(|&@4-v6FwQ<1{7Z4)z@+Tfe_iuYSn9LsO5ntn&w72h z`x?RV%$q-HCx3`Aj4wsq+Lu9RJJu+exI-PWAHm)s#38p)Jw z7j;ei1Oefu6g;!fk>ME=OiUBQ4j8cVURk2IKzOVeCvCc5CVEon{_zQN>{E6M#6BqA zoIGZ5|Mg-4!xD89aTcuK0cg;7OX*U49ngDsJx8r`-X3j#FY0nd${%SO5Uk1@D^&uV zp%2i{)H<<;nz~PFxBB48Fl2l=iNVZgNFrC>Gsb`A$1>hi4x~5x(pNhDhtA#t*(||b z??(gM2xRMCQO&x_z%{9oNB%FjkGLMZdgcE(?fMFW0^~}$v!nXWvqIR&W8v-JE^MiY z`v=H#?*a_NVzn(`voc*F{}C)m^pYyihda)YyMLVCf>`n%fG(cJpLzLc?K4#of&p|H znwFE=kLBPU1Se)>3(kDa>r2+%nptIy>p&8?2P_iffU|4Fw?IG?Ou~)eCMblhxyjdO0su41!&y6g|B=#Nk5x}L6vDen!>j0Rm+}SkV zG&is*Q4oxKylHNg>Y!-I_@rhn7xJ?_1dBB-dLl>cm2&FjgoeXe$i?GmYv{E@l=i{4 z#K-MOwgzn#sQ32b{XG>FlxD$}T};XC{eXee=X+&_>S7X;>WXM1?h`?bE;R;y`C6Ni zY0w4cOE21{!I|Z;XLzo2N$o|LLyxEsWkqo0;G2!2sQ4+xgXGW(b`LnZGEcIj8KKbj z0UqC9d^BbaQb8r`>`w{~-ut;ah7O-A>#*dicMznIAqUS;hTBvqYVl?U4|5)n_%0VZ zcJ)?(x!nAHVD&pC+E+EUH2?8)X#teI_3i0D{;ILTmT3wx*Dm!0%$7r25c@Ps++IWP zp|U#@!_tYeGlV8N2#M8#j6H#_L~sGP1*GFRd&Y*x|H3=d4k zKsZEddNt9@YdEo==QaUI7ARos*;Xum-5~Shk>n%;8^eA zA_7>hOnHwI5PU3883p%o^*6N77oe~~z{rQs=xHx2Fa6H+`4P~$v0FeU5%9z!NdqAx z?wc9WV{@19wiO6W>+^&skTwaeB6rVDc=!;3b^jez;qnZ;$iZ=+=>F6FXZu$VpM8BY zbns{28CwzMB{n32dLa7g=RTf6MG!csXHRTL=E1NDcvKqX;swKH2~ft|a*;)6KQ1S( z8*!nuss-Yyt^R`-3QaHH5@SnZOuzTpcr(a$0;TVwn0ee1@x;hJ{FXRdm$zA;V82?w zvmcMQ0yx|!_EL}2Wz|k9CkZ&&;_7NWXPqAu4Q;G@jU$HC^-uiu-*kv|Z}BQkI07FJ zo}pA$Z783{Br)d|H;>7lnirE%efRaLfudM}1$Wwx*xTtCmztl>3k9z5{ab&mee7O< z->f_MSX+^-c|bn zd;~rTUyFfkj!Xr${&D6jm;G)jg0GExb$!}f1wNng(=BDp6EBzzD-QS}YaqOwpL4&j zcUjOl{AHQq>X+~La-eyA12Gt;gMM51ercChqnk8PYMB;esXN8IgJGdp#)~qJmaP^_ zzg&G>@r79RQ|iIU#k#IF6We|(=OJuVRL)F9PA0!r zS!@G_oH_xu0bt=A0E54^oqI{f)9iGjbSgXv0C0~%QlSw~;}Jq;(mSwNxPVLGp=R`H zv~E9;LgOYtQMJF5vee#wmweNNl1w_V@kIOH_j?HT*E&{Rh!Aanwxk@xD~oS<$m|O- zo-*1}aO_mLtq3eAkE^P!mN8pzGD^+>_Ir&W5R`_Kg9+1gXjyzhqyPf$G;mAlb6{3F zUH;DZC-uW5H@`Xa*D;de>NZWNh7c~Cp)!1qcq4n0&Z;TAWWwLToTa?Tmnv{GQ;%@f zYqo)KXCWtp;Zx39`iel2r%wgQIh2FF3RH*~pR=ru{iccw2}MbNrc402ch;gzc#&3#IAqWKC;lJ{f(vP8+|Z)!%o=vjW5?1 z{WgeAI3O%d>inBgcB%NT{6-`m;+}WywX>&it6yux^Ug@wn$_bajKK3NY|(&TCeGlS zqnEJ%>+6n$>XHeZ01ni;zFCvJ_wShNN+-q%`MR;=qA_x$hK@ddP**e2l_l1sC8<@-EK}xVYpZq@N%?+4 zwt6so<5fJtu9w~0Pu2#ky zTya66nAJ=s@(i5|U&*~?l1TrSt6YzkTgZDgmAUy!%tC)_qk1o!F|%fV^)(AW^Vp^& z>+7)j%J0LWCr4$oVy;OBmVas;=YG2HY@~9|E$^p@SgmZNe;7(r>$-NF-Pk^9ovDL}BBmhOYkNfX&yWV$LlQrP9MLFp$sHkI zg{sToiBjMkWr+0`y{!(D{!VuJy3687nUx3ld4v?Uctmfmdxi|p~8Nv_ztB-*k?KM_eS(znon_VvmCKkYPr~?B+J)qO17FfS; z5pLre_Fg{S#Mi`g1V|+P-k`$Hdi_`X0(fjL-A|@xnok}h%!kK?Rh9@K--1RP$C&N? zRUEsfV%pSerm~3tr#sBp(}cKn_WhIbx&Rm2c)_ocbi|El=Mz}gYBUOuJ+|O2OD;iH|&eq- z+PE$c+$AC3;7mcEeC93ONRY8Ojl{nC0RHi`zk<%b704rcsvZ~;96a@h>jEU~9-H%% z8>wWq#R+6f7twd$uoDEL%3x1`6|8PQL%r?L-x0ZpA!F%7htN;y=r3!d{PfvTvYn7| z_CXot>%>Xt$qr<%$^mCdo`zEshJQFz&9!6JVgR!V5*|kSfMo51pcrO zXQ+ahLgqf+OLDVxc$$bEX;XO}>74-Fmm6CP{Z{Pg;2hB&sS{7cX=1A*b%&k_5qSKl zF_XFGeYkt}Mj-*8E(#%4+mW%LvwxoOd>HqZm(ONf26lw?;=p^7^URqnW6P{SgMPp9~cW4V6 zDT-G zmacPQBWMKJkwD})BN3&2P@nVYGVTmY8e_W5iq58g6m|tSlHxgJpLCbV{Bp^kqqHS{ zkelVUR{vCuL20j?_!bU&6Y||(+PU*sK9e4o+^pl(+e+qMad@a*0=J3D-kpP2cN>?3 zZerduEP3!M%c|9$oUYb6V8c2UjB6K=`8_3o1rAA=3X|S|BPQ5$lTSXA3trthQ$__3 z!6SdEmX(li>-hY<{_jLo{|9f)4~lplXePKieYmq=n^#1$_FDvyebgQ(9JSBZ5*6FIN^`-M#h<{r|^J*`A!= zg(3>kmoGj1U${eg81+3;1BzS4(nuxN9WE&CQ00Zpjfr=;N<)D+34f0v9nL0foi(LRhsd9g|x+=n>8igWQ z9~7|e7Z-C@NN!z(XHk1J^{9y8kP-gsNvmvzd?pWU0BfSK4mrG0U-;8PzQax2a8IbX ztPjYg=&)=OC)r_Lkd)w+Tu3&Q^tgG78*mrk?5M&aR5`DC34-x` z3pKI7J&vI1{v1tBg#0rVoMqLM{K;Mah=qI^9Tg^hj~({Ym6Pg621>At z`pE|FW)s9Q!FzadE~9Md?6d~1@5ykT$%M)ZVklD+_YTgSH;90Z^U6;N(@TzR=#V$S z+8LILT|*+1U=q4novZY%%(K9qS}mt%6mzjb)MIW}*o}D_pBx{J`LkyWk}17%KpwHx zYZm6-LAaKM#ropWd$#aiuDan&s5A?5AaJuUxu{~S@!xfnvcj6NmBiJ?aw^zhu7Qy% zCE|S0WQC=Xr^;rJq!;NcFa!>n2Jh)tv*7!lehr$Y;LuPzjZeC{pdxSbs1G;`SHh`t z1`opnlV)i+g9)5~wPIGi$eZWlObOq8Nx^6)OqvW{DM*j59cXM zuIV%ISbd0b{i{8tYaZzY48`oX3HlvDlz|D53XVlf9j-PblpQrCMlUCQ>$maeTB}|# z9U)F70g`klpuSZX(dc2zmvdgA`uR1&*l_Q^fX7_8o0qG8Ng1}cQs2E1=I1O-XmBdy6dN?X-zy0BsJ`*_7TJ6Utg+LK@jcrm0$2-C|LP7( zKXQ04&bLqF6Kq2YT?;V^_-z5S^&lztJp$eOUs6ihdtQ4z4ymr&HxeWnH8ZSW_gGr8 zkFwxyA?Bp^u{Lle+LDe{ke{_F|Yc z9az@>;A`>m1k~`i_USOvk%%>`Wt5dw+X8Q*jK%_bSvZpJ#??vrgarY$kVdY63qHD^ zL);J^N$vFQgU5(_pgr-sBSH2MdU|G~WQC=Ls_uEr(;uvG?kZI@v>fX@BnC^kc+wEFRJR z`%SV=le1gEXi8qBK{+#KKv0I z1YvNvXyfiGN|3>On)M$?_4}c&yuZ0Ho#);Oq1~B~7zk4|kpezK<{&zFREM^0AJ}QbXJOWUH!*P1n%(Bw?K5166z?<`;n=wIJXBPsiG4Dt6jdkN>msA z7Qm5=ic>p#*GUvhlRe7!!ESlD1d%{mbJLGh@u4Q0*N1DM7W0BanLuP37&4KSo+cWP zp+{BvEV#er;MpG7-z{X;62j5L#zp2&;gw?EQ>T%K`4SB9!CM1s(M8!q63D9~W9d_) zNw88vXLFb3GjHP}(t4thmGwizR>!T+S3onJ|9CyIen5Ler7__qzPWC*_!F}J0)qY0^sD(ZlWy57=!gW?Zb>%8H=>>~Y^;`BKwQYw>7SNwq$)Oucjn?vC{5j4 z?)yZ5k)~qKEYYUg=NpWBi9AYn@3VJh@s6c%M60HJg`ZOqg+(ttv%tev^V_NXy$#G& zn?2OgotnAmg);c~5EFcSX!p`!*eLRGA#eOaSv-gm|L>nnQsf*3FzTsO!WI3$e%_J5 zwtO`0s>SnvfAH^DEg}v@boa%e{Qt*iQGWl|pUw=!vlpf&RkBL46%xS~GC#ZU_sZcJ zz|WQja~r!^dSYlx|p8GQ~NMxTD+@iGoM@y-38 z1%wyUKx{TsG5f0V&z_88_wDsP(+MT}xT{d;-vqrfk9Zeo2nt$uCb5I?BsuK-H2K2| zI=bll4xcaBU2o#Udx@3{enUvX{-*xu_Y*`rWTUhgGbt>qRuInDIM?HI>{vbFPh=Qj zIu2#r7=ZtIJgGPO?;Z6h8kS@9K>ZHOKUZ-=E{$nCXW92g83`zyiJl|no33+wZ&=h) zgm``fe-0^uD4VxNIfs*RD z)dPxrRmIpjXb-4h-Y*!d$5Z@g&%bj;EbtLy=C-RcuK0zX5PhH0jG{craOreu;nAa3 zspA)j#M<9HdNwerm~s!~v(hyrwg#LaD$9Y~?-L_+;JNHS*LVoSlcYcsZUMTc>WJ70 zv*cU{n3H(ml|9JlmN&ZOa9mz)7)ZU?I#2+So@6cXJ;}}1eVDv1{^x2?ezeHeKI=ny z_x%P10s2iUU8PE&llSdMeguN*Oo2&AebW}~ab4dnBMjOZ8=5+0h%idW_!R_Qr_L zZuDCHmk9vN2C-an=r%?=kH9`Q_PoRC*ztRdj*|CP`vnuuYbaF_M$k3>8T&+K_eSOI zS4pyWcX82Y1=+Fog}-{z9^x-F-C6-=?Bq8=fakpyJ4u83#26>94&UzWy%}Dgh5k5{ znqma?J|F##>fal9cMF#(Fbla zP7yM9Q;BpjU@orwISH~B6P~q*M+f3{U*I-FL=N`%{6CN!?A9TBD!vxWy~kgkRAxi0!>8^5uBHTxWdOHSMlndbN z?Z^35xl00v$QVVq-PP$AJ7OmD*%iE(Uw6~lRlX{d-$X}4xut7EdVUn@=<1h+!oDJc!eScFMKv_-+Xc@?*Swc&GG zN+Wd1KOboz%9Ykouh9gHt?~NC<*#UaN06wa+Uptu_`-`Q@%1*W_OqzOe!W}AP+NF$ z6{zy{Us)vb8YiAp&b^tL9a3Rcf$wDRO+`Vk51N3VqT>!5F8KLbDkW^(HXv$z@ zY$nAgBvQ9pa+Q}q0oW0#N_x648y_v+i%kC{7~%Pj@%V9ZW@8Vr+al43y1(5w?jPIdbP=@wKHD49!_6B$= z$rvYt*qTltV%hzG*;KmZd`BMDfUVV5Ps1kjkr=XK?iem5UNN?4u zyceLP*19dh8>mD7@2#t#ljJ$(-edy%KPVMFtUWOiSs*2rA`qurEU*)ib=dm-{e}b_ zkE@FOwpLTvP!eu4v%N>$QqXbrVti-%zA0A@gHk8tOMPsEbo9iIydZt~fxc#~%LUUq zq%;!^pDNQzdDpB!tE@QuLV1vAe>%jNy!U}q`G+!T3Gd=n=oFheG+jS!Itxz0aWaVW z4l!$0ckvV8g*r}7@6BasLiaB?{8s9;J36>#*j_gxGvGW;egMk9%?Bz&=^vq1_y;ff zy`E<wvp!$WqX;8Ug2P2+)b-(2P6?b^C;{Y zMt-~{wVyND9Fl`n)(-eywg|fqyt`$T^Jw68knn|qbb?{!Ob8izRd8Ki^b9X^I(&o{ zyOm2o?1*4Mr;eL7zZHcM|EKpIoidjtoGmr60!!~CNLo8czP-14Q^qly?97#(F{bM- z^o=k+C2cBPI)q|Es>@Q_yA+C5f@L^1A0hU4tKHR1dG}%@F0~WuX9F=$k76Wke6q#O z7QVh@>6qk)&jA)^d7S2z>S#$AlYDcbRc&+iaOwvix@qG9$C~Py?bwh|RB|X~vfif$ z?D`Mb?@)HQgF5e3P;c+$~_;Te=@=}a?N{7v7 zPOAr+rvxZ+4m}huEiaf@YU0&KxllX@Sd>?gXiNo9`0u@@w0(L=R*wzDK|^i?QQS&? zd*AY#bdX?>|JFZ|UqjIc!;r2lzJt%a-Y*=|5broo=XKHiGa?~UwlJLxNQTa2&yR2% zEOXLa^ta(#L}dDgJRaspebpQ}9c|Ojme^@iU04yh-P?MHMeD}?{b%+uBh4f$N*i7l z=FUZmV|Nt2D5THafq?cQo8SDyPFl9I1=Pq2NIiFE%edkHxbw|P)&>w#?{X%y!=wDA z)4PH$Cu*>Y(%PvlJgnrLp6yN#d?v)xUR1U2WQdom?t8*xz=;k%5p80_?TQ8&=+1o2 zQYaq{_i%P!=_V{Y)t&&MrwuevJ3IGT1sJa->!n(x=FQ5nm*qT9-n+AIiB_{G{@R#t z;c5IHhxXtdh5y;p4+HOQoSr^y8&z^kQZ`b3niIqGw}7KuOG7yt*XZA7dQmKS&wS1E zeTd%c2L$rVau4~!8Kb|PlElWC$muOlQwMy3wXfB3jT&*fLY0d0?96RhQq+&Sm7s31 zDa0h5tPq_;g8q`Qx&4%^+UBLXWw-B<@B)OBlg@|0K)!#uM`~W-pEwxDudm-^I135(&hl)X5{Sw*i&Sd@UoY3U%b@OWO6nnLMQ z7g^mYy{=O(*N8(Nt!7qqL+WR3wd3Xj#l=15355W=gs^bSWm2zC& z>C-l_WN&jO*<-q^+5AeGy|8mF9og~^kO=OG@Wzc$aguu|zit(#vznh}Ba+>%KGJ_M zXk3*iyLI|8Ww)O&@69iJ4Y3LaBHRXmkq}71{grTec3>30dbxsA($3VZ&dAV4I#mw} z?xo7H>>@(z?f4xgr`(%KZd5)Duy<_0!FQwVV1FL$HY?D9|AT;4=zd4ELsaa~Y?ZwR zN*uhkxQ63*J~b(tiNxWwc#H;*zAvd5M&UDZ-$A{;+?ud6Tb$VQfeo8kyy?d_#hY+L z_xJDsOGP>hkN%=iupdniAArKzJ>pjCB@>+pRZ(S4d5?q-Bb^pr?Auou2c_;ju0UUh@s?S)s@}SoYJStJu0QK3Hyj&P4odU;9ST^^>pKJKVV}&6m&$+KII|*5 z+FWI4ZvBp7?VFO5knh)zcniezfc+0bE6w zPUen}4i2~^YdyA9*hMSrDN>H->eLG>r_SxzHl2tcFF6!WV87wv?_@m4o@mFTaTWTK z>U@}n%7~8?#urJvsZ@o1ojSGg^(@w#K4)0yZfnmDlstbPRXryizj8~+TgU#Q&FR$# zv$O5l`>YAE6*8~H&RX7OP2HT5Pn;>YH8EH%Be%`@lbGH9pbRw@AJ1 zE7>QegDtAwbL>r4gsljzs%^)8mpyGKa=s3m|`neKT1!~6L^ufrb;cMt#e^Eb``AB1mJx-0w)sw=fm8Z;9L zsefAa8qb^_@)0T=e2cp`bAa`v?<32q?_`{IRE?fa?8PJ58Ei?SVC4QPHM5cJ^Ol$0 zSZC|O71FNw)#MLImv$?i*+9UPV-nh?*Xp_(|+HCF&%tcoY>Lx9F!dv0#QM?YA4N9;<}NI#FOeI!ceaLO^n zG0HKJM8O4G$o`uB!re*e@xdI82t*oryz%a`c>#)d#v1o=*9-7zH36o?WAw&}y%&Xe%H-kZ3 zczUTaw}bbXR-a}`)ZpXmPVFX@FMlE86DIn|QAx6x)FYRn@V5q{LNVc?F;0f-T{lkP zkn&j6|IC%I=yZyZ5;k)YhIO^(~XQxr&||{ z=TGY@$2K_E3CoKvs?oN@{ql=-q3;lAd22W|vU%4P)sy4`s1zRIOb#CR*p~d-+WP~s zl7u-}q5GA+=d~r>6{@f$oJBwD`-fhHsB^3f{!*^-Y^#XoyY@TaGjf&7Bd6z* zM#FLEIoLcG$cu?SrG%Slh3%ouu{rWjn0uck$a<-Cwz<~*17&0$ZFIn^t;=-ekl zu6XQ5DJh2-zy-WsD)gjFlp%R!+1*6`PkLXVjl!K#Cw(dDDVg?_{0-jZ43{wJ0*VPk zlkoS-Lc5NRX5AvGh60h86R~5}Ya+9rj~5TE!?#B>N7C?&-6n%1Z9}S#KX$}eU78bH zvDx*U`jH)FX*;F;c36`kbw!9^)mmmZ8*P%sfFA7@WTsQ|U=SYr(3r1;W}I5JlZ_X1 z57bms&mx{OJEtLHNO3uKAx!vUYqFbnb26*;6~bFC@Q;ydXIOqM&5La^BS{K#FDp*r z`-t(Z@oO*MHV&|oQ-nPJNXSRBf3|RDSJ(7WuAY+R_BH13fWkQxwYze(x2eCKJfC4( zIT=i&?MkyV`D_+Ct2>qS6@y8hGKAUlQxDSiQS)-ltI6eRp`Z`@x<)+vB&MRk<=42a zMO~+kbVp&;ENxMEsO(Rr$r`VM58pbzflBrGaM-_f}pSKNp2e!%@5Q zwESgvz{~Q|Y0Ns9*qrC8?ZR4cl@|P%^LDmx$#^mjK#pb7d|8pgc`R8txJDa^4H2Ya_jz8JJ0d$3;Q7TJ*6jquKON@sve>N&! zG-NdQC^f`Jcy`uM?l99vHcmB7q?JsW#-1X?G3|(e#^I{cm?|OPSJLjsI^0>@XR(v? zH##QL_I7HY?QB0?mnHVUcEwp+Jv z!YuI(d14*#hzm#ZcUwE0-*`c;Jw`=jhVO-wcLkBzX-_b)6QLTR@hRm?V7+>Nc7OZ# zQe7_)@Kjx~Q4}8gq0}sj^|AHG{ftb1pm;9&=M=+>(`)mt^#^HlN;CtF+5Oc5rg-Fa zWf^CfZALXMwI6y-zhXU4=s*qB)TM)Fy!~e5qajXDqk){FEQxZW)(y<9f#~@C3F$Pw zAp4dGnm;y-^@13=h>*37vtK~4{@Fq3CxG(ppT51@Cn>b6g7L%179cH#EA@ekU#$u4 z9dZOF+ogXj7w?n#krv#+&~c~eOlnfO>33@r2h!lSZuqUlHJ`iY)a%5b-zRIOnn^!} zlne?tV>9;pFN=>|?dHv>fMOI61?EKZ3T3iLxmc?L2EAJEGorI*I?>A1tCmfqNo_tc z$Y2{@<38Hf6M)zb@ z{`nG-s;)AD!PJbLlk$C|bl1k?~>Tv+U0?*kWAIo)GUk2x?$9^IPPr z2EO|f#J}Tm&Yq`X@5I{So z=eKSnZNY)I^RFH`8R0sa0Z-}V>d#x;0Nxz|D#0(3Fw(+G=VhyDWtjCxifQ(dUk=S)y%v%%>BlebpF&R znKs9J{L{ASab_;vDjIaQ<$qtC>dPpcJ1c4{5a5JTM52u zYNiMkXgyhHdd|Cs@<@85kT(BiUTj);rtgHM#Y9=|5-OUORujrz)>Nck$*m`)$vPD4&a(n@V%o{}18vuRg<=@K&H%He>rdT*9n}MqhFG=P zz75tm-&0tVO|FzItS^ns+2A)ESDh8+&!I0@3KWD@?cY+GGAp(FlIu~oC%R8s`%lp> zjukaDh%&1TW_c$-`au8d$zjh)r3EW4u^EoP@-eLeH`c@}@-n$!CHgjY?k3|njndO2 z%SF*6(j)xyX9%#90!J5zJhRzM-;=i<2GsUO4d3j)jb_iT>N{b=K2PwDJPyU@7zi<+ zlnUl&M%^%GKd`=Xz|s(6T_esd{Ua*_tE6!)Y?s{3Kk4UVKi`C+kGJyt3GS#gh@QoE zKG3Z93e{b@8RLA-dbrrMj`ixeNVgdJ=blZPO)2Na_D-%?kqI?~v|Va_Aw6pPv!6v_ z7nNdZ6yFF1nQ_xMQFKo%f4<||TU))CJ?YO6O3Q>oDuwC1sQfe(d`~I~@#?q*E<|s% zpVezWYtWuLykD9m)V48meVTr{l7v5&1UvencA)iaO#9i_MoJ0$f?t~xUsU9z)zw^{ zyZ+?~`8&oT5(7fcky9o1$ED-kBQb<`5=_{@WOIUdQX@RPBPlyexr z91Wy0Zc4WhQx{yDDYbPbuu?SIesj&itGF?DXb3wYe<{?wDV|sL+zs5BkvO(!r7{0c z5+!OvV;zYT+ZYeBzfG8j38%c0Lvey;^3;hn+1of$))%~}hJ3b@sVC`ZTDFpU-n=bB zL^xyB_10%n7w8sFv)HFaHCPpHv8%CeoXiY4?xWVPHGWQv`)IAz&V84BWuS+Fi~U*K zWQJ|-^F+C{seR3#d;GiIrNfq{3wtRRmZk4YjZSXL)p>q=zuT@ux@pcXxu=^f*(RUy zAmL4@*R|ro)KsE{_21D?UrSAi9Tln@sLUD;w-WxcI{&1G*D|6@cbMTe>qg4-(bc`L z`1}dkKR=3U^Q*3({ry_~9JAJS+-)Ttq__I~)H!j@Wsr{HDA1&7_%4pKRePtn`}1AT zP8oNPZf&w`!qq!WCwRW)ST@Fw01h6zRB2k>Zm5U5CKBvSqNy#c=$%xkD8g`ym$^5T zaFucH@bb^yXbLx8$rjhXyDat$EmdJ3h)AFC;pdP>riB=asSJvY-pTzL*W9w#9jl^N zY|gminPZsFPo7hGM3(r}VOW&`8-DcJ;zmo_?*F)?24?}O>zq%HWa?!y8m?Eomppxi zrp1+AahI|`$vdU!%tAYU2Dh%B*;<>EQT~ULI@6Iysr9j~F(TpAiy?Pezs2ZcC-5@X z2|jztEt~uNWIlUhvB?RTlJ&Qek$Tt$yn4ZiSIIg)P)vBX-?C5B5qP0{26#%^6_l;| zsn*rI!;PGhQJ(5f4jlWX7>87k_qTB0`TotIP?-WI)7kjO=bau2>oseO`$gf;Re`c7 z;~0)*l8<6eV6nfwY)(k?$D7TOlzCYbzOf5uzlzKSQ6HM3gjTJ{ak}t~apTnBl|av`lA;o)&km}e zIc(pT!k}qh)qgY4!0`+EcUIAKB$AH}>LP$dDt zpmwuVRIbiUC-TRdga@UqP z>455AwAkSc=UI&}S>|3qE;;Au+Evq^;n~l}(mN6BPkMpliSYU_WgNdl1l;^TKcZ2m zm~qXeJQMl0r(fv-8<8l52=F}A*D_7W0vvyOV)%9Q{rEWRT2Ufx8GM{G<|3iz+Mo4Z`NoWI6M<4^LP$BP*PL;7i~NBc-QRh&YxcdE+-vT z#}u`7dq{)pBBCDTeq^hkP{iKhJ*p&T+LTno2UAZ9ZAA+Wq6J#m<&TdQc$u{nkWvYO zfr2v+F4TH2Z@gPK+;qqaXSsHDQCxX~6DKXLOLNN&l}XVU7JT7(6J@N1fT*(0eKg58 zen8dv%DraEa%?1y6`VczoXGZIkV2k8e8T*$9BtsG)PR`aea?T85Pv)RPV_h}<`E}m zw4_a^wXF$w$jqqwO>N1)+!H8#5dYdUlei@Ykj8JKFLd2V=Jivj@31uYZ1ZkO)^+Gf z;%hEr@@dHyj$whKfa@VLP=O3VE=UI ziDANK!CCfnjNmfMr76Me4|#%owRJy!6pxt&drKmQ1jD4At>%D(w`46(A5~&D2dGF1qLw7gh25v2ch7~o zA`QsFc90THBB>aRDsHgcC*LD`s2yQI_GDF|SvNlZ`KkaQe1>*)_kd!>8{tm&G)sMe z2ItHbs+MB$fj7i;0ty*?LY*khq~Jgl#l@Mp3h2>1fLU*e2L98h@gGy^#F?pSNHph$ ztcm_^4okg2D$>p6JCM;!=@Xqvg`mmwueW!5oFRJ`=X<|$?6laG%p~Ed5#70j&T{@W zyE-G!4Ck|dcz%i+o!C)%@BFg66!t8r!twh(H`C9Q;$Nn}rf*uBPG12tX`(6D2P&m8 zHZNnI1zUZfbgZ7WW_-3>@?c6ci+E|+^ZEsfXD9hu{H}!P7{9k z9<)=XBb#)__uCV4HS*Kj7u_Q6(a4Psurso})S9|-@df@&%H?0yzx_-~7uMUe)!8;U zVs+D^J#I5xSxLsc=!}NwMB+HvQ@vA}y^xh6%ri*3rH0*OH_Q__hjr0D8A(37~Pp@@te;O0eQfGc^qMy9|io9s}lOnIg&+Lr_X$4AJhem>N+U4UW>0Y zG3>phm=<(d)@4*`9^{VhLs*!IIxRB!hy9t`LX8bqee_UQSj*D6Pt;#-?2>IN;Ef_^ zJ{R0Po28IbX@L^T5AD~4;(ykEk0o3gR&(F6APhK1^-O!Nc6uVKX9v^l9Z0zyt68U= z{o3@kz)YG3USqJd1oM5#`peoY|Kw`_{CAM0!7ak%_+B4U_*{wDVP0J&hB0w|4)?t~ zl~Qk>0CAGt;MTiqKOaQ24ac&*lEZ}VF5gf^8GFCPcfu>H(Ky=QQl+ykf5Cg*mPmPb z_eIGx%&C~hJ!?@ilIxNFGxczvzlVU1Kvd|0WJx|U{P54Xg!wa>Q!-5a#=Px1oKM$+ zEsEQR4liY|O}Bp14JekS<802ijnRAhsjb;{o8_>0K!4xU zAl~IE7GWNMOr_tWRJ;F)M`zy>^Jcx%<(4YBlPXez8*l@4`w_n8--{LZ=T43=e;QU2n z@wwzO$9Ajh&+zHuqC4W-6k*d!KchzH5?eoI5H$9=lVZO z)`m-8M=*wG0rv7=Pvswb@%O)q(y|f9Xa9X*y)t-V8KbvIB+`~L8Rb5Q{SQ=4Iv)8J z@`o4xB2JilxA9Q?VV{WuBN8w)1#J(s|AvPp#) z5Hj**W@o?H)&Y*>OgL>{S-I89&swXeheO}qk(r>36oF;Z5=l4r#jf;$RfeQjA8_K+ zbaTtfFv_-FihH5|dq4L$0N|B(()1_;xk4uy+!Eq>7&jare4g=-EU~IqsShCS)L9fG z>~Fn}OCn=#Bf0V8IpF8`sf?vJ0oahEE;Pb=1X9P2FW$ISb$-NR2;{~F+8%*=8^DC$5f&f#Jv zaNYyalRgSf@fX{WLV(%`?^|RPG&1j(+-wTJA26=}SqivyK*>);=dvTKBQ1fFZZkOm zoLM|V$rbe4ccQvmEHncDZVTBh?o8!kjM^%GGX&T<)4EBow3#5r2zWNZijXb?1XDaM=L(Ara0q# z&A}vBbQ74ap^o95PrOOU47UPcmohLC#Q`SM&BL<|>%=Y}j=FI(<%E9k!pht;`tV)P zIma3$`fW6J8LDG{IN;*YM()-;D3kXwd zw{8BKDL+~k-;4{{l#?qn$V4234*~Gihy#ztjyKPC{#?~z$}Nrr1{5;o&Kf8tnnXP1 zTC~?6#c7`5V#C6e_fDkBy#QQNjiTCZ{iga(1ftvR3mxU(1Fw~${i$Vtz(%`K3)mNp z&`Pg^ZD-XKgcc^T+He{Xq1YDR-vS0Xz~?sMOR@pj+0BYYptR{jFp!urJP+$LRRr#(1 z*rdvF42DU3%Mt7XJsNA6mFR?DFHE2~Y%)p_<&P{@#-bd9n%F47_xj;f&H0nco^!W> z!Mk;y*P93>?Q}&rpO6Je3pmYdJ)ycNicV#E4hS_7Yp8?Y#9T(EHIJF{;hx)LCN{N@ zOZ!V6LD(j6r2G1%AQ$Uigz-L?)f8mgUPU3+r1tl2uE=^DOKpMa89B*&fN;_W?G3~H zP;0g8s~dU$Cho`~>fIw4ZUB$=PlhJSgF|tTKV>u)nM^e@|MhhlqF&qC-fnaKO{b2= zx(fm{y7^+H{B0-ROB>J&>{hF6BNd+T?ZgImavPQ+qI}tv$RqckTatweI$WL)!{L)@oEwJ-OieSJ^CpN4TFU}@_M5wKEzvauXF>a?)FvJoE zFsXTQp;Pb4M=;;dJjC5n@5_#)TRm7uHN2U z=x+@o*}#b%$yK?^l%)N0`Aw|GQ@`1FucJCTAF&>c^mq%!q5@9&XZoA?RW=K`EDu8n zxOVzg6ZdUHdcLJNL=V={<&Dfc=}u{BnP1Ysl3`Qxm$|hgyzXU~VY$Bh%N;<|&#Dmw z5@34uW_^VPh^Ts&fPLQf7oL+zzu_F4EMWE|N8P6b_-HaxiV`*|cU&NcsYC_L3z#&V z8dvfwZ_c)NA45IrByU-gaUV#lfzdENmO{2)lB1~kn%tik`Twu2$4D5cNVEwYKN7AG!!q(7~nN6fi2D|J1^bYFm-0_ z%nN4hxs<-Rtz|$57yvrm^@)VFY+I74KcN|s4&RrnpYp?5>6L!TQ1eUiB&$=bI}xzB zhg0X@M@bahH8SIuJlI{GOctTqJ`_=uct>S+K1H3aqj*2GT00sUU2FguSFM+B1@s=6 zjv&b++5%2T8qv3_FOcz!^D|~7a*}w9MgQEvzxUw*PDH;)OXMG~=EUSzgK`8MRwcEm zxAu=1yzqEnXbmZx%jPk?UIypCnm|r8TkwLWx@-i~YSc~t8DeI6qlYqTrXJ+q*k_I3 z_U@z1lC}dUnjJP~rf}6TtS`r?$`Z?}6Y%XiqfJW4(d)BfvJoPGwyMn< zH>Md+hL7qdj4hGgxXovF&5KPWW<*n{V@s6Ts(Zi|F`6-Cz0D=!)<;(ig1q7k?@vlv1|?3`JBh3#kroT*zBu;&*uk>A$w5ZO{zf zHce>WC~xI}3tb3uYHdwfj)CDg)a}$M;$TF@$<$&xbnBl>{ddhDAzLX@i{{_0#Oik& z7O?qswB(|<)@pxg11{0-ofH^&))aIG8`Kh*lq8GYWX`^h$fI7JqJP?ku6v2fY7Hc$ zCkqxbw}D_{Mz(Zz1AjE^f^%)f`xBtQoX zV=fExDq{~ zsUGU{Uw==JW>1}FF4tnmRpIuFbTr0N<6T^=0~qeJ?=VzK+Y}d<*zfu|ETaJ006rY#kY82n{pY;F(`1O_=va0#gWc*t2~8+=TI*9ugd-Aobw?(e)8 zcy5kgzqbsmasUNv<2KMnv)oE8b4b%mOOQj6*?pJJ{~p!jz>69mE>#XuP}(3R;BBD~ znyj8-nEXfLw`X^QvsH`4v_<=XrOqFV;}K3(z*@0Duz97GPPi}dP?1diz6Q_shJ#u@ zQ`{Buw*k+WJGRzm!wg3irIxK-^&6+J_zyg7V?O94yEw7a*`Tw6v~HQC?pCac=11IM{boq^Fz+|1-?IR_PCMVq_8y{D7U=zAHho|NKkyFBr5+fq5(DwX1> z*`U*2QZ83c;-ADwRxxwimJ%cO z{h&R5=PtWUO3^k|EnYXbQQNMREOqV4bwbZ%QIl5NPA^pWTt~ zmK^4@){zA+sz2E>Ic2qrs&M)riKn0geor2mnes30kHq_D3oLGmEZG7YTfF_y$zb78 z^Uvjv|E%baJX{g0Isb9mQsL06NX^R*2WjBu&C6~IQ+vS`sKZx|8Ll1TWxzv=cN!#4 zQ`R$5SfnrublkVcvm@8OEAH8#sC6X$h{%zC;8o=}T}4@hX78Jv)A<_IAKc0D5xAR7 zE!t88)E&IJ%6Xpr`!vnTpfd|T0#C6D6VJ*KRTa0hXe%(P`SBrTnr>&6(i4TY3F|Fy zeBHCsrgSH8ZRR9P0l&cd&2gUK8$5x_`h}A?nkKAWGzGM*QoPXP`s(oYCJ6@`N`R|% zb{{awyR)O@YG`<6^qGwXM)mq9mszW_D9+A%Qgf#1_|aJci6`0}WOKMeHfj2tT&8Kc zyHi+Q?Q{3zHCr{ z0h?&gm^ezEa})}6?35?n0XB+TOA2d%HE@YxQ$@sLg$baQ;3vZzz06EcxC-ecRDFLp z7ud_&_yxGCszUC`-SzSNTLhB)N+$L=xwE?<>sQ($RBQ1Z>~n5Lx+j z>Sf>wLa&|9G4tCzNaCzK(w532X2xOu%v=pPQ00A&DUkKG{2I_LiTtlxj`C-Ev);?;w5NF5<{%%4*MNPgqnu7ob_xn6sx|`KL#)0{ z7F#XOl*BUI@^9&Dp-)F{sjzT;a>(dx&}d5K{rWJXu;cO1zr9zL<)?pg-l3@bbhBXl z_Z7@fXRVjgpT8@q(^=+H+kwgY)^^1*r=?Fh9$EDF;<1j!D7kJMa3A=xw-H+E5Et+% zOc2*x^kW(a=h90P?dDIj5Y+#6y!uVQ(dSHW+0*jj^*@^A~v(Z$5%k5SQoH`0o~OL9|Axy94diT$&};X8zHMJ;gdX2 z#)2eZ<){UmV?(wO!A9+zB3lb)uK?{B?z*VC5UD{58-)NmVG3x6OywStXr$2rq(#R#7hIIHw-JSfKC|oHl+4PAxC2yTT&ZMi70 literal 0 HcmV?d00001 From 00a94769b763b66611e93d5ff5b50606e313795a Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 11 Aug 2025 16:15:58 +0900 Subject: [PATCH 49/52] Refactor Information Theory chapter by removing redundant lines and improving formatting for clarity in sections on Markov processes and joint differential entropy. --- _posts/2025-08-04-02.Information-Theory.md | 19 ++++++------------- 1 file changed, 6 insertions(+), 13 deletions(-) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index ab3de70fc0..ba90d5df0d 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -797,11 +797,8 @@ $$ P_{X_i | X^{i-1}}(x_i \mid x^{i-1}) = P_{X_i | X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}), $$ - 이 성립하는 시퀀스는 k차 마르코프 과정(kth Order Markov Process)를 따른다. - - 즉, k차 마르코프 과정을 따르는 시퀀스에 대해서 $$ @@ -1158,12 +1155,10 @@ $\Delta$가 작아질수록 $H(X^\Delta)$는 더 커지는데, 이는 $\Delta$ ### 2.6.5 Joint Differential Entropy -## 6.5 Joint Differential Entropy - **Theorem 61 (Chain Rule of Differential Entropy).** $$ -h(X_1, X_2) = h(X_1) + h(X_2 \mid X_1) +h(X_1, X_2) = h(X_1) + h(X_2 \mid X_1) $$ 사실 discrete의 경우와 똑같다고 생각하면 된다. @@ -1174,15 +1169,15 @@ $( X_1, X_2, X_3, \ldots, X_n )$ 들을 $X$ 라고 정의하자. 그러면 우 예를 들어 $X_1$ 와 $X_2$ 가 연속적인 확률변수라면, $$ -h(X_1, X_2) = \mathbb{E} \left[ \log \frac{1}{f_{X_1,X_2}(X_1,X_2)} \right] +h(X_1, X_2) = \mathbb{E} \left[ \log \frac{1}{f_{X_1,X_2}(X_1,X_2)} \right] $$ $$ -= \mathbb{E} \left[ \log \frac{1}{f_{X_1}(X_1)} \right] + \mathbb{E} \left[ \log \frac{1}{f_{X_2 \mid X_1}(X_2 \mid X_1)} \right] += \mathbb{E} \left[ \log \frac{1}{f_{X_1}(X_1)} \right] + \mathbb{E} \left[ \log \frac{1}{f_{X_2 \mid X_1}(X_2 \mid X_1)} \right] $$ $$ -= h(X_1) + h(X_2 \mid X_1) += h(X_1) + h(X_2 \mid X_1) $$ 위와 같이 나타낼 수 있다. 이는 pmf(discrete)의 성질과 동일하다. 결합 확률은 주변확률과 조건부 확률의 곱으로 나타낼 수 있는데, pdf(continuous)에서도 동일하게 성립한다. @@ -1191,15 +1186,14 @@ $$ $X$ 와 $Y$ 가 독립이라는 것은 다음과 필요충분조건이다. $$ -I(X; Y) = 0 +I(X; Y) = 0 $$ - **Theorem 63 (Data Processing Inequality).** \( X - Y - Z \) 가 Markov chain을 형성한다면 $$ -I(Z; Y) \geq I(Z; X) +I(Z; Y) \geq I(Z; X) $$ **Proof** @@ -1223,7 +1217,6 @@ $$ 첫번째 등식은 Markov property $f(Z \mid Y) = f(Z \mid Y, X)$ 에서 나온다. - ### 2.6.6 Maximum Differential Entropy > **이산 변수에서 최대 엔트로피는 균등 분포에서 달성된다.** From 90ec8ef06c59355997b89f91e9bf1633a7c3a434 Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 11 Aug 2025 16:19:46 +0900 Subject: [PATCH 50/52] Add detailed explanations and mathematical formulations for 1st Order Markov Processes in the Information Theory chapter, enhancing clarity and understanding of transition probabilities and state distributions. --- _posts/2025-08-04-02.Information-Theory.md | 89 ++++++++++++++++++++++ 1 file changed, 89 insertions(+) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index ba90d5df0d..79cc3fdb10 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -789,6 +789,95 @@ i.i.d. ←────────────|─────────── ### 2.5.2 1st Order Markov Process +> **1차 마르코프 과정이란?** +> 확률 과정 $X$ = $\{X_1, X_2, \dots, X_n\}$이 있다고 할 때, +> $P(X_i \mid X_{i-1}, X_{i-2}, \dots, X_1) = P(X_i \mid X_{i-1})$를 만족하는 과정을 1차 마르코프 과정이라고 한다. + +$\therefore$ 현재 상태 $X_i$는 직전 상태 $X_{i-1}$에만 의존하고, 그 이전 상태들과는 무관하다. + +> 모든 가능한 sequence tuple들의 결합 확률 분포를 $P_{X^n}(x^n) = P_{X_1, \cdots, X_n}(x_1, \dots, x_n)$라고 할 때, 1차 마르코프 과정은 다음을 만족한다. +> +> $>P_{X^n}(x^n) = \prod_{i=1}^n P_{X_i \mid X_{i-1}}(x_i \mid x_{i-1})$ + +$$ +P(X_1, X_2, \dots, X_n) = P(X_1) \times P(X_2 \mid X_1) \times \cdots \times P(X_n \mid X_{n-1}) +$$ + +1차 마르코프 과정이므로, + +$$ +P(X_i \mid X_{i-1}, X_{i-2}, \dots, X_1) = P(X_i \mid X_{i-1}) +$$ + +위 식을 바꾸어 쓰면, + +$$ +P(X_1, X_2, \dots, X_n) = P(X_1) \prod_{i=2}^n P(X_i \mid X_{i-1}) +$$ + +상태 공간이 $\{1, \dots, n\}$이고 전이 확률이 동일하다고 가정하면, 전이 행렬 $P$를 정의할 수 있다. + +$$ +P_{u,v} = \Pr[X_i = u \mid X_{i-1} = v] +$$ + +그리고 $t$시점 상태 분포 벡터를 + +$$ +\pi_t = \begin{bmatrix} +\Pr[X_t = 1] \\ +\Pr[X_t = 2] \\ +\vdots \\ +\Pr[X_t = n] +\end{bmatrix} +$$ + +라고 하면, 각 상태 u에 대해 다음 식이 성립한다. + +$$ +\Pr[X_t = u] = \sum_{v=1}^n \Pr[X_t = u \mid X_{t-1} = v] \Pr[X_{t-1} = v] = \sum_{v=1}^n P_{u,v} \pi_{t-1,v} +$$ + +이를 벡터 형태로 변환하면 + +$$ +\pi_t = P \times \pi_{t-1} +$$ + +--- + +> **Exercise 43.** +> 이진확률과정 $X$를 고려해보자. 전이 확률이 다음과 같이 주어진다. + +$$ +P_{X_i \mid X_{i-1}}(0 \mid 1) = P_{X_i \mid X_{i-1}}(1 \mid 0) = \alpha < \frac{1}{2} +$$ + +$$ +P_{X_i \mid X_{i-1}}(1 \mid 0) = P_{X_i \mid X_{i-1}}(0 \mid 1) = 1 - \alpha +$$ + +이때, 전이 행렬 $P$는 다음과 같이 정의할 수 있다 + +$$ +P = \begin{bmatrix} +1 - \alpha & \alpha \\ +\alpha & 1 - \alpha +\end{bmatrix} \quad (115) +$$ + +초기 상태 분포를 다음과 같이 정의하면, + +$$ +\pi_0 = [1, 0] +$$ + +다음 단계 상태 분포 $\pi_1$은 다음과 같다. + +$$ +\pi_1 = [1 - \alpha, \alpha] +$$ + ### 2.5.3 kth Order Markov Process 확률 과정 X에 대해, From 6e53496af26e94444f38e557162b28ad78cc1ee7 Mon Sep 17 00:00:00 2001 From: jungin7612 Date: Mon, 11 Aug 2025 16:39:36 +0900 Subject: [PATCH 51/52] . --- .gitignore | 1 + 1 file changed, 1 insertion(+) diff --git a/.gitignore b/.gitignore index 15d2b30403..9c6c07002c 100644 --- a/.gitignore +++ b/.gitignore @@ -3,3 +3,4 @@ _draft/ .jekyll-cache/ .json .DS_Store + From 1672aec87f8c91fe9f1f46fd61ad43108cc15f59 Mon Sep 17 00:00:00 2001 From: rammma Date: Sat, 16 Aug 2025 00:01:22 +0900 Subject: [PATCH 52/52] 2.1 --- _posts/2025-08-04-02.Information-Theory.md | 174 ++++++++++++++++++++- 1 file changed, 169 insertions(+), 5 deletions(-) diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index e087aeb538..e73c73f44a 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -8,12 +8,176 @@ layout: post ## 2.1 Entropy -long contents ..... +> **놀람도 (Surprisal)** +> 어떤 사건이 발생했을 때 느끼는 놀라움의 정도. + +$$ +S(x) = -\log_2 p_X(x) +$$ + +- 사건이 드물수록 $p_X(x)$ 값이 작아져 놀람도가 커진다. +- 단위는 **bits** (밑이 2인 로그 사용). + +--- + +**Example 2** +$X$: 지진 발생 여부를 나타내는 indicator + +- $X = 1$: 큰 지진 발생 +- $X = 0$: 지진 아님 + +만약 $p_X(1)$이 매우 작다면, $X=1$은 매우 놀라운 사건이다. + +--- + +> **엔트로피 (Entropy)** +> 확률변수 $X$의 평균 놀람도 (기댓값) + +$$ +H(X) = E[-\log_2 p_X(X)] + = \sum_{x \in X} p_X(x) \log_2 \frac{1}{p_X(x)} +$$ + +--- + +**Example 4** +Binary random variable, $p(1) = 0.01$, $p(0) = 0.99$ + +$$ +H(X) = 0.01\log_2\frac{1}{0.01} + 0.99\log_2\frac{1}{0.99} +\approx 0.080793\ \text{bits} +$$ + +--- + +**Example 5** +Uniform distribution on a fair six-sided die $(p = 1/6)$ + +$$ +H(X) = \sum_{i=1}^{6} \frac{1}{6}\log_2\frac{1}{1/6} += \log_2 6 +\approx 2.584963\ \text{bits} +$$ + +--- + +**Example 6** +$X \sim \text{Bern}(1/2)$, $Y$ with $(0.99, 0.01)$ + +$$ +H(X) = -\frac12\log_2\frac12 - \frac12\log_2\frac12 = 1\ \text{bit} +$$ + +$$ +H(Y) = -0.99\log_2(0.99) - 0.01\log_2(0.01) \approx 0.080793\ \text{bits} +$$ + +$\Rightarrow\ H(X) > H(Y)$ + +--- + +**Example 7** (Guessing game) + +Q1: $P(\text{Yes}) = 1/2$, Q2: $P(\text{Yes}) = 1/4$ + +$$ +H(\text{Q1}) = -\frac12\log_2\frac12 - \frac12\log_2\frac12 = 1\ \text{bit} +$$ + +$$ +H(\text{Q2}) = -\frac14\log_2\frac14 - \frac34\log_2\frac34 += \frac14 \cdot 2 + \frac34\log_2\frac{4}{3} +\approx 0.811278\ \text{bits} +$$ + +$\Rightarrow\ \text{Q1 is more informative}$ + +--- + +**Example 8** + +$$ +D_1: \left(\frac19,\frac19,\frac19,\frac29,\frac29,\frac29\right), \quad +D_2: \left(\frac12,\frac14,\frac18,\frac{1}{16},\frac{1}{32},\frac{1}{32}\right) +$$ + +$$ +H(D_1) = 3\cdot\frac{1}{9}\log_2 9 + 3\cdot\frac{2}{9}\log_2\frac{9}{2} +\approx 2.503258\ \text{bits} +$$ + +$$ +H(D_2) = \frac12\cdot 1 + \frac14\cdot 2 + \frac18\cdot 3 + \frac{1}{16}\cdot 4 + 2\cdot\frac{1}{32}\cdot 5 += 1.9375\ \text{bits} +$$ + +$\Rightarrow\ H(D_1) > H(D_2)$ + +--- + +**Example 9** + +$$ +x_1: (0.6,0.1,0.1,0.1,0.1), \quad x_2: (0.4,0.4,0.2,0,0) +$$ + +$$ +H(x_1) = 0.6\log_2\frac{1}{0.6} + 4\cdot 0.1\log_2\frac{1}{0.1} +\approx 1.770951\ \text{bits} +$$ + +$$ +H(x_2) = 0.4\log_2\frac{1}{0.4} + 0.4\log_2\frac{1}{0.4} + 0.2\log_2\frac{1}{0.2} +\approx 1.521928\ \text{bits} +$$ + +$\Rightarrow\ H(x_1) > H(x_2)$ ( $x_1$ has more uncertainty ) + +--- + +**Example 10** + +$$ +S_1: (0.6,0.1,0.1,0.1,0.1), \quad +S_2: (0.4,0.4,0.2,0,0) +$$ + +$$ +H(S_1) = 0.6\log_2\frac{1}{0.6} + 4\cdot 0.1\log_2\frac{1}{0.1} +\approx 1.770951\ \text{bits} +$$ + +$$ +H(S_2) = 0.4\log_2\frac{1}{0.4} + 0.4\log_2\frac{1}{0.4} + 0.2\log_2\frac{1}{0.2} +\approx 1.521928\ \text{bits} +$$ + +$\Rightarrow\ H(S_1) > H(S_2)$ ( $S_1$ is more explorative ) + +--- + +**Example 11** + +Geometric distribution, $p = \frac12$, $x \ge 1$ +$p_X(x) = 2^{-x}$ + +$$ +H(X) = \sum_{x=1}^{\infty} 2^{-x} \log_2\frac{1}{2^{-x}} += \sum_{x=1}^{\infty} 2^{-x} \cdot x += \sum_{x=1}^{\infty} x\left(\frac12\right)^{x} +$$ + +$$ +G(r) = \sum_{x=1}^{\infty} x r^{x} = \frac{r}{(1-r)^2}, \quad |r|<1 +$$ + +$$ +H(X) = G\!\left(\frac12\right) += \frac{\frac12}{\left(1-\frac12\right)^2} += 2\ \text{bits} +$$ + -1. a -2. b -3. c -4. d ## 2.2 Properties of Entropy