본문 바로가기

전체 글

 (79)
[계산이론] Simplification of Context-Free Grammars and Normal Forms - 3 Review: Chomsky normal forms 강의 6-1에서 (CFG 간소화) 𝜆-생성 규칙은 𝑆가 null이 아닌 경우에만 제거할 수 있습니다. 여기서 목표는 문법에서 모든 𝜆-생성 규칙을 제거하는 것입니다. 𝑆에 𝜆-생성 규칙이 포함되어 있는 경우, 문법에서 𝜆-생성 규칙을 제거하는 것은 불가능합니다. 왜냐하면 𝑆 → 𝜆는 문법(생성 규칙)에 포함되어야 하기 때문입니다. 이를 제거하면 생성된 문법이 원래의 문법과 동등하지 않습니다. 강의 6-2에서 (CNF 단계 (1)) 𝑆가 nullable 인 경우에도 𝜆-생성 규칙을 제거해야 합니다. 여기서 목표는 CNF를 생성하는 것입니다. 𝑆가 nullable 한 경우? 먼저 이를 무시하고 모든 𝜆-생성 규칙을 제거합니다. 이는 CNF 변환 단계의 마지..
[인공지능] Decision Networks and Value of Information - 1 Outline 의사 결정 네트워크 기대 효용 최대 기대 효용 정보 가치 제목: 의사 결정 네트워크와 정보 가치 I. 의사 결정 네트워크 A. 기대 효용 - 기대 효용은 어떤 선택 또는 행동의 결과를 고려하여 예상되는 효용을 평가하는 과정입니다. 이것은 의사 결정을 내리는 데 중요한 개념 중 하나입니다. B. 최대 기대 효용 - 최대 기대 효용은 가능한 여러 선택 중에서 기대 효용이 최대인 선택을 찾는 것을 의미합니다. 이것은 최적의 결정을 내릴 때 사용되는 중요한 개념입니다. II. 정보 가치 - 정보 가치는 어떤 정보를 얻는 것이 의사 결정에 어떤 영향을 미칠 수 있는지를 나타내는 개념입니다. 정보를 효과적으로 활용하여 최상의 의사 결정을 내리는 데 도움이 됩니다. Decision Networks ME..
[계산이론] Simplification of Context-Free Grammars and Normal Forms - 2 Normal Form CFGs에 대해 정규 형식을 여러 가지로 설정할 수 있습니다. 두 가지 주요 정규 형식을 고려합니다. 콤스키 정규 형식 (CNF) 그라이바흐 정규 형식 (GNF) 컨텍스트-자유 문법 (Context-Free Grammar, CFG)은 프로그래밍 언어, 자연 언어 처리 및 다양한 컴퓨터 과학 응용 분야에서 사용되는 형식 문법의 일종입니다. 이러한 문법을 분석하고 이해하기 쉽도록 정규 형식으로 변환하는 것이 유용할 때가 있습니다. 이러한 정규 형식 중에서도 두 가지 주요한 형식인 "Chomsky Normal Form (CNF)"과 "Greibach Normal Form (GNF)"에 대해 간단히 설명하겠습니다. 콤스키 정규 형식 (CNF): CNF는 CFG의 한 형식으로, 모든 생성 규..
Bayesian Networks - 3 Rejection Sampling 조건부 확률을 추정하기 위한 사전 샘플링의 간단한 응용 예를 들어, 𝑃(𝐶|𝑟, 𝑤)=𝛼𝑃(𝐶, 𝑟, 𝑤)를 추정하고자 할 때 이러한 카운트를 위해서는 ¬𝑟 또는 ¬𝑤를 가진 샘플은 관련이 없습니다. 따라서 𝑟, 𝑤를 가진 샘플에서 𝐶의 결과를 세고, 나머지 샘플을 모두 버립니다. 이것이 바로 rejection sampling(거부 샘플링)이라고 불리며 이 방법은 조건부 확률에 대해 일관된 결과를 얻을 수 있습니다. 즉, 극한에서 정확한 결과를 얻을 수 있습니다. Rejection Sampling(거부 샘플링)은 조건부 확률을 추정하기 위한 간단한 샘플링 방법 중 하나입니다. 이 방법은 다음과 같이 동작합니다: 우리가 원하는 조건부 확률을 예를 들어 𝑃(𝐶|𝑟, 𝑤)=𝛼..
[인공지능] Bayesian Networks - 2 Variable Elimination: The Basic Ideas 가능한 한 안쪽으로 합을 이동합니다. 𝑃(𝐵| 𝑗, 𝑚)=𝛼∑2_(𝑒,𝑎)▒〖𝑃(𝐵)𝑃(𝑒)𝑃(𝑎|𝐵,𝑒)𝑃(𝑗|𝑎)𝑃(𝑚|𝑎)〗 =𝛼𝑃(𝐵)∑2_𝑒▒〖𝑃(𝑒)∑2_𝑎▒〖𝑃(𝑎|𝐵,𝑒)𝑃(𝑗|𝑎)𝑃(𝑚|𝑎)〗〗 내부에서부터 계산을 수행합니다. 즉, 먼저 𝑎에 대한 합을 계산하고, 그 다음에 𝑒에 대한 합을 계산합니다. 문제: 𝑃(𝑎|𝐵,𝑒)는 하나의 숫자가 아니라, 𝐵와 𝑒의 값에 따라 다른 숫자들의 모음입니다. 해결책: 이를 다차원 배열로 사용하고, 적절한 연산을 수행합니다. 이러한 배열은 "팩터(factors)"라고 불리며, 다양한 차원을 가진 숫자들의 모음을 나타냅니다. 변수 제거(Variable Elimination)는 확률 그래..
[인공지능] Bayesian Networks - 1 Outline 베이지안 네트워크 문법 의미론 정확한 추론 변수 제거 요소와 연산 근사 추론 사전 샘플링 거부 샘플링 가능도 가중치 깁스 샘플링 베이지안 네트워크 문법(Syntax): 베이지안 네트워크의 문법은 주로 노드와 화살표로 구성된 그래픽 모델을 말합니다. 여기서 각 노드는 확률 변수를 나타내며, 화살표는 변수 간의 조건부 의존성을 나타냅니다. 의미론(Semantics): 베이지안 네트워크의 의미론은 이러한 네트워크가 어떻게 확률적 관계를 모델링하는지 설명합니다. 이는 각 노드의 조건부 확률 분포를 통해 정의됩니다. 정확한 추론(Exact Inference) 변수 제거(Variable Elimination): 이 방법은 확률 질문에 답하기 위해 필요하지 않은 변수를 순차적으로 제거하는 과정입니다. ..
[인공지능] Probability - 1 Outline 기본 법칙들 (Basic Laws) 주변 분포 (Marginal Distribution) 조건부 분포 (Conditional Distribution) 곱셈 및 연쇄 규칙 (Product and Chain Rules) 추론 (Inference) 독립성 (Independence) 조건부 독립 (Conditional Independence) 기본 법칙들: 확률론의 기본적인 법칙들을 의미합니다. 이에는 확률의 합계 법칙, 곱셈 법칙, 및 전체 확률의 법칙 등이 포함될 수 있습니다. 주변 분포: 확률 변수 집합 내에서 일부 변수에만 관심을 가질 때, 이 변수들의 확률 분포를 말합니다. 예를 들어, 두 변수 X와 Y의 결합 분포에서 X의 주변 분포를 구하는 것입니다. 조건부 분포: 한 확률 변수의 분..
[인공지능] Reinforcement Learning II - 1 Outline Exploitation vs. Exploration( 착취 대 탐험) ε-greedy(입실론 그리디) Exploration function(탐험 함수) Generalization (일반화) Feature-based state representation(특징 기반 상태 표현) 착취 대 탐험(Exploitation vs. Exploration): 이 개념은 주로 머신러닝, 특히 강화학습에서 논의됩니다. 이미 알려진 것을 사용해 좋은 결과를 얻는 것(착취)과 새로운 것을 시도해 더 나은 전략을 발견할 가능성을 탐색하는 것(탐험) 사이의 균형에 관한 것입니다. ε-greedy (입실론 그리디): 이것은 강화학습에서 사용되는 전략입니다. 대부분의 경우 최고의 알려진 옵션(착취)을 선택하지만 때때로 ..

티스토리툴바