Raphael's Home

Chapter 3 Variational Autoencoders 自动变分编码器 介绍 2013 年，Diederik P. Kingma 和 Max Welling 发表了一篇论文，为一种称为变分自编码器 (VAE) 的神经网络奠定了基础。 故事 💡 想象一下，你面前的地板上堆满了你所有的衣服——裤子、上衣、鞋子和外套，款式各异。你的造型师布莱恩越来越沮丧，因为他花了很长时间才能找到你需要的物品，因此他制定了一个聪明的计划。他告诉你把你的衣服整理成一个无限高和无限宽的衣柜。当您想要索取特定物品时，您只需告诉布莱恩它的位置，他就会使用他值得信赖的缝纫机从头开始缝制该物品。很快就会发现，您需要将相似的项目彼此靠近放置，以便 Brian 可以仅根据其位置准确地重新创建每个项目。 经过几周的练习，你和布莱恩已经适应了彼此对衣柜布局的理解。现在您可以告诉布莱恩您想要的任何衣服的位置，他可以从头开始准确地缝制它！这给了你一个想法——如果你给布莱恩一个空的衣柜位置，会发生什么？令你惊讶的是，你发现布莱恩能够完全生成以前不存在的新衣服！这个过程并不完美，但你现 ...

Chapter 2 Deep Learning 神经网络 神经网络由一系列堆叠层组成。每层都包含通过一组权重连接到前一层单元的单元。正如我们将看到的，有许多不同类型的层，但最常见的一种是全连接（或密集）层，它将层中的所有单元直接连接到前一层中的每个单元。 MLP 所有相邻层完全连接fully connected的神经网络称为多层感知器（MLP） 学习高级特征 神经网络如此强大的关键特性是它们能够在没有人类指导的情况下从输入数据中学习特征。 单元A接收输入像素的单个通道的值。 单元B组合其输入值，以便在存在特定的低级特征（如边缘）时最强烈地触发。 单元C组合低级特征，以便在图像中看到更高级的特征（如牙齿）时最强烈地触发。 单元D组合高级特征，以便在原始图像中的人在微笑时最强烈地触发。 MLP的实践 TensorFlow & Keras TensorFlow 是一个用于机器学习的开源 Python 库，由 Google 开发。Keras 是一个用于构建神经网络的高级 API，构建在 TensorFlow 之上 ...

Chapter 1 Generative Modeling Generative modeling is a branch of machine learning that involves training a model to produce new data that is similar to a given dataset. 概念 深度学习模型 以生成与提供的数据集相似的新数据为目的的机械学习分支。 训练数据包含很多例子，其中每一个数据点被称为一个观察 observation 每个观察包含很多特征 feature 我们的目标是构建一个模型，该模型可以生成新的特征集，这些特征集看起来就像是使用与原始数据相同的规则创建的。 生成式模型应该是概率的probabilistic 而不是确定的deterministic 与判别式模型的区别 判别式模型预测\(p(y \mid x)\) 生成式模型预测\(p(x)\)，或者在一定情况下预测\(p(x|y)\) For example, if our dataset contains d ...

本门课程亦是极其抽象的学科，如果说电磁辐射波的抽象是老师的问题，则本课的抽象则体现在其从头到尾的课程设置上。至少不用上课还是不错的。 本科分为两个部分：热力学基础（包括下文热力学基础和热力学原理）和热力学循环。最后附有期末考试前对知识的简要总结。热力学基础部分的笔记本身由手写笔记转换而来，只选择了手写笔记中部分比较重要的知识，准确性和广泛性有限。热力学基础页中列出了老师给出的参考习题中涉及的知识，相对于前两个部分的笔记更为准确。热力学循环部分的笔记中，分章节的笔记比较是比较详细的中文笔记，而热力学循环页给出了这些章节涉及到的循环的英文分析，主要参考这些部分的例题。 热力学基础 Chapter 4 Energy Analysis of Closed Systems 闭合系统能量分析 Capture 5: Mass And Energy Analyse of Control Volumes 体积控制系统质量、能量分析 Chapter 6：热机 Chapter 7：Entropy 熵 热力学原理 Chapter 3 Properties Of Pure S ...

评价和检验 假设检验 Test d’hypothese 假设一个参数, 检验是否合理 降雨量的例子 我们讨论我们有9年的降雨量数据, 符合\(LG(600,100)\), 我们检验\(*H0: m = 600*\), 取对立假设\(*H1: m = 650*\), 有6%的选错的风险 首先, 考虑均值满足正态分布\(LG(600,100/\sqrt{9})\), 求\(P(\overline{X}>K) = 5\%\), 以求出阈值\(k\), 最终再验证均值是否超过阈值 \[ \begin{aligned} &P(\frac{\overline{x}-600}{100/3}>\frac{k-600}{100/3}) = 0.05 \\&P(\frac{\overline{x}-600}{100/3}<\frac{k-600}{100/3}) = 0.95= 1-\alpha\\ &k = 655\end{aligned} \] 我们称 \(k<655\)为H ...

估计 文档讨论了估计参数的方法，包括区间估计的基本计算方法和步骤，以及常用的置信区间求法。这些方法适用于单一正态分布和双正态分布，包括已知和未知方差的情况。对于非正态分布，可以通过中心极限定理近似为正态分布进行估计。此外，还讨论了比率的置信空间的估计方法。 点估计和估计量的评价 Estimation 知道分布, 使用统计量估计某些参数。点估计使用具体的数值估计。 可以使用均值估计期望, S2估计方差, 频率估计概率 估计量 Estimateur 使用统计量T, 确定目标的某一个参数Θ, 这里, T时Θ的估计量。 估计量不是唯一的, 比如\(*S^2*\)和\(*S^{ * 2}*\)都可以用来估计方差。 目标是找到(收敛) 无偏, 最小方差估计, 具体定义解释如下 收敛性 估计量依概率收敛到目标参数 \[ \lim _{n \rightarrow \infty} P(|T-\theta|>\varepsilon)=0 \] 无偏估计 sans biais 偏的定义 偏：\(*E(T) − θ*\) 若 \(*E( ...

统计基础 统计学基础包括了总体、抽样和取样、随机样本和观测值等概念。 统计量主要包括均值、方差和修正的方差，以及百分比。均值满足大数定理和中心极限定理。方差和修正的方差的期望分别等于σ²和n-1/nσ²。百分比作为二项分布，可以趋于正态分布。对于高斯随机样本，均值满足正态分布，方差满足卡方分布，均值和方差相互独立，均值和方差与T分布有关。 统计基础 基本概念 总体(population) 和个体 抽样和取样(Echantillonnage) 随机样本(échantillon aléatoire): 独立(indépendant), 同分布(de même loi de X), 称X为variable parente 随机样本是由n个随机变量组成, 这些变量一旦确定, 则变为随机样本的观测值(statistique d’un échantillon) 统计量 均值 定义 均值本身是随机变量 \[ \begin{aligned} &\overline{X} \triangleq \frac{1}{n}\sum_{i = 1 ...

分布和近似 文档详细讨论了正态分布、卡方分布、F分布和T分布的定义、性质和期望与方差。正态分布的独立线性组合满足正态分布，卡方分布的期望值等于其自由度，方差则为自由度的两倍。F分布用于检验模型中的各项效应是否显著，而T分布在样本量较小的情况下，相较于正态分布，更为稳健。 此外，还讨论了从超几何分布到二项分布、从二项分布到泊松分布、从正态分布到标准正态分布、从二项分布到正态分布、从泊松分布到正态分布和从卡方分布到正态分布的近似。 分布 均匀分布 Loi uniform discret \[ \begin{aligned} & X(\Omega) = {1, 2, ..., n}\\ & P(X = k) = \frac{1}{n}\\ & E(X) = \frac{n+1}{2}\\ & V(X) = \frac{n^2-1}{12}\end{aligned} \] continue sur [0, a] \[ \begin{aligned} & f(x) = ...

概率基础 概率基础涵盖了期望、方差、切比雪夫不等式、多元随机变量（离散和连续）、随机变量的收敛（依概率收敛、平方平均收敛、\(L^p\)收敛、依分布收敛）、莫瓦尔-拉普拉斯定理、大数定理和中心极限定理等主题。这些主题详细解释了随机变量的各种性质和定理，包括期望和方差的计算，二项分布的正态分布近似，以及随机变量序列的收敛性。 概率和随机变量 概率空间 (Ω, C, P) 概率空间是测度论中的一个基本概念，它是一个包含样本空间、事件和概率测度的三元组。在概率论中，我们通常把它定义为一个三元组（Ω, F, P），其中： Ω是样本空间，代表所有可能的结果的集合。 F是事件场或σ-代数，包含了样本空间的子集，这些子集被认为是"发生"或"不发生"的事件。简单来说，它是样本空间的一个子集族。 P是概率测度，为每一个事件赋予一个实数，表示该事件发生的概率。这个函数需要满足一些基本的性质，例如非负性、规范性和可列可加性。 条件概率 条件概率是在给定某个事件发生的情况下，另一个事件发生的概率。这被表示为P(A|B)，读作“在B发生的条件下A发生的概率”。其公 ...

概率统计这门课相比于上学期那门抽象到不可言表的课程的确有用。自从学了概率之后，往来看不懂的诡异公式才能明白竟是用概率的方法。真是学概率之前不知概率有用，学完之后才发现整个深度学习理论中几乎处处是概率。 概率统计大致分为几部分： 概率 概率基础 分布和近似 统计 统计基础 估计 评价和检验 总结 考试用A4笔记