积分

1)Double Series

定义为$\sum_{m,n=1}^\infty a_{mn}$，当两个下标以不同的方式趋于无穷的时候，可能使得结果级数收敛或者收敛到不同的值，甚至发散。当收敛和两个下标趋于无穷的方式无关的时候称为Double Series收敛。
Theorem: 当Double Series都是正数的时候，$\sum_{m,n=1}^\infty a_{mn}$收敛等价于$\sum_{n=1}^\infty \sum_{m=1}^\infty a_{mn}$和$\sum_{m=1}^\infty \sum_{n=1}^\infty a_{mn}$都收敛并且收敛的结果相等。

2)单调函数

单调函数在每点(除了$\pm\infty$)的左右极限都存在并且有限。不连续的点最多有可数多个。

3)step function

$\theta: I \rightarrow R$，有限个区间的集合$I_j$，满足$\cup_i I_j \subseteq I$，对应的有限个实数$c_j$，$\theta$定义为 $$\theta=\left\{ \begin{array}{l l} c_j & \quad \text{if $x \in I_j$}\\ 0 & \quad \text{if $x \in I\setminus \cup_i I_j$}\\ \end{array} \right.$$

4)划分

$S=\{I_1, I_2, \cdots, I_n\}$称为$I$的一个部分划分，如果其元素的交集最多为元素的端点，并集包含在$I$中。
$V_S(f,I)=\sum_{j=1}^n | f(b_j)-f(a_j) |$称为$S$对应的$f$的variation，记$V(f,I)=\sup_S V_S(f,I)$称为total variation，显然$0 \leq V(f,I)\leq \infty$。
例子：step function，$V(f,I)=\sum_{r=1}^m k_r$所有jump的和。

例子：函数$f(x)=\sin(1/x),\ x\in (0, 1)$，部分划分 $$S=\left\{ I_j=\left[ \frac{2}{(j+1)\pi}, \frac{2}{j\pi} \right],\ j=1,2,\cdots, n\right\}$$ $S$对应的variation $V_S(f, I)=n$，所以$V(f, I)=\infty$。

5)$V(f, I)$有界的函数

Lemma：如果$f$在$I=(a, b)$上$V(f, I)$有界，定义函数$g(x)=V(f, I_x)$，其中$I_x=(a, x), x\in I$，那么$g(x)$是单调增函数。
证明：$I_x$的部分划分也是$I$的部分划分。

Theorem:如果$f$在$I=(a, b)$上$V(f, I)$有界，当且仅当$f$可以表达成两个有界，单调增函数的差。
证明：$f(x)=[V(f, I_x)] - [V(f, I_x) - f(x)]$

Corollary：如果$f$在$I=(a, b)$上$V(f, I)$有界，$f$在$I$内点的左右极限都存在。
证明：$f$写成单调函数的差，根据单调函数的性质可得。

绝对连续可以用划分定义：对任意的$\epsilon > 0$可以找到$\delta$，使得任意满足总长度小于$\delta$的部分划分$S$其上的$f$的variation $V_S(f,I) < \epsilon$。

Theorem:有限区间上绝对连续可以推出$V(f, I)$有界。

6)黎曼可积

定义$A(g)$为$g$和$x$轴之间的有符号的面积，其中$g$为任意step function。

黎曼可积：对任意$\epsilon > 0$，存在两个step function $g^\epsilon$和$G^\epsilon$满足：
(i)$g^\epsilon\leq f\leq G^\epsilon$
(ii)$A(G^\epsilon)-A(g^\epsilon) \leq \epsilon$


如果$f:[a, b] \rightarrow R$有界，最多可数个不连续的点，那么$f$黎曼可积。

黎曼可积的函数序列可以收敛到一个黎曼不可积的函数。

7)单调增函数诱导的测度

如果$\alpha : R \rightarrow R$是单调增函数，那么定义$x$轴上的$\alpha\text{-measure}$是区间到$R$的映射，$\mu_\alpha(\cdot)$把区间映射到$\alpha$在区间上最右边可能的单边极限减去最左边可能的单边极限，比如 $$\mu_\alpha(\ [a, b)\ )=\alpha(b-)-\alpha(a-)\\ \mu_\alpha(\ (a, b]\ )=\alpha(b+)-\alpha(a+) $$ 这个测度的可以看成函数$\alpha$在区间$I$上的变化，注意$\alpha\text{-measure}$只和端点的$\alpha$函数值以及区间的开闭有关，和内点的函数值无关，只有是单调的就好。

8)$\alpha\text{-summable}$

简单集合(simple set)：$R$的子集，并且可以表达为有限个区间的不交并。性质：简单集合的$\alpha\text{-measure}$可以表达成有限和
$\alpha\text{-finite}$：如果简单集合的$\alpha\text{-measure}$有限，称为$\alpha\text{-finite}$。
step function的support：根据step function的定义，区间上的step function $\theta:I \rightarrow R$的support是简单集合。
$\alpha\text{-summable}$：如果区间上的step function $\theta:I \rightarrow R$的support是$\alpha\text{-finite}$。

对每个$\alpha\text{-summable}$的step function $\theta:I \rightarrow R$定义一个和$\alpha\text{-measure}$相关的实数 $$A_\alpha(\theta)=\sum_{j=1}^nc_j\mu_\alpha(I_j)$$ 其中$\mu_\alpha$是$\alpha\text{-measure}$，$c_j$是step function在不同区间上的取值。如果把measure理解为长度，$c_j$理解为高度，那么这个式子就是面积。
注意上面的和式，比较复杂的情况是$I_j$的端点开$(a, b)$闭$(a, b]$会的到不同的$\alpha\text{-measure}$，而区间的开闭取决于step function $\theta:I \rightarrow R$在端点$b$是左连续还是右连续，甚至左右都不连续。(计算的顺序是先得step function $\theta$的取值区间划分，这时候区间上的$\theta$函数值以及区间的开闭已定，算区间的$\alpha\text{-measure}$，然后算和式。 )

特殊情况，如果$\alpha\text{-measure}$函数在$c$是一个jump，那么$[c, c]$的$\alpha\text{-measure}:\ \alpha(c+)-\alpha(c-)$不是0，如果求sum的step function $\theta$在$c$点也不连续，也就是$c$也是$\theta$的jump，那么在单点区间上的"$\alpha\text{-sum}$"就不是0。

9)Lebesgue-Stieltjes积分

一个一般的区间上的非负函数$f:I\rightarrow R$，对$f$ admissible的step function序列$\{\theta_j\}$就是满足下面条件的序列：
(i)$\alpha\text{-summable}$
(ii)非负
(iii)$f(x) \leq \sum_{j=1}^\infty \theta_j(x)$

对上面的$f$定义一个实数： $$L_\alpha(f)=\inf\left\{\sum_{j=1}^\infty A_\alpha(\theta_j)\right\},\quad \{\theta_j\} \text{ is $f$ admissible}$$ 例子：定义$f: [0, 1]\rightarrow R$： $$f(x)=\left\{ \begin{array}{l l} 1 & \quad \text{if $x$ is rational}\\ 0 & \quad \text{if $x$ is irrational or $x=0$ or $x=1$ }\\ \end{array} \right.$$ 令$r_j$是$[0,1]$里的第$j$个有理数： $$\theta_j(x)=\left\{ \begin{array}{l l} 1 & \quad \text{if $x = r_j$}\\ 0 & \quad \text{if $x \neq r_j$}\\ \end{array} \right.$$ $\theta_j$是$f$ admissible的step function序列，如果定义测度函数为$\alpha^*(x)=x$那么 $$A_{\alpha^*}(\theta_j)=1\cdot \alpha^*(\ [r_j,r_j]\ )=1\cdot 0=0$$ 由此可知： $$L_{\alpha^*}(f)=0$$ Theorem：如果$\{f_j\}$为区间上的函数序列，并且其和$\sum_j f_j$在区间上逐点收敛，$L_\alpha$对结果和函数$\sum_j |f_j|$的求值小于对单个函数求值$L_\alpha(|f_j|)$然后求和。有限的情况： $$L_\alpha(|f_1|+|f_2|) \leq L_\alpha(|f_1|) + L_\alpha(|f_2|)$$

Theorem：$L_\alpha(|f-f_n|)\rightarrow 0 \Rightarrow L_\alpha(|f_n|) \rightarrow L_\alpha(|f|)$

Lebesgue-Stieltjes积分的定义：对一个区间上的函数$f$，如果存在一个序列的$\alpha\text{-summable}$ step function $\{\theta_j\}$满足 $$L_\alpha(|f-\theta_n|) \rightarrow 0$$ 定义积分 $$\int_I fd\alpha = L_\alpha(f^+)-L_\alpha(-f^-)$$ 如果取测度$\alpha(x)=x$那么积分称为Lebesgue积分。(注意这里没要求$\{\theta_j\}$是$f$ admissible的)

描述简单但是很难证明的事实：上面的积分运用到$\alpha\text{-summable}$ step function上就是实数$A_\alpha(\theta)$。

10)$L_\alpha$的性质

首先$L_\alpha$是对非负函数定义的，对任意一个函数$f$
(i)$L_\alpha(f^+) \leq L_\alpha(|f|)$并且$-L_\alpha(f^-) \leq L_\alpha(|f|)$
(ii)$L_\alpha(|af|) = |a|L_\alpha(|f|)$。(a=0的时候要求式子有意义)

11)Lebesgue积分

类似黎曼积分可以定义$f$下面的step function，定义一个实数 $$l_x(f)=sup\sum_{j=1}^\infty A(\phi_j)$$ 可以证明，当$L_x(f)$有限并且$f$可测的时候这两个实数相等。

有可能在一个区间上黎曼奇异积分存在，但Lebesgue积分不存在，因为Lebesgue可积蕴含Lebesgue绝对可积，有些函数黎曼奇异可积但是不黎曼绝对可积。

12)Lebesgue-Stieltjes积分的基本性质

Lemma：$f$ Lebesgue-Stieltjes可积的必要条件，存在一个step function序列$\{\theta_j\}$满足$L_\alpha(|f - \theta_n|) < \frac{1}{n}$。
Theorem(不是收敛定理)：Lebesgue-Stieltjes可积函数序列$\{f_n\}$满足$L_\alpha(|f-f_n|)\rightarrow 0$，那么$f$ Lebesgue-Stieltjes可积，并且$f$的积分等于$\{f_n\}$的积分的极限。
Theorem：$f$ Lebesgue-Stieltjes可积，那么 $$\left| \int_I f d\alpha \right| \leq \int_I |f|d\alpha$$ Theorem：Lebesgue-Stieltjes可积函数的线性组合可积。

13) Null Functions and Null Sets

Null Function：如果$L_\alpha(|f|) = 0$，$f$称为Null Function，可以证明$f$和$|f|$的积分为0。
Null Set：$R$上characteristic function为Null Function的set。
任何集合$A$的characteristic function记为$\chi_A: A\rightarrow 1$。

$f=0 \text{ a.e.}$ 的意思是$\chi_{\{ x\ |\ f(x)\neq 0 \}}$是null。

Theorem：$f$是null$\Longrightarrow f=0\text{ a.e.}$。
证明：对任意的常数$c > 0$，集合$A=\{ x\ |\ |f(x)| \geq c \}$是null，因为$\displaystyle \frac{|f(x)|}{c}\geq 1 \geq \chi_A(x)$运用$L_\alpha$得 $\displaystyle 0 = L_\alpha( \frac{|f(x)|}{c} ) \geq L_\alpha( \chi_A(x))$，所以$A$是null，也就是$\chi_A$是null。

可以把$|f|$的值域分成可数个区间$[1, \infty),\ [1/2, 1),\ [1/3, 1/2),\ \cdots$记为$\{I_j\}$，而集合$\{ x\ |\ |f(x)| \neq 0 \}$的characteristic function是可数个集合$\{x\ |\ f(x) \in I_j\}$的characteristic function $\chi_{\{x\ |\ f(x) \in I_j\}}$的和，因为他们都满足$f\neq 0$，也就是出现在$\{ x\ |\ |f(x)| \neq 0 \}$中，而且可以证明，$\{ x\ |\ |f(x)| \neq 0 \}$中的任何一个元素只出现在唯一的一个$\{x\ |\ f(x) \in I_j\}$中。

运用$L_\alpha$对正函数的可数次可加性可得 $$L_\alpha\left( \chi_{\{ x\ |\ |f(x)| \neq 0 \}} \right)\leq \sum_{n=1}^\infty L_\alpha\left(\chi_{\{x\ |\ f(x) \in I_j\}}\right) =\sum 0 = 0$$ 即$\chi_{\{ x\ |\ |f(x)| \neq 0 \}}$是null。注意characteristic function都是非负的，所以上面省略了null条件里的绝对值。

Theorem：$f$是null$\Longleftarrow f=0\text{ a.e.}$。
证明：上面是构造null set序列(利用了他们的characteristic function)，这里直接构造null function序列，还是划分$|f|$的值域$(n-1, n]$。

14) 收敛定理

Monotone Convergence Theorem：$\{f_n\}$是单调($f_{n-1} \leq f_n$)可积函数序列，并且$\lim_{n\to\infty}(\int_If_nd\alpha)$有限，如果$f_n\to f\text{ a.e.}$，那么$f$可积并且$\int_If_nd\alpha \to \int_If d\alpha$。

Fatou's Lemma：$\{f_n\}$是非负函数序列，$f_n\to f\text{ a.e.}$，那么$f$可积$\Longleftrightarrow \lim_{n\to\infty}(\inf_{m\geq n}\int_I f_m(x)d\alpha)$有限。

Dominated Convergence Theorem：$\{f_n\}$是单调($f_{n-1} \leq f_n$)可积函数序列，并且$f_n(x)\leq \lambda(x)$，$\lambda(x)$可积，如果$f_n\to f\text{ a.e.}$，那么$f$可积。

15) 积分理论的扩展

(i)扩展底部集合

前面定义的积分的值是两个$L_\alpha$的差，而$L_\alpha$是由定义在简单集合(区间的并)上的step function定义的。第一种扩张积分概念的办法是把简单集合换成更一般的集合，也就是$\alpha\text{-measurable}$集合，这个集合的定义需要$\alpha\text{-measurable}$函数。
$\alpha\text{-measurable}$函数：可以被一个$\alpha\text{-summable}$的step function序列$\text{ a.e.}$逼近的函数，也就是，存在$\{\theta_j\}$满足： $$\lim_{n\to\infty}\theta_n=f\text{ a.e.}$$ $\alpha\text{-measurable}$集合：$R$的子集，并且characteristic function是$\alpha\text{-measurable}$函数。

上面的要求主要是为了定义新集合类的$\alpha\text{-measure}$，前面已经定义了简单集合的$\alpha\text{-measure}$，现在希望定义$\alpha\text{-measurable}$集合$X$的$\alpha\text{-measure}$为： $$\mu_\alpha(X)=\int_R \chi_X d\alpha$$ 这个定义要求characteristic function $\chi_X$在$R$上可积，实际上有这样的定理：

Theorem：$f$对$\alpha$可积$\Longleftrightarrow f$ 是$\alpha\text{-measurable}$并且$L_\alpha(|f|)$有限。

对于$L_\alpha(|f|)$无限的情况，我们记$X$的$\alpha\text{-measure}$为$\infty$。

现在希望定义任何一个可积函数$f$在一个$\alpha\text{-measurable}$集合$X$上的积分为： $$\int_X f d\alpha=\int_R f\chi_X d\alpha$$ 要这个定义有意义就要求函数$f\chi_X$在$R$上是可积的，首先$|f\chi_X|\leq|f|$所以$L_\alpha(|f\chi_X|)$有限，而$f\chi_X$又是两个$\alpha\text{-measurable}$函数的乘积($f$可积蕴含$f\ \alpha\text{-measurable}$)，所以也是$\alpha\text{-measurable}$的；这两个条件可以推出$f\chi_X$在$R$上是可积的。

(ii)扩展测度函数

前面定义的测度函数$\alpha$是单调增函数，通过使用大的函数类$V(f, I)$有界的函数，可以扩展积分的概念，任何区间上的类$V(f, I)$有界函数可以扩展到$R$上而不改变$V(f, I)$。根据$V(f, I)$有界函数的性质，这样的$\alpha$可以表达成单调函数的差： $$\alpha=\alpha_1-\alpha_2$$ 在区间$J$上如果函数$f$对$\alpha_1$和$\alpha_2$都可积，那么定义其对$\alpha$的积分为： $$\int_Jfd\alpha=\int_Jfd\alpha_1-\int_Jfd\alpha_2$$ 同样可以定义区间$J$的$\alpha$测度： $$\mu_\alpha(J)=\mu_{\alpha_1}(J)-\mu_{\alpha_2}(J)$$

16) 积分计算方法

Theorem：如果积分区间可以分解成有限个区间的不交并，那么原积分等于在这些区间上积分的和。

Theorem：如果测度函数$\alpha=\sum_{j=1}^mc_j\alpha_j$，其中$c_j$非负有限，$f$对每个$\alpha_j$可积，那么 $$\int_I f d\alpha=\sum_{j=1}^m c_j\int_I f d\alpha_j$$

Theorem：如果测度函数$\alpha$在积分区间的端点连续，那么积分区间在这个端点是开还是闭不影响积分的结果。

Theorem：对任意的区间$I$有$$\int_I 1 d\alpha=\mu_\alpha(I)$$

Theorem：如果测度$\alpha$在开区间$I$上是常数，那么任何函数在这个区间上的积分为0。

Theorem：如果$f(a)$有定义，那么$$\int_{[a,a]}f d\alpha=f(a)[\alpha(a^+)-\alpha(a^-)]$$

Theorem：如果测度$\alpha$在开区间$I$上可微，那么$$\int_I fd\alpha=\int_If\alpha'dx$$

Note：有几个定理是要在开区间上才成立，原因是测度$\alpha$可能在区间的端点不连续，需要特殊处理，计算中可以把闭区间分成端点和开区间的并，然后分别运用定理。

Note：对所有测度$\alpha$不连续的点都要单独处理，区间要从这点分割开。

17) 积分计算的定理

连续严格增函数把区间映射到区间，根据这个有变量替换定理：

Theorem：$u:R\to R$是连续严格增函数，则 $$\int_I(f\circ u)du=\int_{u(I)}fdx$$ 进一步的如果$u$在区间上可微，那么 $$\int_I(f\circ u)du=\int_I(f\circ u)u'dx=\int_{u(I)}fdx$$ 最后如果$\alpha$是一个单调增函数那么 $$\int_I(f\circ u)d(\alpha\circ u)=\int_{u(I)}fd\alpha$$ Integration by Parts

在黎曼积分理论里分部积分是根据公式 $$\int_a^bfg'dx+\int_a^bf'gdx=[fg]_a^b$$ 在Lebesgue-Stieltjes积分理论里公式变为 $$\int_Ifdg+\int_Igdf=\mu_{fg}(I)+\sum_{a\in S}A(a)$$ 这里要求$f,g$是$V(f, I)$有界的，$S$为$f,g$都不连续的点的集合，$A=[f(a)-\frac{1}{2}(f(a^+)+f(a^-))]\mu_g([a,a])+[g(a)-\frac{1}{2}(g(a^+)+g(a^-))]\mu_f([a,a])$

18) 和微分的联系

Fundamental Theorem of Calculus：$f$在$I=[a, b]$上可积，$I_t=[a, t], J_t=[t, b]$，令 $$F(t)=\int_{I_t} fdx,\quad G(t)=\int_{J_t}fdx$$ 那么$F(t), G(t)$绝对连续，并且 $$F'(t)=f(t),\quad G'(t)=-f(t)\ a.e.$$ 反过来，如果$F:I\to R$绝对连续，那么它$a.e.$可微，并且$F'$可积，$F(t)=\int_{I_t}F'dx+C$

交换积分和微分的顺序

Differentiation Under the Integral：

19) 多元积分

首先定义矩形$I_1\times I_2\subseteq R^2$上的乘积测度$\alpha_1\times\alpha_2\text{-measure}$为： $$\mu_{\alpha_1\times\alpha_2}(I_1\times I_2)=\mu_{\alpha_1}(I_1)\times\mu_{\alpha_2}(I_2)$$ 然后定义二维简单集合，简单集合是不相交的矩形的和： $$S=\cup_{j=1}^m(I_{1j}\times I_{2j})$$ 其$\alpha_1\times\alpha_2\text{-measure}$为： $$\mu_{\alpha_1\times\alpha_2}(S)=\sum_{j=1}^m\mu_{\alpha_1\times\alpha_2}(I_{1j}\times I_{2j})$$ 定义simple function为在这$m$个矩形上取常数，其他时候取$0$的函数： $$\theta(x, y)=\left\{ \begin{array}{l l} c_j & \quad \text{if $x \in I_{1j}\times I_{2j}$}\\ 0 & \quad \text{if $x \in R^2\setminus S$}\\ \end{array} \right.$$ 这个函数图象下面的体积可以类似一维时候的定义，记为$A_{\alpha_1\times\alpha_2}(\theta)$

对一个定义在$R^2$上的任意函数可以定义二维积分 $$\iint_{R^2}f d(\alpha_1\times\alpha_2)$$ 一般是把二维积分(double integral)转化为repeated integral。同样的函数的二维积分有两种方式的repeated integral对应，他们并不总相等，例如 $$\int_0^1\int_0^1\frac{x-y}{(x+y)^3}dxdy\neq\int_0^1\int_0^1\frac{x-y}{(x+y)^3}dydx$$ 他们相等的条件是函数在积分区域上绝对可积，也就是：

Fubini's Theorem：如果$f:R^2\to R$是$\alpha_1\times\alpha_2\text{-measurable}$函数，那么下面3个式子 $$\iint_{R^2}|f|d(\alpha_1\times\alpha_2),\quad \int_R\int_R|f|d\alpha_1 d\alpha_2,\quad \int_R\int_R|f|d\alpha_2 d\alpha_1$$ 任何一个存在蕴含下面3个式子相等 $$\iint_{R^2}f d(\alpha_1\times\alpha_2),\quad \int_R\int_R f d\alpha_1 d\alpha_2,\quad \int_R\int_R f d\alpha_2 d\alpha_1$$