数据科学与工程优化(二)

一、基本术语和模型考虑以下优化模型:$$ \min_{x \in \mathbb{R}^n} f(x) \quad \text{s.t.} \quad x \in F $$1、最小化点的定义局部极小点(local minimiser):$x^* \in F$,若存在 $\varepsilon > 0$,使得对所有 $x \in F \cap B_\varepsilon(x^*)$,有$$ f(x^*) \leq f(x) $$严格局部极小点(strict local minimiser):$x^* \in F$,若存在 $\varepsilon &…
数据科学与工程优化(一)

一、课程概述本课程主要讨论数据科学中的优化问题,包含以下内容:优化模型的基本形式与实际例子一阶迭代方法数据分析中的典型问题与优化方法二、为什么要用优化?在数据科学与机器学习中,很多问题都可以归结为优化问题。例如:回归问题数据补全问题数据结构检测降维问题数据分类问题这些问题通常涉及到参数的选择,使得模型对真实数据拟合得更好或者揭示数据的某种结构。三、优化模型的基本形式1、无约束优化模型$$ \min_{x \in \mathbb{R}^n} f(x) $$其中 $f$ 是光滑函数(本课程中指 $C^1$ (连续函数)且梯度 Lipschitz 连续)。2、…
常见激活函数表达式及其特性

1、Sigmoid 函数表达式:$$ \sigma(x) = \frac{1}{1 + e^{-x}} $$导数:$$ \sigma'(x) = \sigma(x)[1 - \sigma(x)] $$特性:输出区间:$(0, 1)$非线性,可微在$x \to +\infty$时趋近于1,$x \to -\infty$时趋近于0优点:将值压缩到$(0,1)$之间,适合做概率输出缺点:容易出现梯度消失问题,导致深层网络训练困难2、Softmax 函数表达式:对于输入向量$\mathbf{x} = (x_1, x_2, \ldots, x_n)$,第…
只使用Numpy实现MNIST手写数字分类

一、实验目的本实验旨在通过MNIST手写数字分类任务,深入理解和实践深度学习的基本概念与核心算法,具体目标如下:1、理解深度学习核心概念:(1)掌握神经网络(Neural Networks)的基本结构、前向传播和反向传播机制。(2)理解梯度下降(Gradient Descent)优化算法及其在参数更新中的作用。(3)掌握链式法则(Chain Rule)在计算梯度时的应用。(4)理解图像分类任务的基本流程,包括数据加载、预处理、模型训练、评估和预测。(5)熟悉损失函数(如交叉熵损失)的意义和计算方法。2、掌握NumPy手动实现技能:(1)能够仅使用NumP…
Cisco IOS系统基础

一、Cicso IOS简介每台计算机需要有操作系统才能工作,包括基于计算机的交换机、路由器、接入点和防火墙等网络设备。这些网络设备使用的操作系统称为网络操作系统。网络操作系统软件使设备硬件能工作并为用户提供交互界面。学习在思科路由器和交换机上配置 Cisco Internetwork Operating System (IOS) 操作系统是思科CCNA课程学习很大一部分Cisco IOS 是思科的交换机和路由器等设备使用的网络操作系统的通用术语。大多数思科网络设备,无论其大小和种类如何,都离不开 Cisco IOS。二、IOS训练营1、Cisco IOS…
网络寻址

一、IP地址和子网掩码1、IP地址的用途IP地址是用于标识特定主机的逻辑地址。为了与Internet上其它设备通信,它必须唯一、不能冲突。通过Internet发送的每个数据包都有源IP地址和目的IP地址。网络设备必须了解这些地址,才能确保信息到达目的设备、所有应答都能返回源设备。IP地址将分配给主机上的网络接口卡(即网卡NIC),包括具有网络接口的最终用户设备:工作站、服务器、网络打印机、IP电话及智能手机、平板等。某些主机有多块网卡(每块都有各自的IP地址)但是有时一块网卡也可以有不止一个IP地址。2、IPv4地址的结构IP地址是32个二进制位的数字串…
化学动力学基础

一、反应速率把反应速率$r$定义为单位时间内体积中反应组分,反应物和生成物)物质的量改变值,即:$$r=\pm\frac{1}{V}\cdot\frac{\mathrm{d}n}{\mathrm{d}t}$$若用反应物的物质的量$n$表示反应速率,则定义中“$\pm$”号座取"$-$”号;若用生成物的物质的量$n$表示反应速率,则定义中"$\pm$”号应取"$+$”号;若反应是恒容的,即$V$不改变,则:$$r=\pm\frac{1}{V}\cdot\frac{\mathrm{d}n}{\mathrm{d}t}=\pm\frac{\frac{\mathr…
通过ISP连接到Internet

一、Internet网云数据包在Internet中穿行时会经过许多网络设备。我们可将Internet想像为由无数相互连接的路由器组成的网络。通常,路由器之间还会有备用路由,数据包在从源设备传输到目的设备时有多种不同路径可供选择。在网络图中,人们常常用网云(Cloud)来代表Internet或任何其它复杂的网络,而不会显示连接的细节。二、常见的网络线缆要进行通信,必须存在源、目的及某种类型的通道(或介质)。介质通常是某种类型的物理线缆,也可以是无线的电磁波。源与目的之间的连接可以是直接的,也可以是间接的,还可能跨越多种介质类型。物理线缆分为两类:金属电缆一…
创建网络的分布层

一、分布层随着网络扩大,应将一个过大的本地网络分成多个接入层网络,然后用分布层设备如路由器进行互联。分布层连接各个独立的接入层网络,并且控制它们之间的通信量流动。分布层典型设备是路由器。分布层的网络设备用于连接网络,而非单独的主机!单独的主机通过接入层设备(交换机)连接到网络!接入层设备再通过分布层设备(路由器)相互连接!分布层设备负责确保:(利用IP地址决定出去/不出去)本地接入层小网中各主机之间的通信量保留在本地不出去!只允许发往其它网络的通信量通过分布层设备转发出去!二、路由器的特点1、路由器的构造所有型号的路由器实质上都是计算机!和计算机、平板电…
创建以太网络的接入层

一、交换机的功能交换机(switch)是接入层的多端口设备,可以将多台主机连接到网络。当一主机发送消息到连接在交换机的另一主机时,交换机将接受并拆包解码的数据帧,以读取消息的目的主机MAC地址部分,然后在MAC地址表(也叫做交换表)中查找端口做出转发决定。交换机上的MAC地址表:所有活动端口。所有与这些活动端口相连的主机的MAC地址。当消息在主机之间发送时,交换机将检查目的MAC地址是否存在MAC地址表中。如果存在,交换机就会在源端口与目的端口之间创建一个临时连接,称为电路。这一新电路为两台主机的通信提供一个专用通道。连接到该交换机的其他主机不会共享此通…
本地有线网络中的通信

一、物理地址以太网中的主机都会获得一个物理地址,用于在网络中标识自己,相当于它的名字。每一个以太网接口(如PC机网卡NIC接口)都有一个物理地址,称为介质访问控制(MAC)地址。事实上,电脑、手机、平板的有线、无线、网卡都有MAC地址。MAC地址用于表示网络中的每台源主机和目的主机。MAC地址共48位,6个8位,12个16位数字二、网络层次设计的必要性MAC地址表示某一主机的独特身份,而不指明主机在网络中的位置。如果Internet中所有设备都只用其唯一的MAC地址来标识,那么要查找一台确定的主机无异于大海捞针!为帮助主机通信,以太网技术还会生成大量广播…
网络通信协议与网络模型

一、简介网络行业并不是为每个新服务的交付开发唯一而独立的系统,而是其自身整体采用一个开发框架,允许设计者理解当前网络平台并维护它们;同时,该开发框架也用于推进新技术的开发,从而支持未来的通信需求和技术改进。该开发框架的核心是使用广为认可的模型来描述网络规则及功能。二、规则1、通信基础知识通信的三个要素:源 - 即发送方,向其他人或设备发送消息。通道 - 由为消息从源地址传送到目的地址提供路径的介质组成。目的 - 即接收方,接收并解释消息。2、规则建立成功的人际沟通所应遵守的规则包括:发送方和接收方的名字或标识(ID)双方一致同意的介质或通道(面对面、电话…
电化学

一、原电池与电解池1、原电池与电解池的异同对于原电池,反应的$\Delta G<0$;对于一些电解池内的反应,可以理解为通电强行让它发生反应,反应的$\Delta G>0$。原电池在物理中相当于是内电路,电解池在物理中相当于是外电路,两者在化学本质上相似,所以本文以原电池为例来解释电动势。2、高中内容补充电镀(银)的总反应方程式:$$\mathrm{Ag}(阳极)\rightarrow\mathrm{Ag}(阴极)$$二、原电池1、原电池的电动势电化学的化学变化过程中有电功。根据电学知识,电功(非体积功)$W_f$等于电量$q$与电动势$E$…
化学热力学基础

一、引言针对一个化学反应的两个实际问题:给定的原料能否生成期望的产物?——可能性是否可能把原料全部转变成产物?——转化率针对所有化学反应的两个理论问题:如何判断化学反应是否能发生?——方向判据如何预测化学反应的最大限度?——平衡原理化学热力学就是从能量热和功(力)入手,来研究上述化学反应的方向及限度的普遍规律。本文将会利用物理的热学理论来阐明化学问题,从理论上证明各项结论。二、体系(系统)与环境开放(Open)体系:既有微粒交换,又有能量交换。封闭(Closed)体系:没有微粒交换,但有能量交换。孤立(Isolated)体系:既无微粒交换,又无能量交换。…