3-01 数据链路(即逻辑链路)与链路(即物理链路)有何区别? “链路接通了”与”数据链路接通了”的区别何在? 链路： 是一个结点到相邻节点的物理线路。数据链路： 数据在线路上传输时，需要协议控制数据的传输，实现协议的硬件和软件以及链路组成了数据链路。接通区别： “链路接通了”表示链路两端的结点交换机已经开机，物理连接已经能够传送比特流了，但是，数据传输并不可靠，在物理连接基础上，再建立数据链路连接，才是“数据链路接通了”。此后，由于数据链路连接具有检测、确认和重传功能，才使不太可靠的物理链路变成可靠的数据链路，进行可靠的数据传输当数据链路断开连接时，物理电路连接不一定跟着断开连接。 3-...

并行课结束了，老师分配的服务器也没了，就想着在自己电脑上装个CUDA玩玩。参考静待梅花开这位大佬的博客 说在前面： 自己安装了几次，先安装的 CUDA 10.1，然后安装时候提示我没有可用的visual studio 版本，我就下了个2022，然后编译 .cu 文件时候提示 visual studio 版本要在2015~2019（包括）之间。然后卸了装了2019，但是再编译提示CUDA版本不对，要10.1 update 2 或者更新。。。然后就去装了10.1 update 2，最后终于能成功编译了。所以版本一定要下对，不过想自己探索也可以哈哈哈。 1.设备 GPU == MX250 显存2G...

@TOC 命名空间的 using 声明 目前使用的库函数基本属于命名空间 std，如 std::cin，意思是使用命名空间 std 中的名字 cin。上面的方法繁琐，可以使用 using声明（using declaration）这种简单途径，有了 using 声明，就不用声明前缀了也能使用所需的名字，using声明形式如下： using namespace::name; 声明后就可以直接访问命名空间中的名字： #include <iostream> // using declaration; when we use the name cin, we get the one from...

基本内置类型 包括算数类型和空类型。其中算数类型包含了字符、整型数、布尔值和浮点数。空类型不对应具体指，用于特殊场合。 算术类型 算数类型分为两类：整型（包括字符和布尔类型）和浮点型。算数类型的尺寸在不同机器上有差别。  C++ 提供了几种字符类型，基本的是 char，大小等于一个机器字节。其他字符类型用于扩展字符集，wchar_t 用于存放机器最大扩展字符集中任意一个字符，char16_t 和 char32_t 为 Unicode 字符集服务。 C++ 规定一个 int 至少和一个 short 一样大，一个 long 至少和一个 int 一样大，一个long long 至少和 一个 long...

需求 假设用户信息存储在数据库里，为了提高性能，不是每次的业务方请求时都要查询数据库，可以在内存中创建一个缓存（可以理解为高速缓冲存储器cache），每当要查找一个用户信息时，会首先在哈希表（缓存）中进行查询，以此来提高访问的性能。假设使用哈希链表来缓存用户信息，并假设目前已缓存了4个用户，这4个用户是按照时间顺序依次从链表右端插入的。此时，业务方访问用户5，由于哈希链表中没有用户5的数据，需要从数据库中读取出来，插入到缓存当中。此时，链表中最右端是最新访问到的用户5，最左端是最近最少访问的用户1，假设此时已达到缓存容量上限5，如下图所示。接下来要做如下几件事： （1）业务方要访问用户2，哈希...

浮点格式 在 IEEE-754 浮点标准中，一个数值由 3 部分组成：符号位（S）、阶码（E）和尾数（M）。除了某些例外，每个（S、E、M）模式根据下列格式可以标示一个唯一的数值：$$S: S = 0 时表示是一个正数，S = 1 时表示是一个负数。E: 位于浮点数的尾数字段，其值在 0 和 1 之间。M: 位于浮点数的指数字段，表示小数点的位置。 M 的规范化表示 上面的公式中要求所有的数值都被处理成 1.M 这种形式，这样对于每个浮点数，它的尾数都是唯一的。例如 0.5D(十进制，decimal) 允许的唯一尾数是 M = 0：$0.1B \times 2^{0}10.0B \times ...

稀疏神经网络前向传播 作业背景与要求 本次作业是 2019 的一个并行竞赛题，也不记得是那个竞赛了，反正题目大致要求下述所示：将一个 60000 * 1024 的矩阵 A 当做左乘矩阵，120 个 1024 * 1024 的稀疏矩阵 B [i], 作为右乘矩阵。A 与 B[i] 相乘得到矩阵 C，C 的维度为 60000 * 1024，对 C 矩阵加 偏置项 bias，并用激活函数 relu 激活，激活后的 C 矩阵作为下一次相乘的矩阵 A 与 B[i+1] 相乘。即神经网络前向传播一次。运算时间通过 gettimeofday(&time,NULL); 获取。 原始代码是通过传统的矩...

习题一中第一题，矩阵加法。可以使用共享存储器减少全局存储器对宽带的消耗吗？答：不可以，在每个线程计算一个的 kernel 函数中，每个线程只访问两个所需元素，且每个元素只被访问并加载一次。因为没有元素的重复访问，所以不能使用共享存储器减少全局存储器对宽带的消耗。 2. 对于分块矩阵乘法，证明全局存储器宽带的减少正比于块的维度大小。证明：不用分块的每个元素要加载 n 次，假设块维度 i，则每个块需要加载 n/i + 1 次。得证。 3. 分块乘法中，忘记使用 __syncthreads()，会发生哪种错误？答：加载的一部分不加的话，可能有些元素未加载就被访问，会出错；计算的一部分不加的话，有些线...

稀疏矩阵是数值计算中普遍存在的一类矩阵，主要特点是绝大部分的矩阵元为零。对于矩阵维度比较小的情况，利用稀疏矩阵特殊性并不能完全发挥优势。然而对于大型矩阵，例如矩阵维度超过10000，那么稀疏矩阵不仅节省存储空间，并且可以让线性代数算法得到极大的加速。比如大部分稀疏矩阵的算法均基于递推方法求解，即主要依赖于矩阵矢量乘法，这样很容易知道利用稀疏性可以优化该类算法的时间复杂度。 稀疏矩阵的存储格式往往依赖具体问题中稀疏矩阵的特征，因此其格式比较多。其中一部分是相对简单而又普遍使用的。例如下面列出的格式，均广泛使用。这篇文章主要介绍每种存储类型实现的基本想法。 CSR(compressed spars...

CUDA 高度并行处理器编程（二）：数据并行执行习题 如果一 CUDA 设备的一个 SM 能容纳 1536 个线程和 4 个线程块，下面那种线程块配置使得一个 SM 中能容纳最多的线程？a. 每个线程块 128 个线程b. 每个线程块 256 个线程c. 每个线程块 512 个线程d. 每个线程块 1024 个线程答：c， 一个 SM 容纳 3 个线程块，共 1536 个线程。 向量加法中，假定向量长度是 2000， 每个线程产生一个输出元素，每个线程块包含 512 个线程。网格中有多少线程？a. 2000b. 2024c. 2048d. 2096答：c， ceil（2000/512）= 2...

kernel 函数的执行速度在不同设备上差异很大，这是因为不同设备的资源约束不同。下面将会讨论资源约束的主要类型，以及它们如何限制 kernel 函数的执行性能。在特定设备上，可通过用一种资源代替另一种资源的方式来提高程序的性能。 1.WARP 和线程执行 （二）中写到，CUDA 设备将若干线程捆绑执行。把每个线程块划分成 warp。warp 的执行由 SIMD 硬件完成。 上图说明了 warp 的组织形式。处理器只有一个控制单元进行取指和译码操作，同一个控制信号进入多个处理单元，每个处理单元执行 warp 中的一个线程。由于所有处理单元都由一条指令控制，所以它们执行结果差异就取决于各各单元...

2-01 物理层要解决哪些问题？物理层的主要特点是什么？ 要解决的问题： 屏蔽掉硬件设备与传输媒体的差异，使比特流在传输媒体上透明的传输。 用多大电压表示1和0，以及接收方如何识别发送发所发送的比特 确定连接电缆的插头有多少根引脚，以及各引脚如何连接。 特点： 物理连接方式多，传输媒体种类多，物理层协议多。 2-02 规程与协议有什么区别？ 用于物理层的协议也常称为物理层规程，因为协议出现前就已经使用规程这个词了。 2-03 试给出数据通信系统的模型并说明其主要组成构建的作用。 源点： 源点设备产生要传输的数据。源点又称为源站或信源。发送器： 编码源点生成的数字比特流。不编码...

前两节中写了如何编写调用大量线程来计算矩阵加法和乘法的 kernel 函数。但这些线程要处理的数据是先从全局储存器中访问，而全局储存器是通过 DRAM 来实现，访问速度慢，而且它的路径上容易发生拥塞现象，只允许很少线程继续访问，因此导致一些 SM 处于空闲状态。下面主要解决存储器的访问速度慢的问题。 1. 存储区访问效率的重要性 矩阵乘法中每个线程就是计算一个结果矩阵中的值： for(int k = 0;k < width;++k) PValue += d_M[Row * width + k] * d_N[k * Width + Col]; 该循环每次循环都访问两边存储器，d_M...

1-01 计算机网络可以向用户提供哪些服务？ 很多 1-02 试简述分组交换的要点。 答：采用了存储转发技术，即将报文（要发送的整块数据）划分为几个较小的等长数据段，在每个数据段前加上必要的控制信息组成的首部，这些带有首部的数据段就构成了分组。首部中包含了目的地址和源地址等重要控制信息。分组交换在传输数据之前不必占用一条端到端的通信资源，路由器接收分组后，先临时存储下来，检查其首部，查找转发表，按照首部中的目的地址，通过适当接口转发给下一个路由器。分组在传输时逐段占用通信资源，省去了建立链接和释放链接的开销，传输效率更高。优点：高效：在分组传输的过程中动态分配传输带宽，对通信链路逐段占用...