标题
牙体嵌体修复的有效计算机辅助设计：一种深度对抗网络
Tian S, Wang M, Yuan F, et al. Efficient Computer-aided Design of Dental Inlay Restoration: A Deep Adversarial Framework[J]. IEEE Transactions on Medical Imaging, 2021.
摘要
修复断牙的正常咀嚼功能是一项具有挑战性的任务，主要受制于患者牙齿缺损的位置和大小。近年来，虽然一些代表性的图像到图像的转换方法（例如：Pix2Pix）可能适用于修复缺失的牙冠表面，但是大部分的牙体嵌体表面都无法生成逼真的牙冠细节（如：咬合槽），而这些细节对修复不同形状的有缺陷的牙齿至关重要。在本文中，我们设计了一个计算机辅助的深度对抗驱动的牙体嵌体修复（Deep Adversarial-driven dental Inlay reStoration, DAIS）框架，这个框架用来自动重建一个有缺陷的牙齿的真实表面。具体来说，DAIS是由一个拥有特别设计的损失测度的Wasserstein生成式对抗网络（WGAN），和一个全新的局部——全局判别器机制。局部判别器关注于缺失的区域，以确保生成的咬合面的局部一致性；而全局判别器用于评估缺陷牙齿与邻牙作为一个整体的一致性。实验结果表明，DAIS能够有效地处理问题牙齿存在的任意形状的大面积缺失，并且生成逼真的咬合面补全。而且，设计好的水密的嵌体假体拥有充分的解剖形态，因此相比许多最先进的方法，DAIS能够提供更高的临床适用性。
关键词
自动化嵌体修复 牙齿假体设计 深度对抗网络 牙体缺损
Sec01 介绍
在口腔诊所，牙齿缺损[^1]是由龋病、外伤、酸蚀等引起的硬组织损伤，其发生率高达 $24%~53%$[^2]。它不仅破坏患者牙齿的生理和解剖结构，而且破坏正确的咬合关系。牙齿嵌体（见图1）是一种三维修复体，其嵌入缺陷牙体的位置、重建咬合面形状[^3]、恢复咬合功能[^4]。在口腔医学的临床实践中，牙齿嵌体假体（dental inlay prostheses, DIP）通常利用计算机辅助设计（computer-aided design, CAD）技术，以缺陷牙修复标准模板为基础进行制作。然而，由于需要进行大量的人工咬合调整以恢复正确的咬合功能，因此重建具有形态多样性的牙齿确实是个挑战。
图1：典型的3D牙齿嵌体的例子。第一行展示的是牙齿嵌体和残留的牙齿表面的对应关系，第二行提供的是牙齿嵌体相应的物理模型。
CAD 驱动的 DIP 设计已经广泛应用于口腔修复术中，但是在实际操作过程中仍然需要大量的人工交互。特别是生成具有解剖意义的修复体形态，通常是从先进的商用牙科 CAD 系统中选择一个标准牙齿模板[^5]。然而，在许多欠发达国家和偏远的区域，昂贵的高端牙科修复设备是无法负担的[^6]。此外，只有有限的标准牙科模板数据可供使用也使表达牙齿的自然形态的复杂特征变得困难。牙科技术人员的设计经验也是现实中实际 DIP 设计的难点。因此，开发一种数据驱动的智能设计方法用于提高 DIP 的质量和减轻牙医在现实中的工作量是迫切需要的。
随着医院门诊数量的增加，牙医获取了大量的修复病例信息，这些信息仅用于了个体的嵌体修复设计。因为缺乏对海量案例数据的深度挖掘和处理，以及没有对成功案例的总结和重用，所以造成了数据资源的浪费。因此，对新一代数据驱动的智能修复方法探索可以建起口腔嵌体数据与牙齿修复经验知识之间的桥梁。然而，开发数据驱动的DIP方法也存在下列挑战：
1）缺乏大型数据库来训练深度网络从而满足基于牙齿的应用[^7]；
2）不同受试者的牙齿，其缺损的位置和大小的差异很大，增加了模型训练的难度；
3）如何保证深度学习模型生成的嵌体表面与残齿表面的牙洞轮廓匹配。
近年来，DIP 技术的发展有了初步的成果，大致可分为:面向计算机图形学（computer graphics, CG）和面向深度学习（deep learning, DL）。在面向CG的牙体修复方法中，基于 CAD 的牙体修复方案以其高效率、高精度逐渐取代了传统的手工设计方法[^8]。例如：Steinbrecher[^9]等人采用迭代的 Laplacian 表面编辑来变形牙模板，重建有缺陷的咬合面。Jiang[^10]等人设计了基于迭代 Laplacian 约束变形的全陶瓷冠。Zhang[^11]等人建立了牙齿形态的数学表示，通过使用大量的磨牙样本获得了一颗平均牙齿。Zhang[^12]等人提出了一种基于标准牙齿库的鲁棒的双因子有约束的变形框架，用于对牙齿嵌体建模。Zheng[^13]等人开发了一种3D变形方法，通过基本的 Snake 模型和径向基函数来重建缺失的嵌体的或者冠的咬合面。值得注意的是，上述的牙嵌体修复方法需要通过控制变形点，手动调整标准牙模板的咬合面形状。使用手工选取的变形点虽然可以获得预期的结果，但是存在明显的缺点：
- 需要熟练的操作技能；
- 需要较长的时间用于调整 DIP 的设计；
- 高度依赖于鲁棒的变形算法，这是需要解决的另一个难点。
在面向 DL 的方法中，某些深度学习模型[^14][^15][^16][^17][^18][^19]由于其卓越的性能已经被应用于牙科图像处理中。例如：Hatvani[^14]等人开发了一种基于U-Net的重建方法来增强牙科的计算机断层扫描（computed tomography, CT）图像的分辨率。Zhang[^15]等人采用级联卷积神经网络（convolutional neural networks, CNN）结构进行牙齿位置的自动识别。Lee[^16]等人开发了基于VGG-19网络的计算机辅助检测系统，用于牙齿受损周期的诊断和预测。Hwang[^17]等人应用了一种基于Pix2Pix[^20]模型的自动化方法，通过对统计特征的学习来设计牙冠。Xu[^18]开发了一种 2D CNN 网络对 3D 牙齿表面进行分割，并且采用模糊聚类算法对边界进行优化。与Xu[^18]等人类似，Lian[^1]等人设计了一种端到端的深度学习方法，称为MeshSegNet（网格分割网络），用于在原始的牙齿表面自动标注牙齿。Yuan[^19]等人开发了一种基于Pix2Pix的网络，用于咬合面的生成。在牙科图像处理问题中，相比最先进的基于CG的方法，虽然一些深度模型获得了更好的结果，但是这些方法大多是为了某些特定的牙科任务而设计的，而没有考虑牙齿嵌体修复问题，因此面对上述挑战，这些方法在牙齿嵌体表面生成任务中受到了限制。
随着大规模训练数据的出现和训练方法的发展，生成式对抗网络（generative adversarial network, GAN）通过学习复杂的生成式模型[^21][^22][^23]在合成逼真图像方面取得了优异的成绩。一旦GAN经过良好的训练，就能够学习到训练数据的潜在分布，并且生成具有相同分布的新样本。You[^24]等人建立了一个循环的Wasserstein回归对抗训练框架，用于CT的超分辨率图像，并且在半监督学习机制中对于保存解剖细节和抑制图像噪声方面产生了有希望的结果。Mardani[^25]等人提出了一个基于压缩感知的磁共振图像（magnetic resonance image, MRI）重建方法到GAN中，用于重建高质量的图像。此外，不同的损失函数（如：感知损失和对抗损失）也被设计来增强低剂量CT重建[^26][^27][^28]中图像的质量，这个方法可能对图像补全有用。
在本文中，我们开发了一个计算机辅助的由深度对抗驱动的牙齿嵌体修复框架，用于自动重建一个有缺陷牙齿的真实表面。所提出的DAIS模式有几个优点：
- 适用于从入门到专业的任何级别的牙科技师；
- 口腔临床牙齿嵌体修复过程高度自动化，修复时间短；
- DAIS 设计的嵌体与残齿表面的牙腔轮廓吻合良好，不再需要人工交互。
与以往的方法不同，我们的主要贡献如下：
- 我们建立了一个大型的牙嵌体数据库，这是DIP中第一个基于深度学习的公共可用数据库；
- 我们设计了一种新的用于牙嵌体修复的Wasserstein生成式对抗网络（WGAN），网络包括一个“编码–解码”生成器，生成器具有专门设计的训练策略（如：感知损失、直方图损失和咬合槽损失）和一个新的双重“局部–全局”判别器网络。
- 我们在牙嵌体框架中开发了一个完全深度学习驱动的形状设计，包括牙齿深度生成、基于深度学习的修复网络和修复体设计。所提出的 DAIS 方案在真实的患者数据库上展示了优越的性能。而且，实验结果表明DAIS拥有充分的解剖形态和较高的临床适用性。
本文的其他部分组织如下：
第二节，介绍了嵌体修复网络的原理和三维嵌体设计的方法；
第三节，介绍了实验的结果和不同方法的比较结果；
第四节，总结了我们的结论和未来的安排。
Sec02 提出的深度对抗驱动的牙体嵌体修复网络
在本节中，我们首先给出了DAIS的总体流程图（图2），然后是DAIS的三个主要步骤：
1）牙体深度生成；
2）基于深度学习的修复网络；
3）修复体设计。
在深度图生成步骤中，我们采用的是自适应视觉距离正交投影方法来生成深度图。在牙嵌体修复阶段，我们设计了鲁棒地深度对抗网络用于生成牙体图像，在其中开发了双重判别器网络（dual discriminator network, DuNet）用于改善生成的牙体表面的质量。在修复体设计阶段，我们对生成的咬合面质量评估了几个客观指标。最后，我们提出的 DAIS 框架交付了一个水密的三维嵌体。
图2：提出的DAIS框架的总体流程图。首先，使用正交投影设计方法计算输入的点云，输出大小为$256\times 256$ 的深度图。其次，基于编码——解码生成器和双重判别器的嵌体修复网络被用于合成丢失的咬合面。最后，使用内部面和生成的咬合面来设计牙嵌体。
A. 生成深度图
牙齿深度图是一个具有距离信息的视觉图像，图像中既包含图像的特征，还包含三维牙模的空间信息。为了保留牙体模型的几何信息，我们设计了一个自适应的基于视觉距离的正交投影方法，用于获得咬合面的深度图，深度图中描述了每个像素从投影平面和咬合面的最小欧式距离（见图3），类似于位移图和测地距离变换方法[^29][^30]。深度图直接在欧氏空间中操作，并且更多详细的特征可以通过GAN在咬合面上生成。
图3：深度图生成说明。投影平面位于与牙体模型边界盒平行的一个适当距离，并且被划分为$256\times 256$个网格。最短距离$d$由计算得到，其位置在投影平台和牙冠表面之间，定位的位置是$P(x_m,y_n,d_{mn})$
牙体深度图生成的详细步骤如下：
1）获取边界盒参数 $C_{Box}$，然后基于中心点 $(0,0,C_{Box}+\gamma)$ 重建有方格图案的投影面；
2）将投影面分割成不重叠的$256\times 256$个网络，网络对应于给定深度图的像素点，然后计算每个网格中心点的坐标并将它们存储在集合 $P(x_m,y_n,d_{mn})$中；
3）从每个网格中心点到咬合面计算最短距离$d$；
4）设置距离阈值 $h$ 和转换比例 $\mu$，并将距离 $d$ 映射到像素值的范围 $0\sim255$，计算公式定义如下：
$$
pixel=
\begin{cases}
&255,&if\quad d=0\
&\mu\dot\max{0,h-|P(x_m,y_n,d_{mn})-P_{object}|_d},&if\quad0<d<h\
&0,&if\quad d\geq h
\end{cases}
$$
其中，$\mu=255/h,h=7$。基于大量的实验，当$\gamma=1.5$时，咬合面的特征信息能够保留较多。$\gamma$是一个模型参数，用于调整投影面(projection plane)和临近面(near plane)的距离。
B. 深度牙齿嵌体修复网络
在本节中，我们以 Pix2Pix-CGAN [^20]为架构基础，设计了一种新颖的牙齿嵌体修复网络架构，为缺陷牙创建功能性咬合面。图4描述了所提出的 DAIS 网络，该网络由一个生成式模型、一个双重判别器模型和一个解析模型组成。如图4所示，生成器网络采用$4\times 4$的卷积滤波器，步长值为2。判别器采用了与生成器相同的滤波器核和步长，只是最后一层的步长调整为1。由于直接在残牙上生成不同类型的嵌体非常具有挑战性，我们采用 DuNet 来解决这个问题，每个网络专注于一个方面。为了进一步确保生成的图像更加真实，我们设计了咬合槽解析网络（groove parsing network, GroNet）作为额外的损失度量去调整生成式网络。
图4：提出的深度对抗网络：(a)生成器网络；(b)局部判别器网络；(c)全局判别器网络；(d)GroNet。
生成器网络包括：一些“卷积–批量归一化–ReLU”编码层块和一些“解卷积–批量归一化–Dropout–ReLU”解码层块，其中的跳线连接被应用在镜像层之间。
局部判别器网络由“卷积–批量归一化–ReLU”层组成，其中P1、P2和P3层被用于评估感知对抗损失。
全局判别器是一个 CNN 网络，用来判别生成的图像以及目标牙齿的真伪。
槽解析网络（GroNet）是一个预训练网络，其目标是进一步保证生成的咬合面具有真实感。
1）深度对抗网络建模
GAN 被广泛应用于从给定的已有数据空间中估计潜在样本空间分布。与典型的 GAN 相比，WGAN[^22]使用Wasserstein 距离而不是 Jensen-Shannon 散度来测量数据分布，这样可以避免由于样本分布距离不连续导致的训练困难问题。为上，我们提出了一个以 Wasserstein 距离作为差异度量的牙齿嵌体生成网络，并在已经建立的特征空间中设计一个全面的损失度量。
我们的主要网络架构包含一个生成器，两个 DuNet 判别器和一个 GroNet 解析器。这种基于“编码器–解码器”的生成网络用于修补咬合面的图像。
DuNet 由一个局部的和一个全局的判别器网络组成，用于恢复真实的咬合面。在训练过程中，全局判别器网络以缺陷牙齿和相邻牙齿作为输入，而局部判别器网络仅以缺陷牙齿作为输入。DuNet 通过训练来判断咬合面图像是真实的还是由生成网络完成的。
GroNet 是通过一个 Pix2Pix 模型预训练得到的，并且在使用中锁定参数，这是为了进一步增强生成的凹槽和物体的像素之间的协调性。
此外，设计三个综合损失函数是为了保证重建的质量，包括：
- 一个感知特征损失，用于评估生成的咬合面与目标冠之间的差异；
- 一个直方图损失，用于恢复精确的咬合接触关系；
- 一个 GroNet 损失，用于提高恢复的牙齿与对面牙齿两个咬合槽之间的一致性。
在牙齿修复中，如果我们只关注咬合面的解剖特征，就无法完全恢复受损牙齿的功能性。此外，我们还必须考虑咀嚼运动时上下牙齿之间的接触性，即理想的修复体咬合面与对应牙齿之间有一定的干涉强度。在这项研究中，我们使用了对齿 $c$ 和两颌之间的间隙距离 $d$ 作为咬合空间关系的两个约束条件，用于指导生成器 $G$ 去产生更好的嵌体表面。同时，为了减小生成的嵌体 $G(z)$ 与目标嵌体 $x$ 之间的特征偏差，我们使用 $L1$ 正则化作为网络的约束损失。WGAN 的目标函数公式化为：
$$
\min_G\max_D V(D,G)=\mathbb{E}{x\sim P{data}(x)}[D(x|(c,d_{gap}))]-\mathbb{E}{z\sim P_z(z)}[D(G(z|(c,d{gap})))]
$$
其中，$G$为生成器，$D$为判别器，$x$为从真实数据分布$P_{data}(x)$中抽取真实图像的样本，$z$为从先验分布$P_{z}(z)$中抽取的输入噪声变量。
虽然 WGAN 可以制作一个生成咬合面的生成器，但是一个全面的损失度量可以有效地增强生成的咬合面的细节的真实感和多样性。因此，我们设计了一个全面的生成损失 $L_G$，基于一个新的生成损失 $L_{WG}$，一个感知生成损失$L_{PG}$，和一个GroNet损失 $L_{GroNet}$：
$$
L_G=L_{WG}+\lambda_{PG}L_{PG}+\lambda_{GroNet}L_{GroNet}
$$
其中，$\lambda_{PG}$和$\lambda_{GroNet}$是对应的损失函数的两个平衡权重。
全部的联合对抗损失$L_D=L_{D_{local}}+L_{D_{global}}$考虑了一个局部对抗损失$L_{D_{local}}$和一个全局对抗损失$L_{D_{global}}$。
2）“局部–全局”判别网络
$L_{WG}$常被定义为$L_1$正则化损失$L_{L_1}$。这个正则化项作为一种统计度量来惩罚生成的图像与其相应的基准真实值之间的偏差。$L_{L_1}$被广泛应用于许多图像处理任务中，但是单独在 DIP 中使用它会导致一些令人不满意的结果。因此，我们采用加性间隙距离直方图分布损失 $L_{histogram}$ 来共同指导 WGAN 的训练。
新一代损失$L_{WG}=\arg\min_G V(D,G)+\lambda_{L_1}L_{L_1}+\lambda_h L_{histogram}$由三部分组成：
生成式损失$\arg\min_G V(D,G)$，$L_1$损失$L_{L_1}$，和直方图损失$L_{histogram}$，$\lambda_{L_1}$和$\lambda_h$是两个常数权重因子。
直接使用$c$和$d_{gap}$作为两个约束条件可以避免生成的冠和对应牙齿的过度干涉。然而，大面积缺失咬合面的形态和解剖特征会导致重建的效果相对较差 。为了使有缺陷的牙齿恢复正确的咀嚼功能，在生成的咬合面和对应的牙齿之间应该拥有一定数量的合理的咬合干扰区域。上下牙齿之间的间隙距离用于表示损失直方图来测量$G(z)$和$x$之间的差别。随后，我们使用直方图损失$L_{histogram}$来表示生成的咬合面的间隙距离直方图分布$h_{fake}$和目标牙齿与对应牙齿的分布$h_{real}$。直方图损失$L_{histogram}$的计算如图5所示。因此，通过减少后续的咬合调整，我们恢复了一个更好的咬合接触关系。我们提出的目标损失函数是：
$$
L_{histogram}=\mathbb{E}{x,c,d{gap},z}[\sum_i\frac{(h_{fake(i)}(f(x,d_{gap},G(z)))-h_{real(i)}(f(x,c,z)))^2}{\max{1,h_{real(i)}(f(x,c,z))}}]
$$
其中，$f(\cdot)$描述了间隙距离函数，$z$描述了输入噪声，并且第$i$个箱子的模型化由可微的、分段的、线性函数实现：
$$
h_{k,b}(x_k)=\sum{\max{0,1-|x_k-\mu_{k,b}\times\frac1{\omega_{k,b}}}}
$$
其中，$\mu_{k,b}$表示了第$b$个直方图箱子在第$k$个分类中，并且$\omega_{k,b}$是第$b$个箱子的宽度。
图5：计算咬合间隙距离的直方图说明。首先计算的是在目标嵌体$x$和对应牙齿$c$之间的咬合间隙距离$h_{real}$。同样计算的是生成嵌体$G(z)$和对应牙齿$c$之间的咬合间隙距离$h_{fake}$。然后，直方图偏差$L_{histogram}$被表述为$h_{fake}$和$h_{real}$之间的偏差。
虽然提出的生成器可以被训练，从而用于合成缺失的咬合面，但是它不能保证生成的嵌体表面的视觉真实性和一致性。为了获得更加真实的结果，我们采用了一个新的 DuNet 充当二元分类器去分辨真实的图像与生成的图像。DuNet 的目标是帮助改善合成的咬合面的质量，即生成的嵌体面能够欺骗训练的判别器。
在 DuNet 模式中，我们首先提出了一个局部判别器 $D_{local}$ 用于确定缺失区域上合成的咬合面是否是真实的。为了进一步提高重建缺陷牙齿上解剖特征的能力，我们在 DuNet 的训练中引入了感知损失。具体来说，在 $D_{local}$ 中感知损失作为一种统计度量来惩罚生成的咬合面和其目标冠之间高维特征的偏差。通过对抗过程，$D_{local}$ 能够最大限度地捕捉图像之间的差异，使得生成的咬合面更加接近目标冠。
$D_{local}$ 的完整的局部对抗损失函数公式为：
$$
L_{D_{local}}=\arg\max_{D_{local}}V(D_{local},G)+\lambda_{PD}\mathbb{E}{x,c,z}[\max{0,m-L{PG}}]
$$
其中，第一项是对抗损失，第二项是提出的感知对抗损失$L_{PD}$，$\lambda_{PD}$是一个正的权重因子常量，$m$是一个正的临界值。
虽然 WGAN 鼓励生成器将样本分布从无序转变为有序，但是它仍然需要附加的损失测度来抑制伪影和提高咬合面生成的性能。通常，采用感知的生成损失测度，其目的是发现并减少生成的咬合面与目标冠之间的差异。感知生成损失函数的公式为：
$$
L_{PG}=\mathbb{E}{x,c,z}[\sum_i\lambda_i\frac1{C_i\times H_i\times W_i}\sum{i=1}^N|h_i(z)-h_i(G)|]
$$
其中，$C_i\times H_i\times W_i$是第$i$个隐藏层$h$的大小，$\lambda_i$是一个常量 。
在训练阶段，$D_{local}$ 关注于受损的牙齿区域的重建，其目的是通过学习目标形态特征来约束生成器。然而，$D_{local}$ 局限于从整个齿列信息中抽取特征，不能保证重建区域的形态与冠面的其余部分保持统计的一致性和特征的连续性。因此，我们采用了一个附加的全局判别器 $D_{global}$ 来进一步抽取缺陷牙齿与相邻牙齿之间的相关性特征。
其基本思想是新生成的嵌体面不仅要逼真，而且要与残存牙齿的表面和相邻牙齿的表面一致。通过将 CGAN 的思想集成到 WGAN 中，网络的全局对抗损失函数的公式为：
$$
L_{D_{global}}=\arg\max_{D_{global}}\mathbb{E}{x,c,z}[D{global}(x,c,d_{gap},z)-D_{global}(x,c,d_{gap},G(z))]
$$
3）基于咬合槽的损失测度
由于牙尖、咬合槽等多种解剖特征分布的存在，牙冠表面是复杂的。有时，牙齿的大部分咬合形态可能会丢失，在这种情况下，基于残留冠的形状依赖感知损失约束来重建原始牙齿的槽特征是很困难的。牙冠表面独特的槽特征决定了咀嚼过程中食物流动的方向和咀嚼的效率，也被用来评价牙体修复治疗是否成功。因此，我们引入了一个新的 GroNet 使得新生成的咬合面保留更多真实的细节，并且增强修复牙的咬合槽的一致性。将生成的咬合槽的解析解与原始的相比，再通过$L_1$正则化将差异最小化：
$$
L_{GroNet}=\mathbb{E}_{x,c,z}[|F(x)-F(G(z,c))|_1]
$$
其中，$|\cdot|_1$表示$L_1$范数，$F(\cdot)$为固定参数的咬合槽提取网络，其用于提取生成的咬合面的咬合槽及其对应的目标冠，$x$为目标牙，$c$为对应牙，并且$z$为输入噪声。
C. 轻量级嵌体表面分割
提取牙齿的生物特征线（Dental Biological Feature Line, DBFL）是牙齿 CAD 系统的关键环节之一。为了快速准确地提取平滑的边缘轮廓线，我们设计了一种基于启发式搜索策略的轻量级交互式 DBFL 提取方法。提出的这个方法使用启发式搜索策略来检测特征的区域，然后自动绘制两个选定点之间的牙洞轮廓线。而且，不需要专业水平的人员完成交互式操作，轮廓线对不确定性的影响也不敏感。表一列出了三种嵌体类型的交互点的数量和运行时间的全部结果。
表一：三种嵌体类型的分割结果
| 嵌体类型 | 三角型数目 | 交互点数目 | 运行时间（秒） |
|---|---|---|---|
| 单面 | 22145 | 3 | 6 |
| 四面 | 15691 | 5 | 10 |
| 高嵌 | 54837 | 5 | 9 |
当生成牙洞轮廓线时，依次搜索缺陷牙齿上包含了特征线的三角网格。最终，分别使用三角剖分法和种子填充算法分割内嵌体的表面（图6(a)）。由于咬合面是基于生成的图像计算的，而图像是使用距离-灰度映射关系和区域生长方法生成的，所以外表面分割不同于牙齿预备阶段的内表面分割。
我们提出的轻量级嵌体表面分割算法的描述如下：
第一步：将牙齿预备的内表面偏移给定的距离（0.05毫米），用于模拟固定修复体的粘合层（图6(b)）。
第二步：基于三维模型的网格拓扑找到偏移内表面的边界点$V_{in}{v_0,v_1,v_2,\cdots,v_n}$。以空间点集$V_{in}$中的$v_0$作为起点，在生成的冠上沿着 $z$ 轴投影获得投影点。迭代这个过程，直到$V_{in}$中的所有点都完成投影。
最终，通过B样条插值拟合生成曲线，然后得到分割后的嵌体外表面（图6(c)）。
图6：边缘位置的描述和咬合面的模型化：(a)残留牙齿分割；(b)内表面；(c)外表面；(d)嵌体假体的初始位置；(e)调整咬合面；(f)嵌体假体。
D. 牙科嵌体建模
假体的边缘质量是牙齿嵌体建模的关键因素。此外，咬合面的边界形状与边缘线在设计过程中应该保持一致。在咬合面被分割以后，获得了嵌体的最初咬合面。尽管重建的牙冠和缺损的牙齿在空间上的完全对齐的，但是在分割后的内表面与缺损表面之间的轮廓线距离并非均匀分布的（参见图6(d)中的局部交错区域）。因此，不能直接将内表面与外表面拼接起来。
为了保证内表面边界及其对应的咬合面边界之间的距离满足均匀分布，我们采用拉普拉斯变换[^31]，基于内表面的边界去约束外表面的边界区域。拉普拉斯变换用于控制网格模型的顶点位移。变形后的网格模型的顶点坐标通过笛卡尔坐标和拉普拉斯坐标之间的映射关系得到。这种映射关系的描述如下：
$$
\delta_i=\frac1{|\Omega_i|}\sum_{j\in N(i)}\frac12(\cot\alpha_{ij}+\cot\beta_{ij})(v_i-v_j)
$$
其中，$\delta_i$表示拉普拉斯坐标，$v_i$表示笛卡尔坐标中的第$i$个顶点，$|\Omega_i|$表示第$i$个泰森多边形（Voronoi）单元的大小，$\alpha_{ij}$和$\beta_{ij}$表示边$(i,j)$的两个角度，$N(i)$表示邻域顶点集。目的是通过拉普拉斯坐标间接控制从咬合面顶点到目标顶点的位移，从而实现咬合面的边界约束。为了使设计的修复嵌体更好地匹配预备的牙洞轮廓，利用内表面的边界作为约束特征重建咬合面的目标边界顶点，然后将原咬合面边界变形为目标边界顶点。
咬合面边界定位算法的细节如下：
1）为了更加精确地建立咬合面的初始边界点 $V_{in}$ 和目标边界点 $V_{out}$ 之间的匹配关系，我们将Sec02-C中计算的边界点 $V_{in}$ 作为初始的目标点集使用 B-样条插值（见图6(b)）去重构满足均匀分布的目标边界点 $V’_{in}{v’_0,v’_1,v’_2,\cdots,v’_n}$；
2）为了减少由边界变形引起的在咬合面上网格变形，我们采用最短距离准则从目标点集 $V’{in}$ 选择 $V{out}$ 中的一组与内表面的边界点匹配的点构成一个集合；
3）边界变形基于拉普拉斯变形技术实现（见图6(e)）；
4）最后，我们使用网格拼接算法[^9]来修补调整后的外表面与内表面的边界（见图6(f)）。
我们可以发现，使用这种方法设计的水密修复嵌体边缘区域过渡自然，无明显的网格变形，满足生理解剖学的要求。
E. 提出的DAIS架构的工作流
在本节中，我们将牙科嵌体设计系统的工作流程详述如下（完整的流程图见图2）：
第一步：输入缺损牙齿的特有模型；
第二步：执行Sec2-A中描述的基于视觉距离的正交投影方法来生成相关的深度图；
第三步：使用Sec2-B中描述的DAIS修复模型生成患者正常咀嚼功能的咬合面；
第四步：利用距离-灰度映射和区域生长方法，将缺陷牙齿的咬合面重建为三维冠面；
第五步：同时，利用启发式搜索算法提取残牙的牙洞轮廓线，如图6(a)。
然后，使用Sec2-C中描述的三角剖分法和种子填充算法来分割牙齿嵌体的内表面。
第六步：点投影法：如Sec2-D中所述，使用拉普拉斯变形法分割和定位咬合面；
第七步：通过网格拼接算法（见图6(f)）合并咬合面和内表面来创建水密的三维修复嵌体；
第八步：通过DAIS输出修复的结果。
Sec03 实验结果
A. 假牙数据库
所我们所知，在牙齿的嵌体修复中，不存在公共的假牙数据库来支持深度学习训练的需要。在本文中，我们首先建立了一个牙科嵌体数据库。以促进未来基于深度学习的社区研究。由于我们没有足够的口腔医学的人力资源来收集患者受损的和修复的牙齿，我们与北京大学口腔医院和南京大学口腔医院合作，收到了人工提取的受损牙齿和邻近牙齿的样本。三维牙齿数据是基于3Shape牙齿扫描仪（D700，丹麦）从受试者的臼齿石膏模型中提取的。我们的牙科数据库中总共有830个牙齿样本。在数据库中，每个牙齿样本包含一颗预备牙、一颗相对牙和一个目标牙冠。嵌体有一种类型，包括：单面、双面、三面、四面和高嵌。每种类型至少包含100个不同的样本，表二汇总了数据的详细信息。
表二：假牙数据库概要
| 嵌体类型 | 年龄（35-40） | 年龄（41-45） | 年龄（46-50） | 合计 |
|---|---|---|---|---|
| 单面 | 51 | 48 | 23 | 122 |
| 双面 | 82 | 71 | 17 | 170 |
| 三面 | 62 | 64 | 22 | 148 |
| 四面 | 72 | 53 | 33 | 158 |
| 高嵌 | 107 | 82 | 43 | 232 |
| 总计 | 374 | 328 | 138 |
许多研究表明下颌的第一磨牙的护理频率最高[^9],[^11],[^12],[^13]，因此我们选择了第36号或者第46号牙齿有缺陷的患者作为主要的研究对象（见图7）。因为同名的牙齿（如：第一磨牙）通常是相似和对称的，因此这里不对36号与46号进行分割。在本文中，我们专注于五种类型的嵌体（见图7），这也是牙齿修复中最常见的五个问题。
图7：下颌第一磨牙出现缺损（绿色圆圈标注）的患者齿列示例
B. 设置训练参数
对于牙齿嵌体修复网络，将牙齿样本分成两个部分：选取750个牙齿样本用于训练，包括：112个单面嵌体、157个双面嵌体、132个三面嵌体、141个四面嵌体和208个高嵌；其余80个牙齿样本用于测试。在训练过程中，我们从训练数据中随机选择40个牙齿样本作为验证集，其中每个嵌体类型包括8个样本。本节中给出的所有计算结果都基于测试数据。提出的DAIS网络实现基于Tensorflow平台实现[^32]，主要参数设置见表三。所有实验的硬件环境：英特尔® 至强® 铂金 8168 处理器（2.70 GHz）、128G内存和GeForce GTX 1080Ti GPU。
表三：DAIS中使用的设置参数
| 参数 | 值 | 参数 | 值 |
|---|---|---|---|
| $\lambda_{L1}$ | 100 | $\lambda_{GroNet}$ | 50 |
| $\lambda_{PD}$ | 20 | $\lambda_{h}$ | 50 |
| $\lambda_{PG}$ | 50 | Momentum $\beta_1$ | 0.5 |
| $\lambda_{P1}$ | 1 | Momentum $\beta_2$ | 0.999 |
| $\lambda_{P2}$ | 2 | LReLU 斜率 | 0.2 |
| $\lambda_{P3}$ | 2 | 学习率 | 0.0002 |
C. 消融研究
1）损失函数结果：为了评估DAIS中使用的每个组件的性能，我们采用了一种逐渐增加训练复杂度的策略（见表四）。
表四：三种实验设置的总结
| 损失函数 | Test1 | Test2 | Test3 |
|---|---|---|---|
| $L_{L_1}$ | √ | √ | √ |
| $d_{gap}$ | √ | √ | √ |
| $L_{D_{local}}$ | √ | √ | √ |
| $L_{PG/PD}$ | √ | √ | √ |
| $L_{GroNet}$ | √ | √ | |
| $L_{D_{global}}$ | √ | √ | |
| $L_{histogram}$ | √ |
具体操作是将训练过程分成三个阶段：第一阶段（标记为Test1）使用Wasserstein距离、局部判别器、咬合的空间约束、L1损失函数和感知损失函数产生基础冠；第二阶段（标记为Test2），全局判别器和咬合槽约束用于进一步增强修复牙冠与邻近牙齿之间的完整性和协调性；第三阶段（标记为Test3），我们在网络中加入了咬合空间直方图损失函数，根据自然牙的咬合接触分布调整生成的牙冠与对牙之间的空间分布。分别进行了三个实验来评估不同网络组件的影响。实验的细节参见表四。图8显示了具有三种不同配置的典型恢复样本。第二行的放大的红色方框用于获得更好的视图。在基准值和Test1之间的残差值标记为 Res1 显示在第三行，其中越白的像素表示差异越大。类似地，与Test2和Test3的残差值分别表示为Res2和Res3.
表五：四种质量测试项的平均结果
| 测度 | PSNR↑ | RMSE↓ | MS-SSIM↑ | FSIM↑ |
|---|---|---|---|---|
| Test1 | 26.15 | 10.70 | 0.79 | 0.85 |
| Test2 | 28.18 | 7.63 | 0.81 | 0.87 |
| Test3 | 29.25 | 7.15 | 0.82 | 0.89 |
表五提供了不同设置（见表四）的平均性能。以原始牙齿作为参考对象，通过四个指标对重建结果进行定量评估，评估指标包括：均方根误差（RMSE）[^33]、峰值信噪比（PSNR）[^34]、多尺度结构相似性指数度量（MS-SSIM）[^35]、特征相似性指数度量（FSIM）[^36]。我们可以看出，Test3相比Test1在平均PSNR值上增加了3.10dB，平均RMSE值减少了3.55，表明DAIS可以生成高质量的牙齿图像。此外，MS-SSIM从0.79增加到0.82，表明了提出的DAIS在维护冠的结构方面的强大能力。FSIM从0.85增加到0.89，证明了DAIS测量两幅图像局部位置像素值差异的能力。
图8：不同损失函数的消融研究。
第一行展示了不同损失函数设置参数的结果；
第二行展示了第一行结果的局部放大；
第三行展示了基准值与相关的损失函数设置参数输出结果的残差。
在训练过程中，记录每次迭代过程中的 $L_1$ 损失函数 $L_{L_1}$、感知损失函数 $L_{PG}$、Wasserstein距离损失函数 $L_{WG}$、咬合槽损失函数 $L_{GroNet}$ 和直方图畸变损失函数 $L_{histogram}$，用于监测 DAIS 的收敛性。感知损失函数反映了生成结果和基准数据之间的相似性。Wasserstein 距离损失函数反映了生成器输出数据和目标数据的概率分布之间的相似性。咬合槽损失函数进一步保证了生成的咬合面更具图像真实感。直方图损失函数用于度量生成的咬合面和对牙之间差异。为了评估 DAIS 中使用的每个损失的性能，我们在网络训练过程中采用了分阶段的训练方法。如图9中收敛曲线所示，DAIS 实现了损失值的平稳下降。当所有的曲线变得稳定，所有的损失值都低于阈值时，我们将提前终止训练。
图9：训练损失与训练迭代。DAIS采用了基于阶段的训练策略：第一阶段使用三个损失函数，第二阶段使用四个损失函数，第三阶段使用5个损失函数。
表六：不同滤波器尺寸、层数和 patch 尺寸的结果比较
| 测度 | 滤波器尺寸 | 滤波器尺寸 | 滤波器尺寸 | 层数 | 层数 | 层数 | 层数 | patch 尺寸 | patch 尺寸 | patch 尺寸 | patch 尺寸 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| $3\times3$ | $4\times4$ | $5\times5$ | 11 | 13 | 15 | 17 | $1\times1$ | $14\times14$ | $16\times16$ | $64\times64$ | |
| PSNR↑ | 28.73 | 29.25 | 29.17 | 27.25 | 28.21 | 29.25 | 29.11 | 26.43 | 29.25 | 29.12 | 29.21 |
| FSIM↑ | 0.86 | 0.89 | 0.88 | 0.85 | 0.88 | 0.89 | 0.89 | 0.84 | 0.89 | 0.87 | 0.88 |
2）模型参数的选择结果：在本节中，执行的实验展示了不同滤波器尺寸、层数和patch的尺寸下生成器网络（见图4）的效果。
- 滤波器尺寸：基于不同滤波器尺寸评估 DAIS 网络的灵敏度。GroNet 的滤波器是固定的，而生成器网络的滤波器大小分别设置为$3\times3$、$4\times4$和$5\times5$。表6显示滤波器尺寸为$4\times4$时效果最好。
- 层数：为了训练网络，学习模型可以通过调整网络的深度而受益。通过将生成器网络的层数分别调整为从11到17来进行实验，基于当前的15层网络（见图4），以对称的方式移除或者添加CNN层。例如：11层网络表示特征图大小为$16\times16$和$8\times8$的CNN层被移除；13层网络表示特征图大小为$4\times4$的CNN层被移除；17层网络表示特征图大小为$16\times16$的CNN层被加入在相同的位置上。
- patch 大小：一般来说，使用基于patch的CNN可以降低网络的复杂度，但是需要增加训练样本的数量。因此经，分别采用尺寸为$1\times1$、$14\times14$、$16\times16$和$64\times64$的patch来评估DAIS的性能。表六显示了一个小的patch尺寸（如：$1\times1$）受观察域的影响，只能提供最低的性能。此外，$16\times16$和$64\times64$的patch尺寸相比$14\times14$没有任何优势。因此，我们在实验中采用的是$14\times14$的patch尺寸。
表七：四个不同参数$\gamma$的平均结果
| 测度 | $\gamma=0.5$ | $\gamma=1.0$ | $\gamma=1.5$ | $\gamma=2.0$ |
|---|---|---|---|---|
| PSNR↑ | 28.43 | 29.18 | 29.25 | 28.65 |
| FSIM↑ | 0.85 | 0.88 | 0.89 | 0.86 |
表七提供了深度图的质量对整个系统的影响，通过调整参数$\gamma$可以生成不同质量的牙齿深度图。例如：生成甲种类型的牙齿深度图（见图3）用于训练，平均结果见表七。可以观察到，参数$\gamma=1.5$相比其他三个参数性能最好。因此，在实验中使用$\gamma=1.5$得到的深度图来训练DAIS。
D. 损失度量的敏感度评估
为了验证直方图损失函数 $L_{histogram}$ 的性能，我们计算了图10展示的牙齿之间的咬合距离的直方图。可以看到，当 DAIS 中没有启用直方图损失时（如：图10(a)），0毫米附近有大量的直方图的分箱，这个现象说明生成的牙冠与对牙之间有太多的干扰点。此外，相比于自然牙齿的直方图还有一个较长的“尾巴”（如：大于4毫米处），这个现象说明许多生成的牙冠具有大的咬合距离。通过比较所示，增加直方图损失约束后得到的结果（如：图10(b)）更加接近于自然牙齿的结果（如：图10(c)）。
图10：咬合间隙距离的直方图：(a)没有$L_{histogram}$；(b)使用$L_{histogram}$；(c)自然牙齿。
而且，为了分析咬合槽形状约束对生成器的影响，我们对比了添加 GroNet 损失 $L_{GroNet}$ 前后的槽的整体形状。图11表明，随着训练迭代次数的增加，生成的凹槽形态的相似性逐渐增设。当迭代次数接近 100K 时，嵌体上生成的咬合槽形状非常接近物体的形状。这表明 GroNet 损失在牙冠修复中起到了预期的作用，并且对生成的牙冠形状有着积极的影响。
E. DAIS 特征的可视化
由于更深的神经网络具有自动学习表示高维特征的能力，因此期望在基于图像的变换任务中具有更高的效率和准确性。当使用深度学习模型提取图像特征时，诸如轮廓和梯度等基本结构特征通常在较浅的层中提取，而高维抽象特征在较深的层中提取。因此，我们可视化了一些已经学习得到的特征，以便更好地理解 DAIS。
图12：P1、P2和P3层的可视化结果。P1层试图捕捉轮廓线和咬合面，而P2和P3层更倾向于提取咬合面的高维抽象特征。
图12显示了P1、P2和P3层的输出（见图4(b)），分别是128张$64\times64$的特征图、256张$32\times32$的特征图和512张$16\times16$的特征图。我们可以发现由较浅的层生成的特征图相对稠密，并且边界也是清晰的，而较深的层生成的特征图相对稀疏，这与[^37]一致。
F. 与最先进方法的结果比较
1）定性结果：在本节中，我们基于Sec3-A中描述的测试数据库，将DAIS与Pix2Pix[^20], PAN[^38], GFC[^39]和Dental-GAN[^19]进行了比较。
Pix2Pix是一个有代表性的图像到图像的转换网络，它利用U-Net[^40]作为生成器，使用基于patch的全卷积网络作为判别器。
PAN有两个前馈卷积网络组成（如：变换网络和判别网络），其可以捕捉更多细节，并且生成更加逼真的合成内容。
GFC由一个生成器和一个判别器组成，生成器使用带有两个对抗的损失函数的自动编码器，而判别器带有语义正则化。
Dental-GAN是一个全冠修复网络，它是通过同时考虑感知损失和槽损失度量来开发的。
图13：四个典型牙齿示例的定性比较（放大效果最佳）
在图13中，我们提供了由上述四种方法生成的四个典型示例。
第一列提供的四个牙齿示例中使用草绿色表示需要修复的缺损区域，
而第二列提供的是基准示例。
从第三到第四列，我们能够发现Pix2Pix和PAN对于损失较小的区域能够提供比较好的结果，在更大的损失区域上生成的是光滑表面。GFC和Dental-GAN相比前面两个展示了更好的性能。
在最后一列，我们可以看到DAIS总体上优于其他四种方法，尤其是在与残损牙齿的牙洞轮廓以及咬合面的形态特征上的匹配上。
此外，DAIS重建的解剖特征与自然牙齿更为接近。
图14：一个实践中的水密嵌体修复体的插图与DAIS显示的剩余牙齿表面的牙洞轮廓相匹配（放大效果最佳）
图14显示了来自图13中第三行的DAIS实践中水密修复嵌体。我们可以看到生成的嵌体表面与残损牙齿表面的牙洞轮廓匹配良好，并且设计的水密修复嵌体具有足够的解剖形态。
表八：四个质量指标的平均比较结果
| 指标 | PSNR↑ | RMSE↓ | MS-SSIM↑ | FSIM↑ | 时间（秒） |
|---|---|---|---|---|---|
| Pix2Pix | 25.85 | 10.11 | 0.78 | 0.85 | 11.45 |
| PAN | 27.75 | 8.36 | 0.81 | 0.86 | 12.36 |
| GFC | 28.17 | 7.42 | 0.80 | 0.87 | 14.08 |
| Dental-GAN | 28.32 | 7.53 | 0.81 | 0.87 | 13.17 |
| DAIS | 29.25 | 7.15 | 0.82 | 0.89 | 13.24 |
2）定量结果：图13中对应的定量结果汇总于表八中。可以观察到，与其他三种方法相比，Pix2Pix在PSNR、RMSE、MS-SSIM和FSIM方面产生的结果最差。总的来说，Dental-GAN优于Pix2Pix、PAN和GFC，这与图13所示的视觉结果一致。我们可以看到DAIS在所有质量指标上都取得了最佳的数值结果，这表明提出的局部-全局判别器和GroNet解析器的有效性。
而且，我们提供了五种方法生成深度图像的平均运行时间。我们可以看到所有这些深度模型具有类似的复杂度（大约11~15秒），但是我们的方法提供了最好的重建性能。
3）主观测试结果：为了直观地比较所提出的方法与其他现有方法的有效性，我们使用了 ITU-R BT.500-11 标准推荐双刺激连续质量量表（DSCQS）方法进行了主观质量评估实验[^41]。邀请17名受试者（均视力正常或者矫正至正常）给出量化分数，然后是1至5的五级量表，对应五个质量等级：差、稍差、正常、稍优、优。在实验中，显示设备是三星 S24D300HL 显示器，我们将观看距离设置为图像高度的四倍。观看环境和观看条件是在 ITU-R BT.500-11 标准的指导下设置的。
图15：DAIS与四种最新发展的主观质量比较
意见得分的均值（Mean Opinion Score, MOS）被认为是每个测试样本的最终得分。图15 提供了本文提出的方法与其他四种方法的平均 MOS 值。在图15注意到DAIS在“高嵌”、“二面”、“三面”和“四面”四个样本中具有最高的MOS，因此所提出的方法优于其他存在的方法。
G. 咬合接触评估
为了评估修复后的牙冠与对应牙齿的咬合接触关系，我们对不同类型的牙冠进行了虚拟咬合干扰检测。在图16中，我们展示了四个牙齿样本的干涉区域的可视化效果。我们可以看到，基于对牙限制生成的咬合面与基于咬合间距的分布得到的目标冠相似。特别的是，当牙科专家参与到牙嵌体的设计中时，由DAIS框架设计的全冠修复体具有足够的解剖形态和更好的临床适应性。
图16：咬合接触结果的可视化：(a)DAIS；(b)基准数据（放大后的最佳效果）
Sec04 结论和讨论
在本文中，我们介绍了一个深度学习驱动的牙齿嵌体设计框架 DAIS 来自动重建一个有缺陷的牙齿的真实表面。与以往的方法不同，我们的方法设计的嵌体修复体满足了咬合的空间关系和咀嚼的正常功能。基于提取的嵌体空腔轮廓特征，我们能够准确地分割出内表面。在真实世界的数据库上的实验表明，我们的方法优于现有的最好方法，能够恢复出与残留牙齿表面一致的凹槽形状。
尽管DAIS能够在具有挑战性的数据库上得到最好的性能，但是其仍然有以下几个方面可以提升：
1）在当前的DAIS中，我们采用的是固定的 patch 大小（即$128\times128$）来训练本地的判别器网络。采用多尺度的 patch 尺寸能够进一步提升嵌体修复的修复效果。
2）DAIS当前使用的是深度图的正视图。多个不同角度的深度图可以进一步为训练更好的网络提供帮助。
3）目前的训练集只包含了5种嵌体类型，考虑到缺损牙齿的位置和形状的随机性，未来需要采集大量不同种类的缺损牙齿样本，从而进一步提高DAIS的临床表现。