Image to Geometry Registration for Virtual Dental Models

Hsung T C, Lam W Y H, Pow E H N. Image to geometry registration for virtual dental models[C]//2018 IEEE 23rd International Conference on Digital Signal Processing (DSP). IEEE, 2018: 1-4.

摘要

在牙科计算机辅助设计与制造（CAD/CAM）中，通常在进一步处理之前使用口内扫描仪或者印模模型扫描来获得数字牙列模型。牙齿形状和颜色在治疗计划中对患者牙齿美观的满意度都起着重要的作用。然而，目前大多数口内扫描仪不能产生足够好的颜色纹理信息。对于印模模型扫描，在制作印模时甚至会丢失牙齿阴影。在本文中，我们考虑的技术使用图像-几何配准方法来映射彩色口内照到虚拟模型。我们研究自动技术，以准确地找到对应的数字模型和彩色口内照。这消除了用于配准时对应的手动放置错误。

关键词

图像到几何图形配准，牙齿阴影，优化

Ch01 介绍

在美容牙科，目标是创造美丽的微笑。决定结果的最重要的因素之一是牙齿的颜色[^1][^2][^3][^4]。美学区修复体/假体的治疗计划应该包括对患者牙齿色度的全面评估，以使其与天然牙齿匹配或者混合。传统照片用于牙科治疗计划已经有几十年了，二维照片仅允许在一个视角进度微笑设计。这意味着假体的定位只能依靠猜测，需要在打印和铣削时进一步手动微调。最近，三维面部照片被提倡用于具有无限视角的更好的数字规划[^5][^6][^7][^8]。然后，假体可以在三维空间中精确定位，并且直接输出到铣削中以供临床使用。

为了实现数字微笑设计，需要将患者的三维面部和高分辨率牙齿扫描结合起来，以形成数字“虚拟患者模型”（Virtual Patient Model, VPM）。使用虚拟面弓技术可以关联它们的三维空间位置[^9][^10][^11][^12]。三维面部扫描是一种成熟的技术，目前商用的主动和被动立体摄影测量设备可以在几秒钟内以非常高的精度和分辨率捕捉面部表面[^13][^14][^15]。由于照明可以控制到一个非常可重复的条件，捕捉到的颜色纹理是照片般真实的。尽管获得的颜色在这些商业设备中通常没有被校准，但是可以在牙齿颜色配准中进行校正。

对于牙列形态的数字化，传统的方法是印模模型扫描。橡胶印模首先取自病人，然后从印模中得到石膏模型，并且因此对其进行扫描。取印模的第一步就失去了颜色。近年来，数字口扫方法越来越流行[^16]。使用牙刷大小的三维传感器来获取三维形状，该三维传感器连续地拼接所获取的三维表面面片。视技术而定，一些商业扫描仪要求在牙齿表面涂抹粉末。这种类型的口内扫描仪可以提供更高的准确性，因为更好的牙齿表面状况。一些其他类型的口内扫描仪，如共焦技术，也可以捕捉颜色和形状，从而匹配色调。但是它们没有那些使用粉末的精确。由于口腔中有限的空间和其他复杂的因素，例如：唾液、牙齿形状/色泽可能不总是能成功获得。

针对这一问题，本文提出了利用传统的口内照获取颜色，并且将其映射到用口内扫描仪或者印模模型扫描得到的三维形状上。这允许更好地控制牙齿色度匹配的照明和颜色校准[^17][^18]。

在三维网格模型可以用二维照片着色之前，需要根据一些标准将其转换到与二维照片最佳匹配的视角。这个过程称为“图像到几何图形配准”[^19][^20][^21][^22]。其解决方案可以分为：基于对应关系[^23]，基于特征和基于统计相关性[^19][^20][^21]的方法。基于对应关系的方法试图定位对应关系，这与相机校准相同[^23]。基于图像特征的方法需要包括在图像和网格模型中发现的特征，例如：二维图形轮廓和投影的三维网格模型轮廓。基于统计相关性的方法利用统计学测度来分析相关性，例如：互信息[^24]。在[^20]中，对应点可以手动添加与互信息方法相结合，使得配准可以非常精确，但是对应关系的放置和选择是耗时的，并且表现出可重复性问题。成功的关键是找到正确的特征、对应关系或者统计学测度的鲁棒性和准确性。

由于人类牙列有一些独特的属性，如：颜色和角点，对应的特征可以用于对齐。在下节中，首先描述数据采集的协议，然后开发出用于配准的对应特征，这些特征将在三维网格模型和二维照片中寻找，最后将所提出的方法应用于健康的受试者。

Ch02 材料与方法

平台

本研究中，三维网格模型与照片的对应检测过程是在Matlab中完成的，然后将检测结果加载到Meshlab中，以执行最终的光栅对齐和颜色映射。

口腔内牙列模型和照片

使用单反（Single Lens Reflex, SLR）相机（EOS 500D）拍摄正面标准口内照。使用结构光三维扫描仪（DAVID SLS-3）扫描受试者的石膏模型。顶点分辨率为0.1mm，石膏模型和照片是同一天拍摄，避免了不一致。三维网格模型然后被进一步清洁，并且切割成合适的尺寸。

图1：标准口内照正面照片

图2：平均曲率着色的上牙。红-绿-蓝颜色从最小到最大编码曲率值，曲率值最小的顶点聚集在牙齿乳突处。

三维形状特征提取

如图1所示，每个人的牙齿位于被牙龈覆盖的上颌骨和下颌骨上。在扫描的三维网格模型中，牙龈-牙龈边缘显示为凹槽和局部山谷。这些凹陷是连接三个表面的结果：牙龈和两个相邻的牙齿。它们被称为牙齿乳突。这种几何奇异性可以用代数点集表面（APSS）框架中的符号平均曲率（表示为K）来表征[^26]。对于龈谷，其基点的平均曲率是负值，这可以容易地从其他值中过滤。对于牙列中的其他龈谷，例如：颊侧牙齿乳突，可以使用它们的平均顶点法向量来丢弃它们，或者使用感兴趣区域（ROI）来限制它们。

下面是使用平均曲率提取网格模型特征的步骤：

1. 使用过滤器比例$10$计算网格模型的平均曲率
2. 选择平均曲率值$K<-1$的顶点
3. 选择指向远离面的顶点面片
4. 计算所选顶点面片的中心，并且将其用作对应点

在图2中，它显示了用平均曲率着色的上牙。红-绿-蓝颜色编码从最小到最大平均曲率值。结果表明，龈谷曲率最小，齿顶曲率最大。通过过滤具有平均曲率值的顶点得到的牙齿乳突区域的选择在图3中以绿色显示。然后，顶点面片的中心被识别为来自三维网格模型的对应点，其在图3中被标示为红色圆圈。可以看出，平均曲率提供了牙齿乳突中心的非常好的指示。

图3：上牙聚类结果：蓝色、绿色、红色点分别是三维网格模型的顶点、根据平均曲率过滤的顶点、过滤顶点的聚类中心。

图像特征提取

考虑如图1所示的标准口内照，牙龈乳突作为牙龈到牙龈的彩色边缘上的转折点出现。由于牙龈和牙齿的颜色非常不同（红色 vs 白色），我们建议首先根据颜色分割牙齿，并在边界上寻找转折点。在不失一般性，口香糖的颜色可以从二维照片的上半排或下半排取样。在CIELAB颜色表示中，牙龈和牙齿可以很容易地分割。对于其他噪声像素，可以使用中值滤波和形态学操作来去除它们。如图4所示，利用导出的分割掩膜，可以容易地定位牙龈边界的沟线。

图4：使用CLELAB颜色分割牙龈和牙齿

为了检测图像上的转折点，首先将图像像素转换成有序序列，然后可以通过峰值来检测转折点。在这种排牙的应用中，照片是以标准化的方式拍摄的，使得中切牙和咬合线的牙齿位置接近于中心位置，并且分别与图像框水平对齐。采用简单的方法将分割后的掩膜图像转换成一维序列，其方式是样本值是指到图像较低的ROI边缘的垂直距离。在图5中，展示了从牙龈边缘转换的一维序列。牙龈乳突呈现尖峰状（垂直翻转）。使用Matlab尖峰搜索函数[^28]可以自动定位在图5的红色圆圈中。

下面是使用平均曲率提取图像特征的过程：

1. 将输入的图像转换到CIELAB（L*ab）颜色空间[^27]
2. 使用ab颜色角度容差为0.34弧度的牙齿颜色分割牙齿，如图4所示
3. 应用二维中值滤波器和形态学开放式滤波器进一步清洁分割掩膜
4. 从感兴趣的检测区域抽取边界点形成一维序列，使用Thomas C. O’Haver开发的Matlab峰值查找功能检测峰值[^28]。

在图5中，展示了通过上述步骤导出了牙龈-牙齿边缘曲线，再从这些曲线中发现的分割和峰值。然后，提取的坐标被用作对应点。

图5：上牙牙龈乳突检测结果（红色圆圈）

具有相关性的图像到几何的配准

然后，将三维网格模型和光栅图像导入Meshlab，应用光栅图像对齐能力去寻找网格模型与图像的匹配，图像是由前面的小节中找到的对应关系计算得到。如表1所示，对齐由最小化下面的目标函数实现：
$$
MC_{I_A,I_B(C)}=k(-MI(I_A,I_B(C))+(1-k)E(Corr,C)),C=(\theta,\phi,\psi,t_x,t_y,t_z,f),0\leq k\leq 1
$$
其中，$\theta,\phi,\psi$是欧拉角；$t_x,t_y,t_z$是翻译，$f$是焦点。等式中的两个项为：
$$
MI(I_A,I_B(C))=-\sum_{a,b}p(a,b)\log(\frac{p(a,b)}{p(a)p(b)})
$$

$$
E(Corr,C)=\frac1N\sum_{\forall corr_i}\sqrt{(x_{pi(c)}-x_i)^2+(y_{p_i(C)}-y_i)}
$$

在当前应用中，$k$可以被设置为更高的值，以强调对应点的匹配。相反，互信息在这种情况下不是很有用，因为人类牙列颜色看起来非常相似。

表1：检测到的对应点

Ch03 结论

本文提出了一种用于牙列图像几何配准的自动特征提取方法。从三维网格模型中搜索以平均曲率为特征的顶点和二维照片中对应的牙龈乳突点。它们的属性被很好地定义，并且可以被精确地和自动地检测。基于该框架，可以开发进一步的几何和图像特征来增强性能，例如：齿尖。