上海交大全光AI芯片登Science！比A100快百倍

　　LightGen正在尝试中实现了多种先辈生成式AI使命，包罗无需图像分块的512×512分辩率上海交通大学集成电学院（消息取电子工程学院）陈一彤帮理传授为这篇论文的第一做者及通信做者。她持久努力于光计较范畴的研究，其团队曾提出全模仿光电芯片ACCEL，2023年，她提出的PED光计较架构，被Science子刊称为“首个全光生成收集”。学界认为，光子计较是沉塑保守计较范式最有潜力的标的目的之一。然而，目前大大都端到端的光子计较仍局限于判决类使命，例如图像分类和元音识别等等，未能扩展到生成式AI模子范畴。起首，先辈的生成式AI模子凡是需要数百万个神经元，以进修并嵌入脚够的消息用于高维生成。而现有集成光子计较芯片凡是仅能集成数千以至数十个神经元。若是通过数字电对光子芯片进行互连和复用，则会引入显著的延迟和能耗，功耗以至可能提拔数个数量级，从而减弱光计较的劣势。另一个环节挑和是模仿光学信号的维度变化。生成模子需要合适的维度变化才能学到有用特征，但正在纯光学系统中消息是以持续光斑的形式存正在的，不像电子信号那样有明白的维度。即便改变光子神经元的尺寸，也只是改了调制体例，理论上无限维的信号，因而正在全光学系统里很难切确定义或改变维度。第三个挑和是锻炼算法。现有的分类型光子芯片凡是依赖人工定义的输出做实标签进行优化。然而，生成式AI的方针凡是是输出此前并不存正在的数据，因而光子生成芯片亟需一种不依赖预定义实正在标签的新型锻炼算法。为处理上述问题，陈一彤领衔的研究团队提出了LightGen。LightGen由光子编码器、光学潜空间和光子生成器构成。LightGen的全体思其实和电子生成模子很像，但成功把“编码—潜空间—生成”这套流程完全搬到了光学域里。编码后的光场通过耦合进入单模光纤阵列进行特征子采样，通过同时操纵光的幅度和相位进行编码，使得光纤阵列中的光学潜空间含有丰硕的消息。因为单模光纤只答应基模，除基模外的其他模式无法耦合进入光学潜空间，因而，光学潜空间正在全光学前提下完成了模仿光斑维度的转换，而不是像保守光子系统那样只是正在无限维光场上做调制却无法节制维度。LightGen操纵光斑所照顾的复数消息来表征高维潜变量。光纤阵列中每一个单模光纤对应一个光斑，构成具有分歧幅度和相位的高斯光斑阵列。由此，LightGen正在图像域取光学潜域之间成立了桥梁。下图展现了正在以狗脸数据锻炼的光学潜空间中平均采样获得的输出成果。附近的光学潜空间值生成语义类似的图像，而相距较远的光学潜空间值生成语义差别较着的对象，表白光学潜空间满脚持续性和自洽性，光子编码器将原始图像嵌入到100维光学潜空间中，并通过t-SNE进行降维可视化，其分布如下图所示。分歧毛色的狗被成功聚类，申明光学潜空间能无效嵌入图像中的细粒度特征。除前景外，尝试成果表白，光学潜空间的功能取电子变分自编码器（VAE）及β-VAE相当。正在锻炼方面，LightGen团队提出了一种基于贝叶斯思惟的无监视锻炼方式（BOGT），通过引入对语义数据概率分布的建模来提拔生成质量，辞别了对标签的依赖。下图展现了针对动物类此外尝试生成成果。LightGen可生成512×512分辩率的动物图像，涵盖分歧类别、颜色、脸色和布景。放大区域显示了丰硕细节，如毛发纹理和眼睛反射光。研究团队还对生成图像的特征进行了定量阐发，成果显示其分类精确率取实正在测试数据相当，表白LightGen生成的数据正在全体和细节特征上均接近天然数据。LightGen正在语义去噪方面同样表示凸起。空间模式取单模光纤基模之间的消息容量差别，使得LightGen正在坏婚配像素比例（PBMP）较高的前提下，仍能无效去噪。LightGen的另一大劣势是无需将高分辩率图像切分为小块进行处置。通过三维封拆，LightGen集成了跨越210万个光子神经元，可间接处置≥512×512分辩率的图像。正在气概迁徙使命中，LightGen成功实现了印象派（梵高气概）、金属气概（马列维奇气概）和马赛克气概等多种转换，其定性取定量机能均可取VGG-19、StyleGAN和StyleID等相媲美。取基于分块的方式比拟，LightGen正在处置全局布局和持续曲线方面具有显著劣势，避免了块间不持续和布局的问题。正在室内场景中，LightGen可生成包含多种家具的256×256分辩率图像。通过二维投影锻炼，LightGen无监视地进修了物体的三维布局及其正在光学潜空间中的暗示，机能可取NeRF相当。通过操控光学潜空间，LightGen可生成分歧气概和视角的三维家具，正在定性和PSNR目标上均取NeRF相当。此外，光学潜空间中的潜变量间接对应生成对象的物理特征，使得语义操控具有优良的可注释性。尝试表白，LightGen能正在不干扰其他部门的环境下，切确操控方针特征。研究团队将LightGen取最先辈的电子和光子芯片正在生成使命中的机能进行了对比。正在保守估量下，LightGen正在尝试中实现了3。57×10⁴ TOPS的计较速度、6。64×10² TOPS/W的能效和2。62×10² TOPS/mm²的计较密度，均比NVIDIA A100超出跨越两个数量级以上。若采用更高速的空间光调制器，其理论计较速度可达5。69×10⁹ TOPS。LightGen同时冲破了光子生成芯片的三个环节瓶颈：集陈规模、全光学维度变换和锻炼算法。三维封拆方案处理了集陈规模问题，光学潜空间实现了全光学维度变换，而BOGT处理了对标签的依赖。研究团队认为，通过间接添加超概况的像素数和层数、提高光学潜空间的维度或以分块生成的体例，LightGen能够进一步扩展到更高的处置分辩率。添加超概况规模凡是会提拔系统全体计较速度，由于总操做数添加，但这也需要更多的入射能量来维持脚够的计较精度。