荔枝新闻专稿  编写、翻译/闫树蕙 王晟KK系列

　　本月重映的《哈利波特》4K开发版，让影迷们兴奋地“重拾芳华”。画质更好，颜色更真，不雅感更佳——咱们照旧对数字复兴、以致东说念主工智能时间开发的老电影闇练得当，享受其中。

　　可是，“AI开发”还算开发吗？当轮廓神经相聚和深度学习的算法，不仅重填颜色，以致“脑补”出新的画面和场景，那咱们究竟是随从影片破镜重圆，如故被AI引入了编篡的时空？

　　科技发展无尽头，时间洽商弗成停。荔枝科技成心翻译了这篇洽商AI“修”电影的科普文，与亲爱的你共享。 

　　原载：wired.com

　　原题：AI Magic Makes Century-Old Films Look New

　　原文作家：Matt Simon

　　1906年4月14日，迈尔斯伯仲走出责任室，来到旧金山市市集街，搭上电缆车，驱动拍摄街景，留住了电影史上的进击短片——《市集街之旅》，一部浅薄的记录片。画面里，女士们戴开花边帽子、傍观提着警棍、报童沿街叫卖、街上跑的汽车还算是新发明，大多如故敞篷式，司机坐在车里齐会随着颠颠颠。

　　轨说念尽头挂着时钟的建筑是渡船大楼，就在迈尔斯伯仲拍完这段影片后的第四天，旧金山发生地面震，渡船大楼的时钟停在了凌晨五点十二分。

　　《市集街之旅》原画面

　　一个世纪往日，充满挂牵有趣有趣的《市集街之旅》因为AI有了新的生命。经过了上色，差异率训导到4K (3840x2160)，帧数提高到60。终于，不雅众能看清路东说念主戴什么面孔帽子，报童是什么心情，大约更进击的是，咱们第一次看清马在街说念上留住了什么不可形貌的印迹……

　　　　AI开发后的《市集街之旅》KK系列

　　影片创作家丹尼斯·希里亚夫是Neural.love公司的居品总监，这家公司致力于于用AI进行视频增强。除了1906年的旧金山，他们还在其它老电影上施展AI魔法。比如1895年卢米埃伯仲在法国拍摄的火车进站（寰宇上第一部电影 译者注），1911年的纽约街头，1972年阿波罗16号宇航员在月球名义的探索，齐因为视频增强而盖头换面。

　　寰宇上第一部电影：《火车进站》

　　严格来说，AI视频增强不算“电影开发”，因为算法不仅改善了画面中的短处，还填补了老旧、低帧率的电影里缺失的信息。算法所谓的“开发”，基本上是靠前期的测验。

　　就拿以上色功能出名的DeOldify来说，它学习了1400万张图片，相识了真确寰宇的面孔，才不错进一步学习老电影，并在曲直画面上刷出璀璨的颜色。

　　1911年纽约街头

　　上色、提高差异率、插帧属于常用的视频增强时间。而去除画面噪点，比如老旧影片常出现的光点和黑线，大约智商看成开发。在电影档案群众看来，AI“巫术”和“开发”不沾边，因为AI给视频添加了太多迥殊数据，其中大部分数据如故“脑补”出来的，不具备视频的历史价值。 希里亚夫倒是看得很开，“咱们不会和档案群众争论，咱们尊重他们的责任。”

　　把视频增强拆解来看，最初是上色，DeOldify不错识别特定物体，花卉树木，东说念主物着装，也知说念各式物体一般对应什么面孔，在曲直电影中捕捉到相应物体时，便不错试着加上头孔。现在DeOldify如故会失手，因为测验中莫得波及的物体就无法识别。据希里亚夫先容，现在要给旗子上色就绝顶贫苦。

　　然后是训导差异率，这一步的算法需要用组图来测验神经相聚，一组图片中，一张差异率低，一张差异率高，最终打算是让神经相聚找出规则，把差异率低的部分荡漾成高清版。唯有分析了老电影的像素，知说念了像素的相对位置，放大并保握画面细节并责异事。

　　　阿波罗16号宇航员在月球名义

　　插帧算法的测验数据集则是视频，要学习的是两帧画面之间的联系，比如东说念主和车辆的位置在讨好两帧里频繁奈何变化。这一步，希里亚夫公司使用的算法叫作深度感知视频插帧(DAIN)，用其研发者的话来说——“DAIN过目不忘”。

　　现有于旧金山普瑞林格档案馆中的《市集街之旅》，每秒16帧，拿到这种老电影，DAIN算法不错揣测下一帧该是什么样，东说念主和物应该到什么位置，生成新画面，插入原始帧之间。通过反复插帧，DAIN可将帧率提高到60，画面将涌现好多。

　　淌若是一部帧率为30的当代电影，DAIN以致不错将帧率提高到480，这意味着，以16倍慢速播放也莫得涓滴卡顿，与原版的慢放对比明显。

最右为帧率训导到480后16倍慢放后果

　　视频增强还能让东说念主像更明晰。比如说，一段上世纪初在东京拍摄的短片里，路东说念主齐面貌磨蹭。而通过面部数据集测验的神经相聚，闇练了东说念主脸像素排布的规则，不错将东说念主像明晰化。但临了呈现的东说念主像，与一百年前的真东说念主是否统斡旋样，还不好说。

　　　　 视频增强进程 画面于1910年代在东京拍摄

　　这亦然视频增强最有争议的场所，东说念主像好意思化，与上色和提高差异率相通，齐需要在视频中加入新数据，也即是说，真确记录中出现了假造要素，是以档案群众几许有些见地。旧金山普瑞林格档案馆创立者里克·普瑞林格就暗意他快意保存原始的老旧影像，不在乎画质，不需要视频增强。档案馆里储藏了大齐非专科拍摄视频、老告白和科教片。

　　普瑞林格并非反对二次创作，但在他看来，视频增强磨蹭了真确和假造，可能会让受众对历史影像产生空幻的期待。事实上，20世纪初的摄像开拓确乎很基础，一百年的时光也侵蚀着胶片，并不无缺的画面是历史的一部分。画质体现了拍摄的时空，这是需要保留，而不是该被优化的部分。

　　谈论词淌若延续想考这一问题，又会发现新的推敲空间。确切，视频增强后的画面里，出现了无法核实的信息，比如街头女士们戴的帽子，果然是画中的面孔吗？这么想来，更为明晰的画面，并不更接近无缺。但原始的《市集街之旅》是无缺的旧金山街景吗？也不竟然。寰宇原来即是彩色的，东说念主和车挪动时也不会卡顿。是以到头来，是原版，如故AI增强版更接近履行呢？

　　AI视频增强以致奇妙地染上了默倏得代的颜色。默倏得代，归并部影片的不雅众体验可能很不相通，因为电影院会雇佣伴奏者，一边播放影片，一边配乐。好多这么的伴奏者是随心施展的。直到1908年，电影业才驱动斡旋默片伴奏曲目。伴奏，算不算一种“增强”？因为伴奏者的随心施展，把个东说念主的感受和相识融入片中，让不雅众们得回了不相通的体验，希里亚夫大约也像一位伴奏者，他展示的20世纪早期的寰宇中，有他的，或者说AI的随心施展。

　　他说：“不雅众看咱们的视频，仿佛在享受时光旅行。” 

　　（本文系荔枝新闻专稿KK系列，拒却一切点窜）

• 电影
• AI
• KK系列
• 真相
• 如故