Instagram Hyperlapse 的视频反抖动稳定算法有何特别？

bptmdd

从 Wired 的采访文章看来，他们使用了陀螺仪，这跟 Apple 使用的算法（iOS 7 面世之后应用在预装 Camera 程序之上）有什么不同？既然 Instagram 的做法这么简单，为什么不见有相似方案？另外，是不是 Android 设备的陀螺仪太残渣形同虚设，所以 Hyperlapse 也没有对应的客户端？

> Inspired by a demo in which he saw gyroscopes attached to cameras to de-blur their images, Karpenko had an aha moment: Smartphones didn’t have nearly enough power to replicate video-editing software, but they did have built-in gyroscopes.

> On a smartphone, instead of using power-hungry algorithms to model the camera’s movement, he could measure it directly. And he could funnel those measurements through a simpler algorithm that could map one frame to the next, giving the illusion that the camera was being held steady. He mocked up a simple demo, and filmed a dot on his wall, while making his hand shake. “The images in the test matched up almost exactly, and that’s when I knew this was doable,” Karpenko says.

Source: Hyperlapse, Instagram’s New App, Is Like a $15,000 Video Setup in Your Hand & The Technology behind Hyperlapse from Instagram

色青年

1. 一定不是纯陀螺仪的方案。
2. 基于 Optical Flow 的 Stabilization 已经非常成熟了。一个简单的用 OpenCV 实现的例子见：
Simple video stabilization using OpenCV3. 若要实现结合陀螺仪的算法，需要特定机型的校正数据，适配上会是一个问题。

333333gogo

增稳啊，假装自己熟络。
楼上说的都不够全面。这个和云台不是一个事儿，和光流消抖也不太一样。云台是机械上反馈消抖，是要机械上稳相机姿态，所以不在这个门类。
基于OpticalFlow的Stabilization应该称作基于特征的纯图像消抖，不过大概就是匹配帧间图片的特征，然后通过匹配到的特征解出相邻图像二维的的平移和关于光轴的旋转，然后似然的让画面中间的block位移和旋转最小。
纯粹图像的难点在于在有平移的情况下用特征匹配解出来的旋转不太准，这个奇怪的人的demo，应该是用和摄像机捷联的陀螺仪，陀螺仪在较高的频率测相机绕光轴的旋转，给增稳图像算法做旋转的参考，然后顺便长期的用帧间匹配的旋转处理下校正陀螺仪的bias，所以应该叫组合增稳方案。这种二维图像增稳关注的在于二维图像间的能量最小，要粗糙的实现还是很容易的。
单轴陀螺仪积个分的旋转，和特征匹配得到的旋转滤一滤就当摄像机旋转，然后把图像关于标定的光心扭回来，对匹配到的特征搞个能量方程按最小解处理下平移误差就可以。。
手机的陀螺仪烂是因为那是便宜的MEMS陀螺仪，噪声比较大，不过还是能用的，没那么复杂，陀螺仪测量轴与摄像机光轴重合最好。因为只关注二维旋转，所以不用6050，一个单轴的陀螺仪就够了哈哈哈哈。
这个问题上不存在特定机型的校正数据，只要对一下手机的摄像头和陀螺仪的坐标系，标定下测量轴，纠正下bias就可以。
我说了是粗糙的实现，也是假装自己熟络，求不拍砖。

彼岸花開cc

alex Karpenko离开斯坦福以后去创办的luma camera，后被instagram收购。
基本可以确定instagram使用的是纯陀螺仪的方案。
一般手机的陀螺仪都比较烂，尤其国产手机。一般MPU6050的都精度还不错。
楼上说的适配的确是一个问题，但是一般同一型号的image-gryo offset是相对比较固定的。所以你懂的。