数行代码训练视频模型，PyTorch视频理解利器出炉 机器之心专栏机器之心编辑部Facebook人工智能实验室在 PySlowFast 之后时隔两年，携 PyTorchVideo 重入战场。 视频作为当今最被广为使用的媒体形式，已逐渐占超过文字和图片，据了人们更多的浏览时间。这使得视频理解变得尤为重要。各大互联网公司与顶尖高校纷纷绞尽脑汁，竞相研究前沿视频理解模型与算法。在谷歌，Facebook，亚麻，Open-MM Lab 等分别祭出各家杀器之后，Facebook人工智能实验室在 PySlowFast 之后时隔两年，携 PyTorchVideo 重入战场。 官方网站：https://pytorchvideo.org/ PyTorchVideo 好像哪儿都能用 不同于在座的各位视频代码理解框架只醉心于自家框架，无法移步与其他代码库。PyTorchVideo 似乎如同 torchvision 等基础代码库一般，“哪儿都能用”！PyTorchVideo 不但可以用在视频理解任务中，甚至可以用在其他任务的代码库。Facebook人工实验室不但 PySlowFast 代码库上无缝使用上了 PyTorchVideo，并且还在 Classy Vision，PyTorch Lightening 等等框架上无缝插入。 作为含着金钥匙出生的 PyTorchVideo，其直接成为了 PyTorch Lightning-Flash 的视频理解担当，作为基础库被默认使用。如，在 FiftyOne 项目中，开源社区的吃瓜群众就利 Lightning-Flash 鬼畜出了一个浏览视频的工具箱，可以直接查看视频的动作类别。 PyTorchVideo 好像啥都管 更厉害的是，PyTorchVideo 似乎“啥都管”！不但在视频分类，动作检测等任务中深耕前沿，还“略懂”Lecun 最爱的自监督学习，甚至音频事件检测等等千奇百怪的任务也不在话下。 PyTorchVideo 好像手机也能玩 更丧心病狂的是，PyTorchVideo 一并开源了移动端的加速优化。不但提供了手把手的教程，将视频模型一步步优化核心 Kernel，量化（quantilize）加速，数倍加速后在移动端实时运行，甚至官方直接暴力放出 Android 和 iOS 移动端开源代码，将前沿的视频模型直接塞到手机里跑着玩玩。 PyTorchVideo 到底是个啥 PyTorchVideo 的真身是一个基础视频库，可以服务于各种代码库。除了全方位的前沿视频模型模型，开源视频模型，其中还含有各类视频基础算法，视频数据操作，各类流行视频数据集，视频增广，视频模型加速量化，等等一些列的全栈视频相关内容。据官方博客透露，PyTorchVideo 开源了一大票视频模型，包括Facebook人工智能实验室近期出现在 ICCV，ICML 等回忆中的工作： ●Multiscale Vision Transformers●A large-scale study on unsupervised spatiotemporal representation learning●Multiview pseudo-labeling for semi-supervised learning from video●Is space-time attention all you need for video understanding?●Keeping Your Eye on the Ball: Trajectory Attention in Video Transformers●SlowFast networks for video recognition●X3D: Expanding architectures for efficient video recognition●Audiovisual SlowFast networks for video recognition●Non-local neural networks●A closer look at spatiotemporal● convolutions for action recognition●Video classification with channel-separated convolutional networks 似乎其 MultiScale Vision Transform 也位列其中，有兴趣的朋友可以去一探究竟。 PyTorchVideo 怎么玩 浏览一下官方的教程并上手实验一下，发现通过 PyTorchVideo 只需要寥寥几行就可以训练一个视频模型： 开发者们也可从开源的训练模型库中直接使用模型。 Kinetics-400 Something-Something V2 Charades AVA (V2.2) 甚至通过 PyTorchVideo 加持的 Lightning Flash，分类视频仅仅只需三行。 参考链接:https://pytorchvideo.org/https://ai.facebook.com/blog/pytorchvideo-a-deep-learning-library-for-video-understanding/ 亚马逊云科技中国峰会 2021亚马逊云科技中国峰会将在中国上海、北京、深圳三大城市举办。本次峰会以“构建新格局，重塑云时代”为题，并携手众多业内领先的技术践行者们一起同你分享“云时代的构建故事与重塑经验”。 7月21日-22日，2021亚马逊云科技中国峰会上海站将有多位重磅业内专家及行业大咖在现场分享独到的行业见解。 面向开发者，本次峰会将专门设立开发者专区，并联合 Apache 等各类开源社区，以及多位开源牛人，为开发者们带来脑洞大开的内容分享！ 面向行业，近百位来自业内各领域的合作伙伴、客户及亚马逊云科技技术专家，共同组成的强大嘉宾阵容，为你带来行业最佳实践分享及领先技术成果发布解读！ 识别下方小程序，立即报名。 ?THE END 转载请联系本公众号获得授权 投稿或寻求报道：content@jiqizhixin.com