Seen those deepfake videos with different actors on TikTok. Like Tom Holland or Keanu Reeves.
So, Intel has a technology (https://www.intel.com/content/www/us/en/newsroom/news/intel-introduces-real-time-deepfake-detector.html#gs.6q7j6k) for detecting that a video is faked (not exactly the latest and greatest, just so you know). But the most interesting part is how they do it.
FakeCatcher from Intel uses a digital version of photoplethysmography (https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%82%D0%BE%D0%BF%D0%BB%D0%B5%D1%82%D0%B8%D0%B7%D0%BC%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B0) (rPPG) to detect blood flow.
This method works by detecting changes in blood vessel volume, analyzing color variations in the video pixels that correspond to blood flow across the face.
Under the hood: good old convolutional nets (they’re a great fit for this task). Meaning, formally we train a net to understand changes in facial blood flow between a deepfake and a real video.
Thanks to my former colleague Artur for the tip. And here’s the source. (https://x.com/thatguybg/status/1774084382527226096?s=46)
P.S. In the latest YC batch, not just one (https://www.nuanced.dev/team) company is doing fake detection.
Original (RU)
Видели deepfake видео с актерами разными в TikTok. Ну там Том Холланд или Киану Ривз.
Так вот компания Intel имеет
технологию (https://www.intel.com/content/www/us/en/newsroom/news/intel-introduces-real-time-deepfake-detector.html#gs.6q7j6k)
по детекции того, что видео зафейкано (если что не последнее слово техники). Так вот самое интересное это как они это делают.
FakeCatcher от Intel использует цифровую версию
фотоплетизмографии (https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%82%D0%BE%D0%BF%D0%BB%D0%B5%D1%82%D0%B8%D0%B7%D0%BC%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B0)
(rPPG) для обнаружения кровотока.
Этот метод работает, обнаруживая изменения объема кровеносных сосудов, анализируя цветовые вариации в пикселях видео, соответствующих кровотоку по лицу.
В основе старые добрые конволюционные сетки (они хорошо подходят для этой задачи). То есть формально мы учим сетку понимать изменения кровотока на лице между дипфэйком и реальным видео.
Спасибо моему бывшему коллеге Артуру за наводку. И вот
источник. (https://x.com/thatguybg/status/1774084382527226096?s=46)
P.S. В последнем наборе в YC не
одна (https://www.nuanced.dev/team)
компания занимается детекциией фэйков.