Gadgetshowto
Tradisjonelt brukte folk TV-er som har 16: 9 eller 4: 3-sideforhold for å se på videoer. Men med nyere enheter ser folk og lager videoer i en rekke størrelsesforhold. Beskjæring av videoer for å passe til skjermene på disse enhetene er en kjedelig oppgave for videokuratorer. Heldigvis er Google i saken for å beskjære videoer jevnt.
Nylig i et blogginnlegg kunngjorde Google et open source-verktøy for omformulering og beskjæring av videoer slik at de passer til hvilken som helst skjerm. AutoFlip er verktøyet som bruker maskinlæring (ML) basert objektgjenkjenning og sporingsteknologi for å omformere videoer automatisk.
AutoFlip - For intelligent videobeskjæring
Google opprettet dette verktøyet for å kvitte seg med den konvensjonelle metoden for statisk beskjæring for beskjæring av videoer. Den statiske beskjæringsmetoden innebærer upålitelige teknikker for videomformering, dvs. spesifisering av et kameravisningsbilde for videoen og deretter beskjæring av alt utenfor området. Denne metoden gir en uønsket produksjon av videoene.
Google Autoflip har mange avanserte funksjoner som inkluderer skuddgjenkjenning, videoinnholdsanalyse og til slutt reframing. La meg bryte hver av disse omformingsstrategiene kort.
Oppdagelse av skudd (scene)
En scene eller et skudd i en video er en kontinuerlig sekvens av rammer uten kutt. Hvis det er noen endring i bildet eller scenen til en video, Googles AutoFlip kan oppdage endringen ved å sammenligne fargehistogrammet til de forrige bildene med de nye. En skuddendring oppdages når fordelingen av rammefarge endres med en annen hastighet enn et glidende historisk vindu. Verktøyet, for å optimalisere omramningsprosessen, buffrer hele videoen før du tar noen omrammeringsbeslutninger.
Analyse av videoinnhold
Ved å bruke denne strategien, verktøyet oppdager viktige gjenstander og personer i videoen. Den bruker dype læringsbaserte objektgjenkjenningsmodeller for å identifisere objekter. Med denne modellen kan verktøyet til og med oppdage tekstoverlegg eller merkevarelogoer og andre elementer som bevegelse eller ball for sportsvideoer. Ansikts- og objektgjenkjenningsmodellene er integrert i verktøyet gjennom MediaPipe. Det er i utgangspunktet et rammeverk for behandling av multimodale data ved å utvikle rørledninger. Dette rammeverket bruker Googles TensorFlow Lite ML-rammeverk på CPUer.
Omramning
Etter å ha identifisert personer og objekter i videoer, tar verktøyet logiske beslutninger om hvordan du skal omformere videoen. AutoFlip velger en av de tre omrammeringsstrategiene for å beskjære innholdet - stasjonær, panorering eller sporing. Verktøyet velger den optimale strategien basert på innholdet i videoen. For eksempel, i stasjonær modus, forblir det omformede kameravisningen fast i en stasjonær posisjon der de fleste av de viktige scenene i videoen er til stede. For videoer som inneholder bevegelse, bruker den panorering ved å flytte det omformede kameravisningen med konstant hastighet. Når det er interessante emner i rammen, trer sporingsmodus i kraft.
Basert på reframing-strategien valgt av algoritmen, blir et optimalisert beskjæringsvindu for hver ramme satt av AutoFlip. Dette bevarer det viktige innholdet i videoen på en best mulig måte.
Google ga ut dette verktøyet direkte til utviklerne og filmskapere med sikte på å “redusere barrierer for deres designkreativitet og nå gjennom automatisering av videoredigering“. Fra landskap til portrett eller portrett til landskap, uansett tilfelle, AutoFlipis designet for å levere best mulig resultat.
