YouTube. Як шукати інформацію. Дорки та інструменти OSINT
Вітаю, шановне панство. Сьогодні про Youtube. Я думаю, що ви погодитесь, що відео це наочніше, а головне достовірне джерело інформації. Так, звичайно, трапляються і постановочні, і фейкові відео. Але якщо брати усереднено, то факт зафіксований на відео, виглядає набагато переконливіше, ніж все те саме, але описане, наприклад, у тексті. Саме з цієї причини відео-фейки працюють набагато краще ніж будь-які інші, але про це якось іншим разом. Ще один факт у тому, що на YouTube зібрано величезний обсяг інформації. А це означає, що нам потрібно навчитися її ефективно шукати.
Гаразд, перестаю писати очевидні речі. Загалом, сенс у тому, що якщо десь накопичилося багато інформації, то може статися так, що шукати її там буде складно. Що робити? Можна, звичайно, конвертувати час у результат. І за принципом «не миттям, так катанням» лопатити результати пошуку, сподіваючись знайти щось потрібне в першій сотні результатів. Тому що на другій ти задовбаєшся і закриєш браузер.
Але, якщо ти читаєш цю статтю, то тобі такий підхід не дуже подобається. Як і мені. А тому ми сьогодні будемо розбиратись як більш ефективно шукати щось на YouTube. А саме розберемо як взагалі працює пошук, які бувають пошукові оператори та як їх використовувати. Ну і крім того, подивимось на кілька корисних інструментів, які теж можуть полегшити роботу.
Механіка пошуку
Якщо ми хочемо навчитися використовувати пошук YouTube трохи краще, ніж це робить середньостатистичний користувач, то спочатку потрібно розібратися як він (пошук, не користувач) влаштований і як працює. Тобто необхідно зрозуміти механіку процесу. Крім того, що це само по собі логічно, це ще й серйозно підвищує ефективність з точки зору швидкості і точності.
У цьому питанні є два окремі напрямки. Це як YouTube індексує інформацію і те як він обробляє пошукові запити.
Як YouTube індексує відео
Спочатку, як працює індексація. Найпростіше порівняти цей процес із бібліотечним каталогом. В якому інформація про книги, розсортована залежно від теми, автора, років тощо. Ну і звичайно ж там зазначено, де саме, на яких полицях та місцях ці книги лежать. Тут працює приблизно так само. Коли хтось, типу мене, завантажує відео, YouTube аналізує це відео, вибирає певний набір ключових даних, які будуть характеризувати це відео. І записує їх у базу даних, позначаючи що ці дані відповідають такому-то відео.
Саме по цій базі даних і відбувається пошук, коли ми щось шукаємо через пошукову систему. І за кількістю параметрів, що підходять під пошуковий запит, визначається релевантність відео, а відповідно і його позиція в пошуковій видачі. Ну, а значить почати потрібно, з розуміння яку саме інформацію YouTube збирає в процесі індексації:
- Заголовок відео. Це один із найважливіших параметрів. За ключовими словами у заголовку, YouTube визначає головну тему відео. Це розуміє не лише Ютуб, а й усі, чи майже всі, автори каналів. Які намагаються вигадувати назву відео так, щоб воно містило максимум ключових слів. А ось що знають не всі автори, це те що YouTube не оцінює смислове навантаження назви, тому що він не індексує прийменники і не враховує відмінки.
- Опис відео. Це другий за важливістю параметр. При індексації відео YouTube має на увазі що в описі автор коротко переказує зміст самого відео.
- Теги відео. На скільки теги важливі для просування відео, і скільки їх має бути це вічна суперечка всіх СЕОшників. Єдине в чому вони одностайні, це те, що теги точно повинні бути. Тому що вони задумані саме як перелік ключових слів, що відображають тему відео. Але, тому що автор відео, маніпулюючи, може вписати туди все що завгодно, теги мають меншу вагу, ніж заголовок та опис. Крім тих випадків, коли ключові слова з тегів збігаються з описом, заголовком і текстами субтитрів.
- Субтитри. Якщо автор відео не завантажив субтитри, YouTube сам їх згенерує. Ну і в будь-якому з цих випадків субтитри YouTube проіндексує. Він за ними ще й визначає ключові теми у відео, навіть якщо їх немає в описі та назві. Не дуже зрозуміло наскільки сильно це впливає на ранжування відео і його місце в пошуковій видачі, але це явно має якесь значення, тому пам’ятати про це потрібно.
- Назва каналу. Назва каналу, який завантажив відео, індексується разом із самим відео. Саме тому у пошуковий запит, крім теми відео, можна сміливо додавати назву каналу. Якщо вона відома, звісно.
- Активність глядачів. Під активністю мається на увазі кількість переглядів, лайків, коментарів, репостів та утримання, тобто тривалість перегляду. Ці значення також впливають на позицію відео у пошуковій видачі. Відео з високою активністю YouTube вважає більш якісним, а отже релевантним. Відповідно їх позиція у пошуку буде вищою і знайти їх буде легше. Текст коментарів, до речі, також індексується. Навряд чи це може сильно впливати на пошукову видачу, але в загальній масі параметрів це варто враховувати.
Як YouTube обробляє пошуковий запит
Тепер розглянемо безпосередньо механіку пошуку. Що саме робить YouTube, коли ми щось вписуємо в поле пошуку. Цей процес умовно можна поділити на етапи.
Перший етап це обробка самого запиту для виділення ключових слів. Працює це так:
- Спочатку пошуковий запит розбивається на окремі слова. Також відбувається визначення наявності у запиті пошукових операторів. І якщо вони є, вони розпізнаються як команди для модифікації пошуку.
- З запиту видаляються слова, що не несуть смислового навантаження. Залежно від мови це можуть бути всякі прийменники чи артиклі, чи ще щось таке. Ну і звичайно YouTube розуміє якою мовою введений запит, відповідно всі маніпуляції відбуваються з урахуванням мови запиту. Крім того, Ютуб уміє в синоніми, тому якщо він не знайде гідних збігів за ключовими словами, він шукатиме щось схоже.
- Далі слова із запиту приводяться до своєї базової форми. Це не особливо важливий для нас момент, але щоб було розуміння, базова форма для іменників це називний відмінок, однина. Наприклад, для слова «блогерів» базова форма — «блогер». А у випадку з дієсловами це інфінітивна форма, тобто для “шукали” це “шукати”.
- Також YouTube перевіряє орфографію і якщо у запиті є помилки він спробує їх виправити.
Другий етап це визначення бажання користувача. Тобто YouTube намагається зрозуміти з якою метою ми вводимо свій запит, це може бути:
- Інформаційний запит. Тобто тобі потрібна інформація по якійсь темі, а не конкретне відео. Наприклад: «як зібрати ядерний реактор у домашніх умовах» — це інформаційний запит, який має на увазі, що нам потрібно побачити процес.
- Навігаційний запит. Це пошук якогось конкретного відео чи каналу. Або конкретного відео із зазначеного каналу. Наприклад: «відео пулсу про осінт у телеграм» це навігаційний запит, бо вказано яке саме відео якого автора ми хочемо знайти.
- Транзакційний запит. Тут мається на увазі, що ми хочемо побачити певний тип контенту. Наприклад, запит «смішні котики» буде транзакційним т.я. ми висловлюємо намір дивитися котиків і це має бути весело. Відповідно всі інші параметри нам не особливо важливі.
Третій етап це звернення до індексованих даних. На цьому етапі YouTube, маючи оброблений запит користувача зіставляє його з даними в індексі, і шукає відео, канали та плейлисти, які містять у своїх метаданих потрібні ключові слова. Якщо у запиті були використані пошукові оператори, то вони використовуються саме на цьому етапі, звужуючи або розширюючи коло пошуку.
Четвертий етап це оцінка і ранжування результатів. Знайшовши всі результати, що відповідають запиту користувача, YouTube оцінює кожен на предмет релевантності і якості. Крім того, до цих результатів застосовуються додаткові фільтри. Наприклад щодо відповідності правилам YouTube. Якщо відео не відповідає, яке б воно класне не було, його може взагалі не бути в результатах пошуку, або його рейтинг буде занижений. До речі, щоб цей фільтр обійти, потрібно шукати відео через Google, там цей фільтр не застосовується. Але про це нижче.
Ще один фільтр, який може сильно вплинути на результати, це персоналізація пошуку. Треба пам’ятати, що YouTube враховує історію переглядів та історію минулих пошуків, і це може впливати на результати пошуку.
Після виконання всіх цих етапів та врахування всіх даних та параметрів, список з результатами буде показаний користувачеві.
Ну що ж. Це була коротка та дуже стисла розповідь про те, як працює пошук YouTube. І хоч я розповів тільки про ключові моменти, але цього достатньо, щоб в цілому зрозуміти як це можна використовувати для цілей OSINT.
Пошукові фільтри YouTube
Якщо ти зібрався щось шукати в YouTube, то перед тим, як ускладнювати собі життя використанням пошукових операторів або якихось сторонніх інструментів, згадай, що там у пошуку є вбудовані пошукові фільтри.
Цих фільтрів у деяких ситуаціях достатньо, щоб звузити результати пошуку до якоїсь прийнятної кількості. Тут є 4 параметри, за якими можна відфільтрувати результати. За датою завантаження, за типом контенту (відео, канал, плейлист), за тривалістю та наявністю додаткових функцій, типу геотегів або субтитрів. А також окремо можна вибрати тип сортування результатів: за датою завантаження, за кількістю переглядів та за рейтингом.
Крім того, потрібно пам’ятати, що всі ці значення фільтрів ми можемо вписувати в поле пошуку, вони теж будуть операторами пошуку. Наприклад, якщо написати:
osint, shorts, this week
Нам знайде шортси на тему осінту, опубліковані цього тижня.
Пошукові оператори. YouTube dorks
Розкриємо тему операторів детально. Я думаю, навряд чи ти здивуєшся, дізнавшись, що пошукові оператори ютуба дуже схожі і багато в чому перетинаються з пошуковими операторами гугла. Саме з цієї причини, якщо ти раптом не читав статтю про Google Dorks то почати краще саме з неї. Але, незважаючи на очевидну подібність, відмінності все-таки є. Як і нюанси у використанні.
Лапки «"»
Лапки - це пошук точного збігу. Принцип використання приблизно той же, що й у Google. Тобто якщо ми знаємо точну назву того, що ми шукаємо, беремо це в лапки і воно шукає нам саме цю назву. Логіка максимально зрозуміла, але є невеликі нюанси, про які потрібно пам’ятати:
- якщо ми взяли в лапки не весь запит, а лише його частину, наприклад, якесь окреме слово чи фразу, то, крім того, що він шукатиме точний збіг, лапки ще й підвищують пріоритет, тобто те, що в лапках стає обов’язковим для відображення в результатах і воно точно буде в пошуковій видачі
- якщо Google, при використанні лапок шукає реально точний збіг, причому в точності до символу, то YouTube, навіть з лапками, іноді трошки використовує синоніми або відмінювання. Крім того якщо є якесь дуже популярне відео, що не повністю підходять під наш запит, але зі схожою назвою, його теж може показати в результатах.
Плюс + та мінус -
Це оператори, що дозволяють уточнити ключові слова запиту. Плюс вказує на те, що обов’язково має бути в результатах. Наприклад, якщо ми загалом розуміємо тему, за якою шукаємо інформацію, і при цьому, наприклад, знаємо ще й якесь ключове слово, яке точно відображає суть потрібної інформації, дозволяючи звузити результати, то це слово ми будемо додавати в запит, використовуючи знак плюс.
Мінус, відповідно, працює навпаки. Якщо щось нам точно не потрібне, ставимо перед ним мінус. У такому разі всі результати, що містять це слово, будуть приховані.
Прямий слеш |
| це логічний оператор АБО. Працює він відповідно до своєї назви, тобто якщо розділити їм кілька запитів, то будуть знайдені результати, що стосуються або одного з них або всіх відразу.
Цей оператор, до речі, корисніший, ніж здається на перший погляд. Тому що може допомогти охопити у запиті синоніми чи пов’язані терміни. І хоч YouTube і вміє підбирати синоніми, але не факт, що він це зробить правильно. Тому буде краще, якщо ми самі йому їх вкажемо.
Зірочка *
Те саме що і в пошуку Google. Означає «будь-яке значення», тобто використовуємо там, де існує вірогідність, що в запиті може бути якесь слово, якого ми не знаємо.
Знак долара $ і дві крапки …
Використання знака долара ($) дозволяє знайти відео, в якому згадується якась ціна. Якщо точну ціну ми не знаємо, то можна використовувати оператор діапазону чисел (..), що дозволяє шукати будь-яке значення у вказаному діапазоні (його можна використовувати не тільки для цін, а й для будь-яких діапазонів).
intitle: allintitle: description:
Як зрозуміло з назви ці оператори вказують ютубу, де саме необхідно шукати.
allintitle: оператор для точного пошуку у назві відео. Він шукатиме відео, назва якого містить усі слова, які ми вписали після двокрапок. Тому якщо ми точно знаємо якусь фразу, яка буде в назві потрібного нам відео, то краще використовувати саме цей оператор, а не лапки.
intitle: теж шукає за назвою, але тільки те слово, яке вказано після двокрапок. Якщо в запиті будуть якісь ще слова, вони не будуть оброблятися цим оператором, а враховуватимуться як звичайний запит.
description: шукає за описом. Щоб не залишати ютубу простір для самодіяльності, бо саме в цьому випадку, він може показати дуже приблизні результати, краще використовувати лапки для пошуку слів, які нам точно відомі. При цьому, якщо контекст не дуже зрозумілий, ці слова краще розділяти зірочками, на випадок якщо вони не йдуть одне за одним.
Крім того. Ми розуміємо, що автори каналів, як правило, в описі додають не лише зміст, а й, наприклад, посилання на інші соціальні мережі. Використовуючи точний пошук та оператор description: можна спробувати пошукати зв’язані соцмережі. Ну або, наприклад, всі канали, які рекламували щось, що нас цікавить, тому що посилання (або назва) на це щось в будь-якому випадку буде в описі.
before: after:
Це оператори, які дозволяють шукати за датою публікації. У пошукових фільтрах пошук за датою обмежений поточним роком, місяцем, тижнем чи днем і жодних інших варіантів вибрати не можна. З урахуванням цього факту, якщо потрібно шукати відео за якийсь проміжок часу, ці оператори стають незамінними.
Використовуючи before: ми вказуємо, до якої дати було завантажено відео, а використовуючи after: ми вказуємо після якої дати було завантажено відео.
Наприклад, after:2021-01-01 before:2021-12-31 ми дали команду шукати відео, опубліковані в 2021 році. Дату потрібно вказувати у форматі РІК-МІСЯЦЬ-ДЕНЬ.
Пошук відео в Google
Як я вже казав, YouTube ранжує відео в пошуковій видачі, оцінюючи його за певним алгоритмом. При цьому деякі відео можуть взагалі не з’являтися в результатах пошуку, або їх позиції можуть бути занижені алгоритмом ютубу. А специфіка OSINT у тому, що часто саме ці відео нам і потрібні. Тому якщо ти розумієш, що шукаєш відео, яке потенційно може містити щось таке, що може не подобається YouTube, то краще шукати такі відео у пошуку Google. Наприклад так:
site:youtube.com "osint * telegram" inurl:watch
Невеликий нюанс. У цьому прикладі я додав inurl:watch, щоб знайти саме відео т.я. URL-адреса будь-якого відео містить слово watch, а URL плейлиста або каналу не містить.
Крім того, потрібно пам’ятати, що Google має розширений пошук по відео:
https://www.google.com/advanced_video_search
Принцип роботи той же, що і у звичайного розширеного пошуку. Вводимо ключові слова, вибираємо додаткові параметри, типу мови, дати, якості та шукаємо.
Додаткові інструменти YouTube OSINT
Тепер розберемо сторонні інструменти, які дозволяють отримати додатковий обсяг інформації.
⨠ https://mattw.io/youtube-metadata
Це інструмент для вивчення метаданих конкретного відео та каналу в цілому. Вставляємо посилання на відео і нам покаже його дату та час публікації, опис та теги, які ввів автор. До якої категорії віднесено відео, його мову та ідентифікатор. Також ми побачимо статистику з переглядами, кількістю лайків та коментарів. Ну і деякі специфічні характеристики, типу наявності рекламного контенту, якості запису та геотегів. Окремо можна завантажити обкладинку. А також буде посилання на пошук зображення по обкладинці та кадрам з відео. І посилання на пошук у веб-архіві та Google. У тому числі і за ідентифікатором, це може бути корисним, якщо відео вже не доступне. Окремим блоком буде доступна інформація про канал. Його логотип, обкладинка, опис, теги, країна, а також ідентифікатор Google аналітики. Ну і посилання на варіанти пошуку в архіві та пошуку в Google за ідентифікаторами каналу.
⨠ https://mattw.io/youtube-geofind/location
Пошук відео по локації. На карті вказуємо потрібну точку, радіус пошуку, додаємо фільтри, якщо вони потрібні, і нам покаже всі відео з геотегами з цієї місцевості. Відео буде видно на карті, а також у вигляді списку.
⨠ https://ytbcomments.com
Це ресурс для пошуку та скачування коментарів. Вводимо посилання на відео та отримуємо його коментарі. Основний плюс у тому, що їх можна завантажити у вигляді таблиці.
⨠ https://filmot.com
Пошук за субтитрами. Вводимо потрібну фразу, якщо знаємо точне формулювання, яке використовувалося, то беремо її в лапки. Також можна вказати конкретні канали, на яких шукати. Шукати можна окремо у субтитрах автоматично згенерованих YouTube. А можна в тих, які завантажив автор. У результатах ми побачимо саме відео, його назву, автора та мову. А також фрагмент субтитрів, де зустрічається наш запит. Результати можна додатково відфільтрувати за категоріями, мовою, країною та датою публікації. Можна змінити порядок сортування, наприклад, за найновішими або старими, або за переглядами та лайками. Єдиний момент, який потрібно враховувати, це те, що цей ресурс не шукає безпосередньо на YouTube, а самостійно збирає субтитри, тому деякі відео можуть потрапити сюди із затримкою. А деяких відео чи цілих каналів може просто не бути.
⨠ https://findyoutubevideo.thetechrobo.ca
Це ресурс для пошуку видалених відео. Вводимо посилання на видалене відео і він спробує знайти на інших ресурсах саме відео або інформацію про нього. І якщо саме відео далеко не завжди виходить знайти, то метадані та субтитри знаходить досить часто.
Отже
Ну що ж. Ми розібралися як YouTube індексує відео. Як працює його пошук, які бувають пошукові оператори YouTube та як їх використовувати. Тобі тепер потрібно лише потренуватися застосовувати все це на практиці. І я впевнений, що твій OSINT по YouTube вийде на якийсь новий, якісніший рівень.