QA Skills Matrix_

Має базові теоретичні знання про оцінювання та пріоритизацію: може оцінити прості задачі та пояснити оцінки.

Запитує пріоритети задач у N+1.

Знає типи тестової документації та їх призначення.

Повідомляє керівнику про блокери чи некоректні оцінки.

Має практичний досвід тестування та розуміння процесу тестування.

Читає та розуміє поточний тестовий план (власні активності та поточний підхід) за певними інструкціями.

Оцінює нескладні задачі з прийнятною точністю (у годинах, story points тощо).

Розуміє пріоритизацію та декомпозицію задач.

Чітко розрізняє поняття серйозності (severity) і пріоритету (priority).

Читає та розуміє стратегію тестування та тестовий план.

Актуалізує або вносить зміни до існуючого тестового плану.

Оцінює задачі середньої складності.

Ідентифікує основні ризики та повідомляє про них відповідальну особу.

Виконує декомпозицію та оцінювання складних задач.

Автономно пріоритизує та оцінює задачі високої складності.

Виконує високорівневе оцінювання для проєктів, знає різні підходи.

Створює тестову документацію (тест-план, тестову стратегію) з використанням найкращих практик.

Ідентифікує та описує ризики, пропонує план їхньої мінімізації.

Знає та використовує різні підходи до оцінювання (Expertний, WBS, зважений, 3-точковий).

Створює з нуля тест-план, тест-кейси, тестовий набір, чеклісти, звіти тощо.

Має досвід планування та оцінювання повного спектру тестових активностей у 3+ проєктах.

Пріоритизує задачі тестування для проєкту та за потреби наводить переконливу аргументацію клієнту.

Ідентифікує ризики для якості та пропонує план їхньої мінімізації, має досвід тестування на основі ризиків у 2+ проєктах.

Знає, що таке ROI, та розраховував його 2+ рази.

Знає формальні моделі покращення процесів (TMMi, TPI, ASPICE) і застосовує їх.

Створював 5+ тест-планів/стратегій, узгоджених із клієнтом і використаних у тестуванні.

Вміє "продати" вигоди обраного підходу до тестування зацікавленим сторонам.

Знає структуру тест-кейсів та їхню відмінність від чеклістів.

Знає основні техніки тест-дизайну (еквівалентне розбиття (EP), граничні значення (BV), таблиця рішень (DT), діаграма станів (ST)) - знає 1 або 2.

Може створювати тест-кейси та чеклісти за допомогою старших колег для позитивних і деяких негативних сценаріїв.

Розуміє відмінності між:

Розуміє найпоширеніші техніки тест-дизайну (EP, BV, DT, ST) та використовує їх під час вибору тестових даних.

Створює читабельні тест-кейси для позитивних і негативних сценаріїв.

Знає, як досліджувати проблему, та може навести приклади:

Визначає та збалансовує тестове покриття.

Розуміє концепцію рівнів тестування та типів тестування.

Визначає, які тест-кейси найбільш доцільні для кожного рівня тестування.

Створює тест-дизайн для позитивних і всіх негативних сценаріїв.

Знає стандарт IEEE для тест-дизайну (29119 ч.4).

Використовує найпоширеніші техніки тест-дизайну (EP, BV, DT, ST).

Визначає тестові дані.

Підходить до нефункціональних аспектів продукту, пропонуючи відповідні методи тестування.

Переглядає тест-кейси/чеклісти колег і наставляє/консультує їх, має відповідний досвід.

Виконує тест-дизайн на основі наданих вимог або відповідно до здорового глузду і досвіду, якщо точні вимоги не надані.

Оптимізує кількість тестових даних, необхідних для виконання тест-кейсів.

Використовує підхід, заснований на ризиках, у тест-дизайні.

Як додатковий плюс, має улюблений підхід до тестового аналізу.

Визначає, яку техніку тест-дизайну слід використовувати в конкретному випадку, виходячи з досвіду та ризиків.

Наставляє колег щодо різних технік тест-дизайну та оптимальних підходів.

Як додатковий плюс, має власний підхід до тестового аналізу та тест-дизайну, який довів свою ефективність у 3+ проєктах.

Має базові теоретичні знання про тестову звітність.

Звітує про власну діяльність за день, тиждень, спринт (тести створені, виконані, баги створені, інші активності).

Розуміє метрики 1-го рівня (кількість): кількість дефектів, кількість виконаних/провалених тестів, кількість дефектів за критичністю тощо.

Пояснює поняття тестового покриття, тестових зусиль, розподілу дефектів, виконання тестів, відповідності вимогам тощо.

Постачає звіти за наданими шаблонами.

Надає чіткий структурний статус тестових активностей під власною відповідальністю.

Читає звіт і розуміє поточну якість продукту.

Розуміє метрики 1-го та 2-го рівнів (відносні): відсоток виконання/провалу за модулем/функціоналом, дефектна витікність тощо.

Створює діаграми для ілюстрації якості тестування за метриками.

Забезпечує чіткий огляд статусу тестування для проєкту на високому і низькому рівнях.

Розрізняє деталі звітів залежно від цільової аудиторії.

Звітує про якість продукту.

Надає конкретну, точну, наративну та зрозумілу інформацію у звітах.

Збирає метрики щоденно, аналізує їх та впроваджує для практичного використання.

Розуміє метрики 1-го, 2-го та 3-го рівнів (розподільчі): динаміка дефектів, залежність кількості змін і дефектів тощо.

Збирає інформацію для метрик із різних джерел.

Визначає стандарти звітності та шаблони для різних поставок, навчає інших.

Має власний підхід до звітності, підтверджений позитивними відгуками у 3+ проєктах.

Виявляє ключові аспекти та допомагає швидко зрозуміти суть інформації.

Забезпечує, що звіти містять лише цінну інформацію.

Застосовує метрики всіх рівнів, розуміє їх збір та використання.

Визначає прогалини у процесі звітності, пропонує підходи на основі метрик для покращення QA-процесів.

Має досвід погодження та впровадження метрик із зацікавленими сторонами у 3+ проєктах.

Має базові теоретичні знання про SDLC та поняття середовищ.

Знає теоретично та має практичний досвід роботи з однією з моделей SDLC (традиційні чи Agile).

Розуміє етапи SDLC та може описати дії на кожному з них із прикладами з практики.

Розуміє процеси збірки та розгортання.

Може описати переваги та недоліки різних моделей SDLC.

Детально описує кожен етап проекту, спираючись на конкретний SDLC.

Знає, яке середовище для чого використовується.

Розуміє принципи управління середовищами та конфігурацією.

Знає основні тестові активності та артефакти для кожного етапу SDLC.

Налаштовує середовища збірки/розгортання/тестування та відповідні інструменти.

Володіє глибокими знаннями різних моделей SDLC, знає їхні переваги, виклики, недоліки та має значний практичний досвід.

Знає життєвий цикл середовищ від створення до закриття.

Використовує інструменти CI/CD, налаштовує їх та створює нові потоки роботи.

Управляє тестовою інфраструктурою та відповідає за повний тестовий життєвий цикл.

Визначає прогалини в процесах і пропонує нові підходи для підвищення швидкості/якості або зменшення витрат ресурсів.

Впроваджує методологічні практики.

Учасник вибору SDLC для проекту, може переглядати процеси та пропонувати ідеї для їхнього вдосконалення, працюючи в режимі постійного покращення.

Адаптує QA-процес до специфіки SDLC проекту, включаючи специфічні для проєкту параметри.

Налаштовує QA-процес, починаючи від статичного тестування і до завершення тестування.

Як додатковий плюс, має досвід налаштування процесів Agile/Scrum з нуля.

Має теоретичні знання про структуру бага та його життєвий цикл.

Може створювати звіт про баг (заповнює всі обов’язкові поля), читати його та відтворювати проблему в системі трекінгу.

Розуміє різницю між верифікацією та валідацією.

Створює структурований звіт про баг із усією необхідною інформацією.

Розуміє різницю між серйозністю (severity) і пріоритетом (priority).

Здійснює локалізацію дефектів.

Використовує наявні інструменти для аналізу проблем (логи, бази даних, консоль, DevTools).

Розуміє структуру ПЗ та може припустити можливі причини проблеми.

Визначає адекватну пріоритетність/серйозність дефекту.

Створює структурований звіт про баг (додає мета-інформацію: посилання, теги, збірки, модулі, логічні зв’язки, скріншоти, тестові дані тощо).

Аналізує проблему та локалізує баг без нагляду.

Знає інструменти для аналізу причин проблем.

Аналізує вплив пріоритетності/серйозності дефектів.

Локалізує дефекти в інтегрованих системах.

Розуміє структуру ПЗ та проводить аналіз причин проблем.

Співпрацює з командою розробки для аналізу та стежить за прогресом у виправленні проблеми.

Читає недосконалі звіти про баги та відтворює проблему.

Систематизує дефекти наприкінці ітерації.

Проводить глибокий аналіз причин проблем, визначає потенційні слабкі місця та пропонує рішення наперед.

Бере участь у розслідуванні бізнес-проблем, надає повну інформацію про розташування бага, включаючи посилання на код і пов’язані попередні проблеми.

Локалізує проблеми в незнайомих середовищах, збираючи необхідну інформацію.

Має глибоке розуміння логіки систем і принципів локалізації дефектів.

Систематизує дефекти наприкінці ітерації, сприяючи формуванню уроків.

Має базові теоретичні знання про вимоги та їх характеристики. Здатен читати та розуміти вимоги проєкту.

Має досвід тестування вимог.

Аналізує основні аспекти вимоги, такі як однозначність, логіка, тестованість, актуальність, потенційні тест-кейси та інтеграції.

Аналізує різні типи вимог: користувацькі історії, UML-діаграми, діаграми потоків, SRS, FRS.

Знає основні критерії вимог за стандартом IEEE та вміє співвідносити вимоги з цими критеріями.

Виконує огляд і аналіз вимог та специфікацій.

Встановлює трасування між вимогами та іншими артефактами проєкту (багами, тест-кейсами, комітами коду, релізними примітками тощо).

Аналізує залежності та ризики, пропонує своє бачення слабких місць та покращень.

Пише менш формальні вимоги (наприклад, use cases).

Працює з вимогами на рівні проєкту.

Ефективно працює навіть із низькоякісними вимогами.

Забезпечує високоякісний огляд і аналіз вимог та специфікацій.

Має базові теоретичні знання про бази даних і знає найпоширеніші з них.

Розуміє процес тестування даних.

Має досвід роботи з MS Excel і знає основні команди.

Розуміє різні типи даних і може визначити відповідні діапазони для тестування під наглядом.

Аналізує прості набори даних.

Виконує прості запити SELECT до баз даних.

Знає поширені формати файлів, як-от txt, xlsx, csv.

Маніпулює даними за допомогою базових функцій інструментів аналізу.

Визначає чіткі та оптимальні набори даних і сценарії для тестування якості даних.

Аналізує та тестує процеси потоку, трансформації та завантаження даних (ETL).

Знає принаймні одну систему управління базами даних.

Використовує Excel для створення зведених таблиць і діаграм.

Аналізує великі та складні набори даних за короткий час і надає цінні результати.

Аналізує робочий процес із даними та виявляє вузькі місця.

Розуміє вплив структури даних на алгоритмічну складність обробки та типові дефекти, які через це виникають.

Генерує інформацію за допомогою спеціалізованих структур даних, вибираючи оптимальні способи обробки та збереження даних.

Аналізує робочий процес із даними, виявляє вузькі місця та пропонує власне бачення їх усунення.

Розуміє внутрішню архітектуру баз даних і принципи роботи їхніх двигунів.

Генерує інформацію за допомогою спеціалізованих структур даних, вибираючи оптимальні способи обробки та збереження.

Як опція: знає базову інформацію про вебсервіси, вебтехнології, архітектуру клієнт-сервер (як взаємодіють бекенд і фронтенд), ОС, UNIX, SQL, API, REST, Web.

Має базове розуміння, як створюється та працює програмне забезпечення.

Використовує інструменти, специфічні для проєкту, для виконання тестових активностей (будь-яка з технічних областей: ОС, UNIX, SQL, API, REST, Web).

MS Office або Google Docs, командний рядок тощо.

Знає, як працювати з консоллю інструментів розробника.

Якщо застосовується - SQL: CRUD.

Пояснює технологію, коли і як її використовувати/тестувати, як вона працює (ОС, UNIX, SQL, API, REST, Web).

Використовує інструменти, пов’язані з тестуванням (керування завданнями, управління тест-кейсами, управління дефектами).

Знає технології доменної області (FE/BE), протоколи, логування, БД, інструменти збірки, системи контролю версій.

Розуміє типи програмного забезпечення (клієнт-сервер, десктоп, веб, консоль тощо).

Має базове розуміння роботи ОС.

Виконує завдання за допомогою консолі DevTools.

Якщо застосовується - SQL: створює запити SELECT, знає JOINs і UNIONs.

Впевнено налаштовує робочі процеси в інструментах управління тестуванням, включаючи кастомні статусні переходи та призначення прав доступу (управління завданнями, тест-кейсами, дефектами). Вміє відтворити реальний lifecycle проєкту в цих інструментах.

Має поглиблені знання середовища BE/FE (API, SPA, логування, БД, ОС, SCM, поширені архітектурні підходи).

Має базові навички програмування (знання ООП, принаймні вміє читати код).

Якщо застосовується — добре знає REST-клієнти, як-от Postman, Fiddler.

Якщо застосовується — знає SQL-запити (вкладені запити, SQL-функції тощо).

Якщо застосовується — знає інструменти продуктивності та безпеки тестування.

Має архітектурні знання, розуміє алгоритми, інструменти, які використовують розробники.

Знає структуру фреймворків, компоненти та підходи до інтеграції.

Впевнено працює з БД, логуванням та мережевими протоколами.

Працює з різними технологіями, знає альтернативи та може їх порівняти/оцінити.

Визначає інструменти для тестування на проєктах і рівень їхньої глибини.

Розуміє, що таке ШІ-асистенти та LLM, що таке промпти і чому результати можуть бути недетермінованими.

Може використовувати дозволені ШІ-інструменти, щоб ставити запитання щодо тестування та пояснювати базові концепції коду або тестування.

Розуміє базові ризики: галюцинації, конфіденційність і необхідність перевіряти результати.

Використовує ШІ для підготовки простих тест-кейсів, чеклістів, тестових даних, скриптів, баг-репортів і тестової документації.

Використовує ШІ для аналізу вимог до ПЗ, користувацьких даних та сценаріїв.

Використовує ШІ для розуміння незнайомого коду, логів або понять із бізнес-домену.

Перевіряє згенеровані ШІ артефакти перед використанням і дотримується політик організації щодо безпечної роботи з даними.

Самостійно застосовує структуровані техніки промптингу, як-от надання контексту, прикладів, декомпозиція задачі та обмеження відповіді.

Використовує ШІ в регулярних QE-процесах: генерація сценаріїв, підготовка даних, підтримка автоматизації, супровід тестів, аналіз flaky-тестів і аналіз логів/пошук root cause.

Оцінює ШІ-інструменти за точністю, приватністю, вартістю та практичною цінністю для команди.

Безпечно використовує ШІ в межах дозволених процесів і може пояснити, де все ще необхідна людська перевірка.

Проєктує підхід до тестування продукту або команди з використанням ШІ.

Налаштовує асистентів, бази знань або обмежених агентів під контекст проєкту.

Інтегрує ШІ-перевірки в delivery workflow там, де це доречно, наприклад для тріажу, супроводу, аналізу збоїв або пріоритизації.

Визначає командні guardrails для безпечного використання та менторить інших.

Вимірює вплив за конкретними результатами, як-от скорочення cycle time, зменшення flaky-тестів, зниження витрат на супровід або покращення виявлення дефектів.

Визначає стратегію та стандарти використання ШІ в Quality Engineering на рівні організації.

Обирає, створює або масштабує корпоративні ШІ-можливості для QE.

Встановлює підходи до governance, безпеки, вимірювання результатів і впровадження в різних командах.

Розвиває інноваційні агентні підходи в quality workflow із чітким людським контролем і керуванням ризиками.

Розуміє різницю між детермінованими системами та ймовірнісними ШІ-системами.

Знає базову термінологію: модель, тренувальні дані, інференс, промпт, галюцинація.

Може визначити ШІ-компоненти в системі, що тестується, і пояснити, чому класичні тестові оракули можуть потребувати адаптації.

Виконує функціональне та exploratory-тестування ШІ-функцій за заздалегідь визначеними або простими користувацькими сценаріями.

Використовує еталонні приклади або розмічені дані, якщо вони доступні.

Чітко виявляє та документує дефекти, специфічні для ШІ, зокрема галюцинації, небезпечні відповіді, слабке grounding або нестабільний формат/поведінку.

Розуміє базові підходи до оцінювання та типові ризики, як-от неточні результати, шкідливий контент або витік чутливих даних.

Проєктує тести для ймовірнісних систем із використанням допусків, рубрик, датасетів або статистичних перевірок там, де це доречно.

Тестує RAG/LLM-функції щодо якості пошуку, релевантності, faithfulness і поведінки, пов’язаної з галюцинаціями.

Тестує пайплайни даних і регресію після змін моделі, промптів, retrieval-механізму або конфігурації.

Покриває edge cases, шумні вхідні дані, робастність, аспекти fairness і точки інтеграції з рештою системи.

Бере участь в експериментах, таких як A/B-порівняння, і може інтерпретувати метрики, релевантні конкретній задачі.

Проєктує end-to-end стратегію тестування ШІ, що охоплює модель, дані, промпти, retrieval, інструменти/агентів, інтеграції та моніторинг у production.

Створює або підтримує автоматизовані evaluation pipeline з використанням людських рубрик і, де доречно, LLM-as-a-judge.

Визначає quality gates для релізу або промоції на основі метрик, релевантних задачі, та ризик-орієнтованих порогів.

Проводить adversarial testing і red teaming для prompt injection, jailbreaking, небезпечного використання інструментів, витоку PII, data poisoning, abuse і misuse-сценаріїв.

Враховує нефункціональні аспекти, як-от latency, throughput, використання токенів, вартість, надійність і drift.

Формує практики AI assurance на рівні організації, що охоплюють governance, безперервне оцінювання, auditability, аналіз інцидентів і людський контроль.

Узгоджує практики якості ШІ з корпоративними risk framework, застосовними стандартами та регуляторними вимогами.

Очолює стратегію якості для складних ШІ-систем, включно з агентними та мультимодальними системами.

Розвиває senior-фахівців і допомагає формувати кросфункціональні практики разом із product, platform, security, data та legal-командами.