Показ дописів із міткою automation. Показати всі дописи
Показ дописів із міткою automation. Показати всі дописи

середа, 14 лютого 2018 р.

Звіт з мітапа KyivTesters Feb.23

Цього разу ми говорили про "Піраміду Автотестування".
Людей було небагато, і атмосфера була майже сімейною. Усі коментували з місць та почувалися вільно, не соромилися вказати спікеру (особливо мені), коли я говорив не те, що мав на увазі :-)
Я був дуже радий бачити і старих, і зовсім молодих колег. Проект професійної соціалізації працює!

Тарас Романчук міркує про надійність/швидкість/вартість автотестів.

пʼятниця, 1 грудня 2017 р.

Звіт з мітапу Kyiv Testers Nov. 29

По-перше, дякую всім, хто прийшов на нашу зустріч Kyiv Testers' Meetup!
І хоч із зареєстрованих 60+ було лише 19, це дозволило, як сказав Джеррі Вайнберг, "намазувати варення" досвіду товщим шаром.

Хочу одразу перепросити за невеличку затримку з початком. Я думав, що багато людей запізняться. Але свідомі тестери були настільки свідомі, що після 19-30, оголошеного початку, прийшло лише пару людей. Слухачі виявилися організованішими за доповідачів :-)

Першим доповідав про хайпову тему "тестування продуктивності" Макс Войтко. Ось його слайди: Performance for Small Projects і його фоточка:


пʼятниця, 20 жовтня 2017 р.

Good Pyramid - Bad Pyramid

Along with awareness of the need to write automated tests, programmers are increasingly bogged down in the swamp of testers terminology (they think it's unified >: - E).
I decided to put some more historical context to the Pyramid understanding.

Just nice pyramids  from TUTORIAL 1 - OpenGL Fundamentals http://www.naturewizard.at/tutorial0104.html

четвер, 2 березня 2017 р.

Звіт із Selenium Camp 2017, про метрики


Продовжу писати свої нотатки про Selenium Camp 2017. 

Інші частини:
    Про архітектуру тестів
        Про Continuos Deployment
 

Не одна і не дві доповіді були присвячені збору статистики запусків тестів; і звісно рішенням, що приймаються на основі зібраних даних.



Метрика села Северинівка, severyn.org

Що і чим міряють(ся) тестувальники у 2017?

 

середа, 1 березня 2017 р.

Звіт із Selenium Camp 2017, про архітектуру тестів

Був оце на Selenium Camp 2017
Все дуже сподобалось! І місце, і доповіді, і відвідувачі. Особливо на віскі-паті :-)
Після кожної доповіді я ставив питання, а на майстер-сесії питань-відповідей навіть трохи попав у кадр і змусив усіх відповідати, як мати справу із великими тестовими базами, отримавши кілька робочих ідей!
І навіть той раз, коли одна з презентацій перетнула нижню межу цікавості, час не був втрачений, бо в коридорі нас спіймали журналісти і взяли інтерв’ю. 



Ще раз дякую команді організаторів!

Свій звіт я хочу зробити досить нестандартно. Відео всіх доповідей ви самі можете подивитися на офіційному каналі, тому немає сенсу їх переказувати. Я ж просто поділюся тим, що було нового впродовж двох днів конференції саме для мене на кожну з тем, не прив’язуючись до якоїсь конкретної презентації.
 

Усі мої нотатки можна розділити на 3 групи:
  • Збір та аналіз статистики результатів тестування
  • Архітектура автоматизації (поради щодо PageObject та інших паттернів)
  • Безперервне впровадження (Continuous Deployment): Github Flow, середовища розробки, постійне тестування на робочому середовищі

Хочу почати з архітектури, бо про це в мене найбільше нотаток.

неділя, 18 грудня 2016 р.

Книга Алана Пейджа "The A word"

Автор - Alan Page (його блоґ: angryweasel.com, твіттер: @alanpage), працює в Microsoft.

Книга невеличка, але чудова (коштує лише 2 бакси на leanpub), не така вже й нова (я її купив ще коли долар був по 8). Можливо, вона мені найбільше сподобалася через те, що думки автора щодо автоматизації збігаються з моїми:
 
You should automate 100% of the tests that should be automated.


понеділок, 15 лютого 2016 р.

Where to start to automate your checks?


So you are an almost only off-shore tester on a project, and want to automate some of your daily checks to have more time for actual testing. But you lack skills to do it right, or you think you do. And the automation tools and frameworks do not suddenly appear in a project. Somebody needs to implement them.


This picture is familiar to lots of us. But how can we push the deal out of this vicious circle? If not directly to a project's but for self-development sake?

We often hear the management saying: “We do not need automation at this point.”
And they are right!
They do not need an automation of those checks YOU PROPOSED, if it is done by YOU INSTEAD of the work you are hired for, especially in that weedy way YOU NOW would do it.
Whole disadvantage from their perspective!


Starting to write code is always hard and slow at the beginning, because the code quality is in direct proportion to an amount of hours one spent attentively staring at it. So here I propose the first points to look at start:

неділя, 14 лютого 2016 р.

Є час, хочу автоматизувати. З чого почати?

Автоматизація сама на проектах не з’являється, її хтось має писати.

Ця картинка знайома багатьом. Але як зрушити справу з мертвої точки? Якщо, навіть, не для проекту, а для свого розвитку?

Ми чуємо від керівництва "На даному етапі нам не потрібна автоматизація."
І це так!
Їм не потрібна автоматизація саме тих перевірок, що Ви їм запропонували, якщо її будете робити Ви замість тієї робити, на яку Вас найняли, та ще й так недолуго, як Ви зараз це робите.
З їхньої точки зору - суцільні мінуси!


понеділок, 28 грудня 2015 р.

Що таке "добрі локатори" на web-сторінках

Писання автоматизованих тестів для web GUI складається, великою мірою, не тільки з логіки перевірок та вигадування моделі тестових даних, як під час тестування API, а ще й із прив’язування логіки тесту до правильних елементів на сторінці, тобто - побудови локаторів.
Окрім усім очевидних методів пошуку елемента за id чи ім’ям класу (class name), іноді у нагоді стають css-selector'и та xpath'и, що дозволяють вкласти певну логіку у спосіб пошуку, та значно полегшити код самої перевірки, звівши її до простої присутності елемента за зазначеним локатором. Але який локатор вважати добрим?

понеділок, 14 грудня 2015 р.

Як читають багрепорти?

Головною і чи не єдиною загальновживаною метрикою ефективності тестерів є кількість баг-репортів. Ну а якість цих звітів - головний результат роботи тестувальника.
Основні елементи баг-репорту приблизно однакові, незалежно від системи відстежування дефектів. Але у кожному конкретному випадку найбільш доречними для заповнення можуть бути різні поля. І, на мою думку, об’єм необхідної інформації у звіті залежить від порядку, в якому наша "цільова аудиторія" (ПО, кодер чи інші тестери) читають звіти.
Отже, як читають баг-репорт:
  1. Summary

    Опис дефекту - те саме, що тема у листа. Він або викличе цікавість, і читач одразу його відкриє, щоб дізнатись деталі; або читачу стане і так все ясно.
    В Джірі (Jira) на дошці перегляду беклогу на 17’’ моніторі видно від 30 до 56 символів Summary. Цим екраном зазвичай користується ПО (Product Owner), пріоритизуючи задачі. Це не привід обмежуватись 50-ма символами. Просто треба поставити найважливішу саме для ПО інформацію на початок опису, як то: назву функціональної області чи функції, наслідки цього дефекту для функціональності.                                                                                                                  Наприклад: Player: Video played slower than Real time [приблизна межа видимості] when played from the middle
  1. Screenshots

    Нотаріально завірені скріншоти - друге, на що дивиться зацікавлений описом читач. Відкривши ваш звіт, він хоче якнайшвидше переконатися, що баг таки присутній у системі, чи принаймні у тестовому середовищі. Скріншоти, тобто візуальна інформація, дуже корисні для швидкої оцінки "звинувачень".
    Я раджу вставляти їх завжди, адже функціонал може змінитися, кроки - стати не актуальними, а скріншоти - залишаться єдиними свідками колишніх "фаталів".
  2. URLs

    Після швидкого перегляду візуальних доказів, наш приголомшений читач спішить-перекидається побачити усе на власні очі. Тому він швидко сканує текст звіту, шукаючи посилання, що якнайшвидше забере його туди. (Тут я згадую себе, коли мені скидають критичний баг-репорт з продакшону :-Е )
    Найчастішою відмазкою, щоб не вставляти URL-адреси є те, що, мовляв, перевіряємо на тестовому середовищі, чий вік вимірюється якщо не годинами, то днями. І за тиждень клікнувши на посилання, ви отримаєте "Server not found". Але навіть таке посилання - дуже корисне, бо насправді ім’я сервера можна легко поміняти на існуюче. Якщо Ви соромитесь вставляти неробочі URL'и, можете написати перед ним "e.g.", або вставити адресу без імені сервера.
  3. Expected result vs. Actual result

     А поки посилання відкриваються у сусідній ўкладці, наш нетерплячий читач з’ясовує, що ж звітовник очікував на тій сторінці побачити, і у чому саме відмінність від реальності.
  4.  Preconditions & Steps, Environment, Severity

    Ну і, нарешті, тільки якщо вся вищеозначена інформація виявилася марною для осягнення глибини тестувальної думки, доходить черга до передумов та кроків, і, власне, відтворення дефекту.
    Не пишіть багато кроків, крім випадків, де це необхідно. Чим їх більше, тим менша імовірність, що їх хтось із цих ледацюг буде виконувати.

неділя, 25 жовтня 2015 р.

Рівні інтеграції коду та об’єм тестів

Тестування, як вчать книжки, відбувається на трьох рівнях:
  • Integration testing
  • System testing
  • Acceptance testing
Класична V-модель рівням тестування ставить у відповідність стадії розробки ПЗ. Але у теперішніх умовах саме таку відповідність можна робити хіба що для певних продуктових проектів.
Більшість компаній (принаймні, мені відома) все ширше використовують agile, зокрема scrum, де розробка проходить ітераціями, коли на виході кожної має з’являтися "potentially shippable product increment" - готовий до випуску приріст фунціональності, як би самостійна частина ПЗ. Всюди панує Git Flow, модульність, де кожну фічу розробляють незалежною, із можливістю її повного вимкнення на продакшені.

Таким чином, часто кожна фіча вже є окремим продуктом, що пройшов усі стадії розробки. І усі ці рівні тестування відбуваються, або мали б відбуватися, щодня.
Тому, логічніше поставити у відповідність рівням тестування - стан коду, що перевіряється, тобто гілку у системі контролю версій:
  • (Feature) Integration testing  ->  feature code branch
  • System (Integration) testing  ->  develop code branch
  • (System) Acceptance testing  ->  master code branch