First implementation #1

KuznetsovRoman · 2025-01-16T14:19:59Z

No description provided.

github-actions · 2025-01-16T14:20:43Z

Testplane run finisned

Testplane HTML-report is available at https://gemini-testing.github.io/gh-actions-testplane/testplane-reports/2025-02-12/13287216451/41

KuznetsovRoman · 2025-01-21T19:48:09Z

.github/workflows/publish.yml

@@ -0,0 +1,41 @@
+name: GitHub action publish new version


Флоу для релиза новой версии github action
Собирает новую версию action и коммитит ее в мастер

KuznetsovRoman · 2025-01-21T19:50:10Z

.github/workflows/test.yml

@@ -0,0 +1,65 @@
+name: Testplane CI


Тестовый флоу.

Тестирует юнит тестами

Прогоняет линтер

Билдит action

Запускает этот action на тестовом проекте

Выкладывает html-отчет на gh-pages

Оставляет комментарий со ссылкой на отчет

KuznetsovRoman · 2025-01-21T19:51:26Z

.gitignore

@@ -1 +1,2 @@
 node_modules
+dist/dev.js


Собирается с npm run build, запускается разработчиком
На самом деле, локально билдить какого-то смысла нет, кроме как "проверить, что оно собирается"

А почему в игноре не весь dist?

dist/index.js будет билдиться и комиттиться.
Так же, как в npm registry коммитится build, так же и в github коммитится сбилженный github action
Вот пример github action (https://github.com/actions/cache), у них у всех dist коммитится в VCS, откуда же и запускается, когда разработчик пишет что-то вроде "uses: actions/cache@v4"

KuznetsovRoman · 2025-01-21T19:51:43Z

.nvmrc

@@ -0,0 +1 @@
+v20.18.1


Максимальная версия, поддерживаемая github actions

KuznetsovRoman · 2025-01-21T19:52:05Z

action.yml

@@ -0,0 +1,43 @@
+name: 'Testplane action'


Конфиг github action
Описывает входные и выходные параметры

KuznetsovRoman · 2025-01-21T20:35:56Z

src/testplane/cache.ts

+            return;
+        }
+
+        if (this.needsBrowsersCache && !cache.isFeatureAvailable()) {


gh сервис кэширования может быть недоступен

KuznetsovRoman · 2025-01-21T20:36:14Z

src/testplane/cache.ts

+
+        core.debug(`Testplane browsers cache primary key: "${this.cachePrimaryKey}"`);
+
+        this.init = () => Promise.resolve();


Второй раз init не нужен

KuznetsovRoman · 2025-01-21T20:37:34Z

src/testplane/testplane.ts

+        const commandOutput = await this.pm.getExecOutput(this.withConfig(["testplane", "--version"]));
+        const semverNumbers = commandOutput.split(".").map(Number) as [MajorVersion, MinorVersion, PatchVersion];
+
+        this.version = () => Promise.resolve(semverNumbers);


Результаты подобных команд не изменяются в процессе работы action, так что их кэшируем

KuznetsovRoman · 2025-01-21T20:38:58Z

src/testplane/testplane.ts

+
+        core.debug("Running Testplane install-deps");
+
+        await this.pm.exec(this.withConfig(["testplane", "install-deps"]), { silent: false });


silent: false включает вывод логов команды в stdout/stderr

KuznetsovRoman · 2025-01-21T20:41:12Z

src/utils.ts

+    const dateNow = new Date();
+
+    const year = dateNow.getUTCFullYear();
+    const month = String(dateNow.getUTCMonth() + 1).padStart(2, "0");


По умолчанию getUTCMonth выдает значения [0, 11]

KuznetsovRoman · 2025-02-03T12:50:37Z

package.json

+  "type": "module",
+  "scripts": {
+    "build-base": "rollup --config rollup.config.ts --configPlugin @rollup/plugin-typescript",
+    "build": "npm run build-base -- --file dist/dev.js",


Билдит action, чтобы "проверить, что билдится". Запускается локально.
Локально нет возможности запустить из-за тесной интеграции с @actions модулями

shadowusr · 2025-02-03T12:54:21Z

package.json

+  "scripts": {
+    "build-base": "rollup --config rollup.config.ts --configPlugin @rollup/plugin-typescript",
+    "build": "npm run build-base -- --file dist/dev.js",
+    "build-action": "npm run build-base -- --file dist/index.js",


так может и назвать ci:build ? (не критично)

shadowusr · 2025-02-03T12:56:34Z

rollup.config.ts

+        sourcemap: false,
+        plugins: [terser()],
+    },
+    plugins: [typescript(), nodeResolve(), json(), commonjs()],


Просто интересно: а зачем плагин commonjs, если вся репа — ESM?

Это супер неочевидно, но для того, чтобы собирать esm нужен плагин commonjs.
В данном случае он у нас из commonjs делает esm (например, @actions/core - CJS: https://github.com/actions/toolkit/blob/main/packages/core/package.json)
Вот попробовал запустить без этого плагина: https://github.com/gemini-testing/gh-actions-testplane/actions/runs/13285834186/job/37094200943?pr=1

shadowusr · 2025-02-10T21:39:12Z

src/index.ts

+import { Testplane, TestplaneCache } from "./testplane/index.js";
+import { writeFailureSummary, writeSuccessSummary } from "./summary.js";
+
+async function main() {


Детально прочитав весь код, у меня остался главный верхне-уровневый вопрос — в чем ключевое преимущество кастомного action VS страница с докой и примерами флоу, как запустить Testplane (которые можно вставить без изменений и получить готовый флоу).

Судя по коду, задачи этого action:

Кэширование зависимостей

Установка зависимостей

Запуск testplane

Доп. обработка вывода, улучшение читаемости результатов — summary, структурирование логов

Меня беспокоят такие моменты:

Захватывание ~~установки зависимостей~~ работы с пакетными менеджерами в область ответственности нашего action.

Я думаю, что это довольно опасный и дорогой подход, потому что пакетных менеджеров много, у каждого множество своих тонкостей и мы 100% что-то не учли.

Уже сейчас мы захардкодили npm, yarn, pnpm. Если вдруг появится что-то еще, нужно тратить время на поддержку/внедрение.

На каждом релизе нужно тестировать во всех 3 пакетных менеджерах = лишние сложности.

При этом какой получаем профит? Я как понимаю хотим получить максимально коробочное решение, но какой ценой? Выглядит так, что это в этом месте это может нанести больше вреда, чем пользы.

Решение недоработок интерфейса Testplane абстракциями со стороны action

Если запустить Testplane из CLI и читать его вывод сложно, то может стоит инвестировать в улучшение этого в самом инструменте? Может нам нужен summary-репортер? Если артефакты testplane сложно кэшировать обычным actions/cache, может упросить этот момент?

Дороговизна поддержки + необходимость реализовывать фичи в этом кубике повторно

Пример: помимо реализации шардирования в Testplane, нужно реализовывать его и здесь. Помимо реализации перезапуска только упавших тестов в Testplane, нужно реализовывать его и здесь. И т.д.

Опыт коллег

Ребята из playwright прошли схожий путь (длиной в 5 лет) с action здесь: https://github.com/microsoft/playwright-github-action

И в итоге пришли к выводу, что лучше всего не иметь action. А просто использовать CLI и написать в доке пример флоу + генерить его при создании проекта

Для меня эти минусы перевешивают простоту и гибкость написания обычного флоу с помощью композиции готовых action'ов типа actions/checkout, actions/setup-node, actions/cache и т.д. При этом юзерам не надо сочинять это каждый раз, если предоставить несколько готовых рецептов под наиболее популярные кейсы.

Возможно у меня тут странная позиция и она идет вразрез с мнением остальных, я не говорю, что это единственный правильный путь.

Но ревью это в том числе про взгляд со стороны, поэтому я предлагаю еще раз обратить внимание на эти моменты и вопросы, и подумать о них.

Однако я не настаиваю на этом пути. Просто озвучиваю свои мысли и взгляд со стороны. Сама задумка крутая и по коду замечаний у меня особо нет.

shadowusr · 2025-02-10T21:42:08Z

src/testplane/cache.ts

+        await cache.saveCache([this.testplaneCachePath], this.getCachePrimaryKey());
+    }
+
+    private async init(): Promise<void> {


Я считаю, что init-методы — небольшой code-smell, поскольку само их наличие означает, что объект может находиться в невалидном состоянии. Как правило, если извлечь логику init из класса и подавать готовые данные в конструктор, то всё становится сильно проще — не нужны проверки, не надо перезаписывать init, и т.д.

src/testplane/config.test.ts

shadowusr · 2025-02-10T21:46:41Z

src/summary.ts

+        .write({ overwrite: true });
+};
+
+export const writeFailureSummary = async (postMortemData: PostMortemData) => {


Это прикольная штука 🔥

shadowusr

По коду все супер. Перед влитием предлагаю только подумать над тезисами выше

KuznetsovRoman force-pushed the TESTPLANE-389.action branch 29 times, most recently from a3354f1 to a32aff2 Compare January 21, 2025 19:46

KuznetsovRoman force-pushed the TESTPLANE-389.action branch from 6a5bc27 to a32aff2 Compare January 21, 2025 20:34

KuznetsovRoman commented Jan 21, 2025

View reviewed changes

KuznetsovRoman force-pushed the TESTPLANE-389.action branch 3 times, most recently from 431cf70 to 8939450 Compare January 27, 2025 01:56

KuznetsovRoman commented Feb 3, 2025

View reviewed changes

shadowusr reviewed Feb 10, 2025

View reviewed changes

shadowusr approved these changes Feb 10, 2025

View reviewed changes

KuznetsovRoman force-pushed the TESTPLANE-389.action branch 3 times, most recently from e704906 to fefabe4 Compare February 12, 2025 13:03

chore: main implementation

ffa7968

KuznetsovRoman force-pushed the TESTPLANE-389.action branch from fefabe4 to ffa7968 Compare February 12, 2025 14:06

KuznetsovRoman merged commit 63f08cc into master Mar 6, 2025
1 check passed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

First implementation #1

First implementation #1

KuznetsovRoman commented Jan 16, 2025

github-actions bot commented Jan 16, 2025 •

edited

Loading

KuznetsovRoman Jan 21, 2025

KuznetsovRoman Jan 21, 2025 •

edited

Loading

KuznetsovRoman Jan 21, 2025 •

edited

Loading

shadowusr Feb 3, 2025

KuznetsovRoman Feb 3, 2025

KuznetsovRoman Jan 21, 2025

KuznetsovRoman Jan 21, 2025

KuznetsovRoman Jan 21, 2025

KuznetsovRoman Jan 21, 2025

KuznetsovRoman Jan 21, 2025

KuznetsovRoman Jan 21, 2025

KuznetsovRoman Jan 21, 2025

KuznetsovRoman Feb 3, 2025 •

edited

Loading

shadowusr Feb 3, 2025

shadowusr Feb 3, 2025

KuznetsovRoman Feb 12, 2025 •

edited

Loading

shadowusr Feb 10, 2025 •

edited

Loading

shadowusr Feb 10, 2025

shadowusr Feb 10, 2025

shadowusr left a comment


		core.debug(`Testplane browsers cache primary key: "${this.cachePrimaryKey}"`);

		this.init = () => Promise.resolve();


		core.debug("Running Testplane install-deps");

		await this.pm.exec(this.withConfig(["testplane", "install-deps"]), { silent: false });

		@@ -0,0 +1 @@
		v20.18.1

First implementation #1

First implementation #1

Conversation

KuznetsovRoman commented Jan 16, 2025

github-actions bot commented Jan 16, 2025 • edited Loading

Testplane run finisned

Choose a reason for hiding this comment

KuznetsovRoman Jan 21, 2025 • edited Loading

Choose a reason for hiding this comment

KuznetsovRoman Jan 21, 2025 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

KuznetsovRoman Feb 3, 2025 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

KuznetsovRoman Feb 12, 2025 • edited Loading

Choose a reason for hiding this comment

shadowusr Feb 10, 2025 • edited Loading

Choose a reason for hiding this comment

Захватывание установки зависимостей работы с пакетными менеджерами в область ответственности нашего action.

Решение недоработок интерфейса Testplane абстракциями со стороны action

Дороговизна поддержки + необходимость реализовывать фичи в этом кубике повторно

Опыт коллег

Choose a reason for hiding this comment

Choose a reason for hiding this comment

shadowusr left a comment

Choose a reason for hiding this comment

github-actions bot commented Jan 16, 2025 •

edited

Loading

KuznetsovRoman Jan 21, 2025 •

edited

Loading

KuznetsovRoman Jan 21, 2025 •

edited

Loading

KuznetsovRoman Feb 3, 2025 •

edited

Loading

KuznetsovRoman Feb 12, 2025 •

edited

Loading

shadowusr Feb 10, 2025 •

edited

Loading