Arten von Tests

Bei /e/OS gibt es drei Arten von Tests

  • Sprint-Tests
  • Upgrade-Tests
  • Portierungs- oder Anwendungstests

Sprint-Tests Dies sind die regelmäßigen Tests unserer Builds. Diese Tests werden für alle Geräte auf unserer Liste unterstützter Geräte durchgeführt Wir folgen dem agilen Entwicklungsmodell mit regelmäßigen Sprints. 2 Wochen Entwicklung und 1 Woche Tests. Mehr erfahren

Upgrade-Tests Wenn das Betriebssystem auf einem Gerät aktualisiert werden soll – zum Beispiel von Nougat auf die Oreo- oder Pie-Version von /e/OS – führen wir Upgrade-Tests durch. Wir geben in den Beiträgen in dieser Kategorie in unserem Forum bekannt, welche Geräte aktualisiert werden. Für die Dauer der Upgrade-Tests stellen wir ein Testteam aus freiwilligen Nutzern zusammen. Dieses Team wird aufgelöst, sobald die Builds live gehen.

Portierungs- oder Anwendungstests Gelegentlich portieren wir /e/OS auf Geräte, die von anderen Custom-ROMs nicht unterstützt werden. Dabei kann es sich um Smartphones oder Tablets handeln. So haben wir zum Beispiel /e/OS auf das FP3 portiert. Der Easy Installer war eine von uns erstellte Anwendung, die während der Entwicklungsphase ausführliche Tests erforderte.

Für die Dauer der Tests stellen wir ein Testteam aus freiwilligen Nutzern zusammen. Dieses Team wird aufgelöst, sobald die Builds live gehen.

Was von einem Tester erwartet wird

Als Tester müssten Sie

  • Den Test-Build auf Ihrem Gerät flashen
  • Beim ersten Mal wird dies ein manueller Flash sein. Nachfolgende Builds werden oder sollten per OTA verfügbar sein
  • Durch das Flashen Ihres Geräts werden die vorhandenen Daten auf Ihrem Telefon gelöscht. Erstellen Sie daher bitte vorher ein Backup
  • Nur Personen mit Erfahrung im Flashen von ROMs sollten teilnehmen
  • Tests werden nur für Geräte auf unserer Liste unterstützter Geräte durchgeführt.

Wenn Ihr Gerät nicht auf der Liste unterstützter Geräte steht, können Sie darum bitten, ein Gerät hinzuzufügen. Das bedeutet auch, dass Sie in diesem Fall dem Testteam nicht beitreten sollten.

Kann ich das Testteam verlassen?

Ja, das können Sie. Die Teilnahme als Tester ist eine freiwillige Tätigkeit. Es steht Ihnen frei, das Team jederzeit zu verlassen.

  • Bitte beachten Sie, dass Sie zur Rückkehr zu den normalen offiziellen Builds die offiziellen Builds manuell auf Ihrem Gerät flashen müssen. Das liegt daran, dass die Test-Builds und die Entwicklungs- bzw. offiziellen Builds mit unterschiedlichen Schlüsseln erstellt werden.

Wie trete ich der Test-Community bei?

Wie Sie den OTA-Testkanal-Server aktivieren

  • Entwicklermodus aktivieren: Settings > About phone > 7-mal auf Build number tippen.
  • /e/OS-Testkanal aktivieren: Settings > System > Developer options > Connect to /e/OS test channel umschalten. Der Schieberegler wird grün.
  • Nach Updates suchen: Settings > Updater > bei Bedarf mit dem Pfeil oben rechts aktualisieren.
  • Das neueste Update herunterladen und installieren.

Wie Sie den OTA-Testkanal-Server deaktivieren

  • Entwickleroptionen aufrufen: Settings > System > Developer options (zuvor aktiviert).
  • /e/OS-Testkanal deaktivieren: Scrollen Sie in den Entwickleroptionen zu Connect to /e/OS test channel > ausschalten.
  • Ist der Schieberegler aktiviert, ist er grün; ist er deaktiviert, ist er ausgegraut.

Testsitzung mit Kiwi

Von der /e/foundation stellen wir ein Smartphone-Betriebssystem für eine große Anzahl von Geräten bereit. Leider können wir ein neues /e/OS-Release nicht auf allen vom Projekt unterstützten Geräten prüfen und bewerten. Zunächst konzentriert sich unser /e-Team auf die offiziellen Geräte. Anschließend können das Team und die Test-Community auch ihre eigenen Geräte mit dem letzten Release testen. Um Testsitzungen und Berichte zu zentralisieren, verwenden wir ein Tool namens „Kiwi“ zur Verwaltung unserer Tests.

Kiwi ist ein Open-Source-Tool mit einer Weboberfläche zur Verwaltung Ihrer Tests. Es ist der beste Freund für QA-Teams, da es gute Praktiken von Haus aus unterstützt. Es führt Sie dazu, einen Testplan für Ihre Produkte mit einer Reihe von Testfällen zu erstellen. Bei jedem neuen Release können Sie Testläufe einfach Ihren Teammitgliedern und der Community zuweisen.

Wir fügen jedem Testfall einige Metadaten hinzu, etwa Anwendungs- und Hardwareinformationen (Settings, Notes, GPS, Wifi…). Das hilft dabei, einen ersten Überblick darüber zu bekommen, was der Test prüfen wird, und wir denken darüber nach, diese Tags in Zukunft zu nutzen, um einen vollständigen Testbericht pro Gerät zu erzeugen. Diese Informationen mit der Community zu teilen, wird vor der Installation sehr nützlich sein, denn der Nutzer kann so zeigen, was auf einem bestimmten Gerät funktioniert und was nicht.

Kiwi ist außerdem erweiterbar: Wir können unseren Bugtracker verbinden, um bei einem erkannten Fehler direkt ein Issue in unserem Backlog zu öffnen. Wir haben die Issue-Beschreibung angepasst, um ihre Lösung mit dem Kiwi-Plugin-System zu erleichtern.

FAQ zum Testprozess

  • Was passiert, wenn ein Build fehlschlägt oder bei Ihren Tests Fehler entdeckt werden?

Wenn ein Build im Testprozess fehlschlägt, halten wir die Veröffentlichung des Builds zurück, und er geht zurück an die Entwickler. Wird in ähnlicher Weise ein Fehler beim Testen gemeldet, machen wir diese Korrektur rückgängig und kehren zur vorherigen funktionierenden Version zurück, und der Fehler geht zur Behebung zurück an den Entwickler.

  • Wie gehen Sie mit solchen Rückgängigmachungen in einem agilen Entwicklungsszenario um?

Wie Sie sich erinnern werden, haben wir 2-wöchige Entwicklungszyklen für einen Sprint. Die während des Testens entdeckten Fehler werden in den nächsten Sprintzyklus verschoben, und nur die erfolgreichen Korrekturen gelangen in den Build.

  • Werden in diesen Sprints nur Fehler behoben, was ist mit Verbesserungen?

Das ist eine gute Frage. Wir kombinieren in den Sprints sowohl Verbesserungen als auch Fehlerbehebungen. Wenn die Programmierung zu einer Verbesserung nicht innerhalb des vorgegebenen Zeitrahmens fertig wird, wird sie in den nächsten Sprintzyklus verschoben.

  • Ich habe keine Erfahrung im Flashen von ROMs, und mein Gerät steht auch nicht auf der Liste unterstützter Geräte – kann ich dem Testteam beitreten?

Wir schätzen Ihre Begeisterung, aber bitte treten Sie in diesem Fall dem Testteam nicht bei. Wie oben erwähnt, arbeitet das Testteam unter einem strikten Zeitplan. Es wird nicht möglich sein, einen Nutzer an die Hand zu nehmen, um zu erklären, wie das ROM zu flashen ist. Für diese Art von Unterstützung können Sie in unser Forum gehen.