Veelgestelde vragen

Wat moet ik doen als als ik gebruik wil maken van het StUF Testplatform?

U kunt een account aanvragen op het StUF Testplatform via het aanmeldingsformulier.

Waaraan moet mijn applicatie voldoen om gebruik te kunnen maken van het StUF Testplatform?

Om gebruik te maken van het StUF Testplatform moet de te testen applicatie benaderbaar zijn via internet.

Hoe kan ik aangeven dat ik geen gebruik meer wil maken van het StUF Testplatform?

U kunt zich afmelden door een mail te sturen naar KINGSTPBeheerders@kinggemeenten.nl. Er vindt geen verrekening plaats van de abonnementskosten.

Is het gebruik van het StUF Testplatform verplicht?

Ja en nee,

Nee, KING heeft via convenanten en addenda afspraken gemaakt over het gebruik door leveranciers. Deze afspraken zijn vrijwillig maar niet vrijblijvend. De leveranciers en gebruikersverenigingen die een convenant zijn aangegaan zijn te vinden op GEMMA Softwarecatalogus.

Ja, Gemeenten, gemeentelijke samenwerkingsverbanden dienen zelf het gebruik verplicht te stellen in opdrachtverstrekking, programma’s van eisen en inkoopvoorwaarden. Voor dat laatste adviseren VNG en KING de gemeentelijke standaard inkoopvoorwaarden voor IT, de GIBIT (www.gibit.nl)  te gebruiken. Daarin is het uitvoeren van preventieve testen op standaarden zoals StUF geborgd.

Waarom moeten ICT-leveranciers betalen voor gebruik van het StUF Testplatform?

De kwaliteit van software is de primaire verantwoordelijkheid  van de leveranciers die software aan gemeenten leveren. Dit geldt in het bijzonder voor het tijdig en correct inbouwen en toepassen van (open) standaarden zoals StUF.  Op dit moment blijkt de ICT-markt van gemeenten nog niet goed in staat zelf de interoperabiliteit conform vastgestelde standaarden tussen software van verschillende leveranciers te organiseren. KING vraagt daarom een bijdrage in de kosten voor beschikbaarstelling, beheer en onderhoud van het StUF Testplatform. Naast deze kosten zijn er ook kosten voor de (door)ontwikkeling van het StUF Testplatform. Deze worden niet verrekend met de vergoeding en worden betaald door KING en/of vanuit programma budgetten. 

Waarom hoeven gemeenten niet te betalen?

Gemeenten kunnen kosteloos gebruik maken van het StUF Testplatform omdat zij via financiering van KING hieraan al bijdragen.

Waar is het bedrag dat leveranciers betalen op gebaseerd?

Voor ICT-leveranciers en (e-)overheidsorganisaties geldt een vergoeding in de vorm van een jaarabonnement. Jaarabonnementen lopen van 1 januari tot en met 31 december. Voor de hoogte van de vergoeding geldt dat de exploitatiekosten voor beschikbaarstelling, support, beheer en onderhoud ten behoeve van het StUF Testplatform worden gedekt. De vergoeding wordt jaarlijks vooraf vastgesteld waarbij uitgegaan wordt van een inschatting van het aantal gebruikers, de verwachte exploitatiekosten en de geïndexeerde prijsontwikkeling in de zakelijke dienstverlening en ICT voor het eerstvolgende jaar. 

Wat is de waarde van een foutloos testrapport voor leveranciers?

Leveranciers kunnen met een testrapport laten zien in hoeverre hun softwareproducten voldoen aan StUF. Dat is van meerwaarde voor hun producten. Voor gemeenten is het van belang om software te gebruiken die goed gekoppeld kan worden met andere software. Voor leveranciers onderling geeft een foutloos testrapport aan dat StUF juist is toegepast waarmee een basisniveau van interoperabiliteit is bereikt. De testwerkzaamheden tussen softwareproducten onderling kunnen dan worden beperkt.

Wat is de waarde van een foutloos testrapport voor gemeenten?

Een foutloos testrapport geeft  gemeenten inzicht in de kwaliteit van het juist toepassen van de StUF standaard. Gemeenten die dit bij hun leverancier opvragen hebben meer zekerheid of de standaarden juist worden toegepast. Gemeenten kunnen daarmee hun testwerkzaamheden beperken en voorkomen koppelproblemen achteraf. 

Hoe lees ik een testrapport? Wat betekent een kruis of uitroepteken als testbevinding?

Elk testrapport bevat een hoofdstuk met daarin een uitgebreide uitleg over hoe een testrapport gelezen moet worden en hoe de mogelijke resultaten geintepreteerd moeten worden.



Wat is het verschil tussen ad hoc en scenariotesten?

Het platform heeft twee testvormen.

De eerste vorm is ad hoc testen, waarbij losse XML-berichten via 'knippen en plakken' worden aangeboden en beoordeeld. 

De tweede vorm is scenariotesten. Hierbij worden de web services van de te testen software via het internet direct gekoppeld aan het StUF testplatform. Hierbij worden de berichten getest en in een aantal gevallen wordt ook berichtverwerking getest. Zo kunt u geautomatiseerd een scenario afspelen en berichten versturen.

Na het uitvoeren van een test wordt direct teruggekoppeld aan welke regels van StUF wel en niet wordt voldaan

Kan ik een geautomatiseerde teststraat gebruiken?

Ja, er zijn verschillende leveranciers die hun teststraat gekoppeld hebben aan het StUF Testplatform. Nadat de testset uitvoeringen gegeneerd zijn ('klaargezet') via de userinterface van het testplatform, kunnen ze oneindig vaak (geautomatiseerd) afgespeeld worden. Na het uitvoeren van een testset worden de resultaten via een XML bericht teruggestuurd door het testplatform. Indien een testset uitvoering voortijdig afgebroken wordt dan kunnen tussenresultaten gewist worden door het sturen van een XML wisbericht.

Waar kan ik de voorwaarden vinden?

U kunt de voorwaarden vinden op de website onder het kopje ‘Hoe werkt het’.

Waar kan ik een handleiding vinden?

U kunt de voorwaarden vinden op de website onder het kopje ‘Hoe werkt het’.

Kan ik met meerdere mensen tegelijkertijd testen?

Ja. Elke organisatie die gebruik maakt van het StUF Testplatform heeft één bevoegde (eerste) testcoördinator die als vast aanspreekpunt functioneert voor KING inzake het StUF Testplatform. Bij aanmelding en/of wijziging dient de organisatie de benodigde contactgegevens van de (eerste) testcoördinator te verstrekken. De testcoordinator kan andere testers (accounts) aanmaken die ook gebruik kunnen maken van het StUF Testplatform.

Geeft een foutloos testrapport op het StUF Testplatform de garantie op volledige interoperabiliteit?

Nee, dit is in de praktijk niet haalbaar. Het StUF Testplatform geeft een goede indicatie of berichten die tussen applicaties worden uitgewisseld voldoen aan de StUF standaard. Een succesvolle test op het platform geeft geen garantie dat een applicatie-applicatie koppeling op locatie bij de gemeente volledig foutloos werkt. Hiervoor dienen door de leverancier(s) aanvullende (integratie / keten)testen uitgevoerd te worden.

Wat is een compliancy testset?

Een compliancy testset beschrijft de testdekking en de minimaal uit te voeren testscenario’s om te bepalen in hoeverre een softwareproduct voldoet aan een standaard. Indien er een testset beschikbaar is dan dient een leverancier deze te gebruiken om aan te tonen dat zijn compliant is aan deze standaard. Op de 'Ondersteunde standaarden' pagina ziet u voor welke standaarden testsets beschikbaar zijn.

Wanneer is een softwareproduct compliant?

Indien er een testset beschikbaar is voor een standaard dan geldt dat een softwareproduct compliant is indien aan onderstaande vijf eisen wordt voldaan.

  1. Het betreffende softwareproduct is getest conform de eisen en voorwaarden zoals beschreven in de testset inclusief de bijlagen.
  2. De uitvoering heeft plaatsgevonden op en conform de voorwaarden van het StUF testplatform.
  3. Een foutloos testresultaat is behaald
  4. Finale en authentieke testrapporten openbaar zijn gemaakt op het internet.
  5. In de GEMMA softwarecatalogus heeft u het authentieke testrapport gepubliceerd bij het betreffende softwareproduct en aangegeven (aangevinkt) dat u compliant bent.

Waar vind ik softwareproducten die compliant zijn?

U vindt compliant softwareproducten in de GEMMA Softwarecatalogus waarbij u kiest voor 'alle pakketversies en planningen' en vervolgens filtert op desbetreffende standaard met testrapport.

Moet een nieuwe versie van een softwareproduct op het StUF Testplatform worden getest?

Ja, elke nieuwe versie van een softwareproduct moet op het StUF Testplatform worden getest. Aanpassingen aan software kunnen van invloed zijn op een koppeling en de juiste toepassing van StUF. Zelfs als de programmatuur van koppel/integratiesoftware (bijvoorbeeld een adapter)  niet is gewijzigd, kunnen fouten in een koppeling ontstaan.  Het juist toepassen van StUF is namelijk deels afhankelijk van de inhoud van berichten. Het StUF Testplatform is geschikt voor geautomatiseerde testuitvoering in bijvoorbeeld een teststraat. Testresultaten worden hiervoor teruggeleverd in de vorm van een StUF bericht.

Hoe is de compliancy geregeld als er geen compliancy testset beschikbaar is?

Indien er geen testset beschikbaar is dan geldt dat een leverancier zelf een representatieve testset moet bepalen.

Voor welke standaarden zijn compliancy tests (testsets) beschikbaar?

Een actueel overzicht van de beschikbare compliancy testsets vindt u op de 'Ondersteunde standaarden' pagina met de aanduidling 'Compliancy test beschikbaar. 

Welke StUF onderdelen kunnen getest worden met het StUF Testplatform?

Het StUF Testplatform test alleen StUF 3.x onderdelen. Op de 'Ondersteunde standaarden' pagina vindt u een overzicht van de standaarden die binnen de testscope van het StUF Testplatform vallen.

Waarop test het StUF Testplatform?

Het StUF Testplatform voert een XML- schemavalidatie uit om te controleren of berichten voldoen aan de StUF Schema’s. Daarnaast worden berichten getest op ruim honderd testregels, afhankelijk van content en context. Deze testregels kunnen (inhoudelijk) bekeken worden op het StUF Testplatform.  Log daarvoor in op het StUF Testplatform en klik vervolgens op ‘Testregels’.

Voor wie is het StUF Testplatform bedoeld? Op welk moment kan ik er gebruik van maken?

Primair is het StUF Testplatform voor ICT softwareleveranciers die werkzaam zijn op de gemeentelijke markt. Zij kunnen vroegtijdig tijdens de ontwikkeling van software testen of applicatie-applicatiekoppelingen voldoen aan StUF. Het StUF Testplatform levert testrapportages waarmee een leverancier kan aantonen dat berichten voldoen voldoen aan StUF. Leveranciers moeten een (preventieve) test uitvoeren voordat de software in productie wordt genomen.

Wat kan een gemeente met het StUF Testplatform?

Gemeenten die pakketsoftware gebruiken en integratieproblemen willen voorkomen kunnen testrapporten uit StUF Testplatform opvragen bij hun (beoogde) ICT-leveranciers bij aanschaf en/of acceptatie van nieuwe software. Hierdoor krijgen zij meer grip op de kwaliteit van applicatiekoppelingen. KING adviseert hiervoor bij inkoop gebruik te maken van de gemeentelijke standaard inkoopvoorwaarden voor ICT, de GIBIT (www.gibit.nl)

Gemeenten die zelf software ontwikkelen, kunnen ook gebruik maken van het StUF testplatform. Voor deze software gelden dezelfde kwaliteitseisen.

Wat is de relatie tussen het StUF Testplatform en de GEMMA Softwarecatalogus?

De GEMMA Softwarecatalogus is een online informatiesysteem waarin het (verwachte) softwareaanbod staat van ruim honderd ICT-leveranciers die met KING een convenant zijn aangegaan. Per softwareproduct is aangegeven wat de globale functionaliteit is, wat de productplanning is en welke standaarden ondersteund worden. Om aan te tonen dat een software product aan de StUF standaard voldoet dient een leverancier in de softwarecatalogus aan te geven dat er een succesvolle compliancy test is uitgevoerd en moet er een link opgenomen worden naar een foutloos testrapport uit het StUF Testplatform. Indien er een testset beschikbaar is dan dient de leverancier de relevante testen uit deze testset uit te voeren als ‘Compliancy test’.

Hoe zit het met de LV-WOZ Conformiteitstoets?

De LV-WOZ Conformiteitstoets maakt gebruik van het StUF Testplatform. Vragen en ondersteuning op deze toets verlopen via de Waarderingskamer en het Kadaster.

Als ik twijfel over de correctheid van de testresultaten, waar kan ik dat dan melden? 

U kunt hiervan melding maken op het StUF Testplatform forum. Voor een adequate en efficiënte afhandeling adviseren wijhet formulier te gebruiken om uw bevinding(en) te melden.

Wat is de rol van KING?

KING voert het functionele en technische beheer op het StUF Testplatform. Hieronder vallen onder andere de beschikbaarstelling, de doorontwikkeling, het gebruikersbeheer en het beheer van testregels, testscenario’s en XML schema’s. Daarnaast levert KING ondersteuning voor gebruik van het StUF Testplatform.

Hoeveel leveranciers en gemeenten maken gebruik van het StUF Testplatform?

Begin 2014 maakten 31 leveranciers en 6 gemeenten gebruik van het StUFtestplatform U vindt een actueel overzicht van de deelnemers op de deelnemers- pagina.

Betekent deelname ook dat een leverancier zijn software op StUF Testplatform heeft getest?

Nee, deelname geeft geen uitsluitsel over de status van de software van en opname in deze lijst betekent dan ook niet dat de software van deze organisatie voldoet aan de StUF regels. Daarvoor dienen testrapporten te worden opgevraagd.

Op welke patch test het StUF Testplatform?

Het StUF Testplatform test altijd op de meest recente patch van een StUF onderdeel. Zodra er een nieuwe patch wordt uitgebracht voor een StUF onderdeel dan wordt deze de eerstvolgende werkdag doorgevoerd op het StUF Testplatform. Hierdoor test het StUF Testplatform altijd tegen de meest recente versie van een StUF onderdeel. Het patchnummer waarmee het StUF Testplatform test staat ook aangegeven op de statuspagina.

Kan ik zelf testregels of testscenario’s toevoegen aan het StUF Testplatform?

Ja, u kunt KING vragen een testscenario toe te voegen. U kunt daarvoor het ‘Aanvraag Testscenario’ formulier gebruiken. Stuur het formulier op naar KINGSTPBeheerders@kinggemeenten.nl. KING beoordeelt deze aanvraag op brede en algemene toepasbaarheid voor/door anderen en of een bestaand scenario kan worden gebruikt.

Ik heb een fout gevonden in het StUF Testplatform. Waar kan ik deze melden?

Fouten kunt u melden door het ‘Fout melden’ formulier in te vullen en op te sturen naar KINGSTPBeheerders@kinggemeenten.nl

Ik heb een verbetersuggestie / changerequest voor het StUF Testplatform. Waar kan ik deze melden?

U kunt verbetersuggesties indienen op de community.

Hoe kan ik zien of het StUF Testplatform is gewijzigd t.o.v. de laatste keer dat ik een test heb uitgevoerd?

Op elke testrapportage staat het versienummer vermeld van het StUF Testplatform. Indien u op de website van het StUF Testplatform een hoger versienummer aantreft dan is er functionaliteit toegevoegd. U vindt de releasenotes en changelogs op het StUF Testplatform. StUF Testplatform contactpersonen (Testcoördinatoren) worden actief per mail op de hoogte gehouden van nieuwe releases.

Wat is de geldigheidsduur van een compliancy rapport, wanneer moet ik als leverancier opnieuw een compliancy test uitvoeren?

De geldigheidsduur van een compliancyrapport is onbeperkt voor het softwareproduct en versie  waarmee de test is uitgevoerd (en die op het rapport zijn vermeld). De compliancy rapporten zijn niet geldig voor andere (versies van) softwareproducten. Deze moeten apart getest worden op het StUF Testplatform.

De waarde van een compliancyrapport neemt af naarmate deze ouder wordt. Dit komt omdat er voortdurend fouten worden opgelost op het StUF Testplatform en de standaarden (in de vorm van patches). Dit kan ervoor zorgen dat wanneer dezelfde testen op een later moment worden uitgevoerd er andere resultaten zijn.

 

Kan ik meerdere applicaties tegelijkertijd (concurrent) testen?

Ja. Sinds release 1.3.0 kunt u meerdere softwareproducten toevoegen die u tegelijkertijd kunt testen. 

Binnen welke termijn kan ik mijn aanvraagde abonnement gebruiken?

Indien u een correct ingevuld formulier heeft ingestuurd, is de termijn normaal gesproken 5 werkdagen. Voor een exacte aansluittermijn kunt u vooraf contact opnemen.

Mag ik compliancy voor meerdere softwareproducten aantonen met één compliancy testrapport (bijvoorbeeld indien een softwareproduct ook onderdeel uitmaakt van een ander softwareproduct)?

Nee. Indien een softwareproduct als zelfstandige component wordt aangeboden in het gemeentelijke ICT landschap en als zodanig functioneert, dan moet de compliancy voor dit softwareproduct aangetoond worden door het uitvoeren van een ‘eigen’ test op het StUF Testplatform. Het testrapport moet gepubliceerd worden op de GEMMA Softwarecatalogus bij het betreffende softwareproduct.

Mijn berichten worden goedgekeurd bij een ad-hoc test maar afgekeurd bij een scenario test. Hoe kan dit?

Testregels in het StUF Testplatform kunnen gekoppeld zijn aan een berichttype (Lk01, Lv01 etc.) of een scenario stap. Bij een ad-hoc test worden alleen de testregels toegepast die gekoppeld zijn aan een berichttype. Dit zijn regels die onafhankelijk zijn van de context waarin een bericht wordt verstuurd. Voorbeeld: Een berichtcode moet voorkomen in alle Lk01 berichten.

Bij het uitvoeren van een scenario test worden naast de regels die gekoppeld zijn aan een berichttype, ook regels toegepast die gekoppeld zijn aan de scenariostap. Dit zijn regels die afhankelijk zijn van de context waarbinnen een bericht verstuurd wordt. Voorbeeld: Een Lk01 bericht om een zaak aan te maken bevat altijd een zaakidentificatie  

Daarom kan het zijn dat berichten bij een ad-hoc test worden goedgekeurd terwijl deze bij een scenario fouten blijken te bevatten. Andersom is niet mogelijk.

Worden testresultaten en andere gegevens vastgelegd door KING en worden dezen aan derden verstrekt?

Het StUF Testplatform legt gegevens over gebruikers, gebruik, technische aansluitgegevens en tijdens de testuitvoering  berichten en testresultaten vast. De detailinformatie is alleen toegankelijk voor de betreffende organisatie en wordt niet gepubliceerd of aan derden verstrekt.  KING publiceert algemene informatie over deelnemers (naam organisatie en test coördinator) en aanvullende informatie uitsluitend voor zover overeengekomen in convenanten en addenda en in het kader van monitoring en transparantie van de markt. Verder wordt de informatie gebruikt voor interne doeleinden zoals kwaliteitsverbetering van de standaarden en het StUF Testplatform.

Kan een servicebus/middleware of adopter software compliant zijn?

Ja en nee. Een servicebus/middleware of adaptor kan compliant zijn maar, ‘compliant’ heeft een afwijkende waarde voor softwareproducten die functioneel alleen invulling geven aan de referentiecomponent ‘Gemeentelijke servicesbus’. Deze softwareproducten kunnen in de meeste gevallen op zichtzelf niet voldoen aan de eisen die door de koppelvlakstandaarden worden gesteld. Dit geldt ook voor andere middleware, brokers of adaptor software. Een koppelvlakstandaard stelt eisen aan de inhoud van een bericht terwijl de bron van deze informatie vrijwel nooit een broker of servicebus is. Dit soort producten dekken daarom slechts een deel af van de in de standaard voorgeschreven koppelfunctionaliteit.  De mate waarin een product de  standaard afdekt kan sterk variëren en is mede afhankelijk van de configuratie. Een ‘compliant’ servicebus op zichzelf heeft weinig waarde. KING adviseert leveranciers daarom bij gebruik van een servicebus of andere middleware producten compliancy aan te tonen op de combinatie van softwareproducten. Bij voorkeur in verschillende combinaties en met software van derden.  KING adviseert gemeenten testrapporten te eisen voor de beoogde combinatie van softwareproducten.

Voorbeeld: Leverancier A levert een gegevensmagazijn. Leverancier B levert een gemeentelijke servicebus die compliant is aan de standaard prefill eFormulieren. Indien een andere applicatie gegevens wil ophalen uit het gegevensmagazijn op basis van de prefill eFormulieren standaard dan wordt hiervoor een bericht verstuurd naar de servicebus die op zijn beurt (niet noodzakelijk op basis van de standaard) het gegevensmagazijn bevraagd en vervolgens het antwoord terugstuurt naar de vragende applicatie (wel volgens de standaard). Hoewel de servicebus wel de services levert die de standaard voorschrijft, kan de vraag alleen afgehandeld worden indien er een gegevensmagazijn beschikbaar is. In deze situatie adviseert KING gemeenten om een testrapport te eisen waarin het gegevensmagazijn icm de gemeentelijke servicebus is getest. De gemeentelijke servicebus kan op zichzelf niet volledig voldoen aan de eisen van de prefill eFormulieren standaard.