Web scraping

Tråd i 'InsideFlyer Lounge' startet av Are, 09. mars 2018.

  1. Are

    Are EBD - Eurobonusekspert? Moderator

    Innlegg:
    13,359
    Likes mottatt:
    19,630
    Bonuspoeng:
    293
    Noen som har litt peiling på dette?

    Ville vært veldig interessant å samle litt data på tilgjenglighet på Lufthansa over en periode for å kunne spå tilgjenglighet på F-awards :)

    Nå følger jeg et 30-talls flights dag for dag og noterer alt samtidig som jeg har satt opp 20talls allerts på flights jeg gjetter på at slippes gitt antall ledige seter 15-20 dager før avreise..
     
  2. Fredrik81

    Fredrik81 EBG BA Sølv og HHGull

    Innlegg:
    2,839
    Likes mottatt:
    2,661
    Bonuspoeng:
    113
    Har ikke peiling, men jeg fulgte med på ORD/EWR/JFK i fjord. Da var mitt inntrykk at det var rimelig sporadisk tilgjengelighet og at det relativt ofte kom seter 14 dager før, men også når det var bare dager igjen kunne det komme seter hvor det ikke var tilgjengelig tidligere. Det var også 1 eller 2 tilgjengelig om hverandre. Vet ikke om disse bevegelsene skyltes privat personer(f.eks avbestillinger) eller LH. Mener også det var litt bedre tilgjengelighet tirsdag-torsdag.
     
  3. Are

    Are EBD - Eurobonusekspert? Moderator

    Innlegg:
    13,359
    Likes mottatt:
    19,630
    Bonuspoeng:
    293
    Akkurat derfor jeg vil ha en måte å samle inn data på, så kan man kanskje få en smart måte å beregne sannsynlighet på.
    Det er mye synsing og tenking, men med et stort datasett man kan fint se hva som gir hvilke sjanser :)
     
    Fredrik81 liker dette
  4. Edin

    Edin Aktivt Medlem

    Innlegg:
    404
    Likes mottatt:
    748
    Bonuspoeng:
    93
    Dette er langt over middels interessant. Jeg tror LH slipper sine F-award ruter på utvalgte ukedager, og deretter slipper sine award avhengig av salg. Og at de i tillegg holder enkelte ukedager helt til det er umulig å få salg på dette.

    Hvis noen er i stand til å holde en oversikt på ruter og tilgjengelighet gjennom året hadde det vært helt gull.
     
  5. indahla

    indahla Flyr for lite...

    Innlegg:
    6,828
    Likes mottatt:
    21,956
    Bonuspoeng:
    293
    Hvis dette har noe med antall bookinger og ledige seter å gjøre (som det sikkert har) skal det mye til å finne et mønster. Til og med store datasett vil være påvirket av enkeltpersoners valg..
     
    Fredrik81 liker dette
  6. kjeeli

    kjeeli Veteran

    Innlegg:
    2,502
    Likes mottatt:
    27,558
    Bonuspoeng:
    183
    En høstdag i fjor sjekket jeg F tilgjengelighet for 2 pers med LH. Jeg sjekket fra 14 dager ned til 1 dag. Fikk dette resultatet ref bilde. Ikke skyt min fot om jeg har gjort noen bommerter på dette skjema :eek:


    IMG_0810.jpg
     
  7. indahla

    indahla Flyr for lite...

    Innlegg:
    6,828
    Likes mottatt:
    21,956
    Bonuspoeng:
    293
  8. Are

    Are EBD - Eurobonusekspert? Moderator

    Innlegg:
    13,359
    Likes mottatt:
    19,630
    Bonuspoeng:
    293
    Klart, det er små marginer det er snakk om, men det vil jo uansett vise at noen ruter er det tilstrekkelig med F5 eller F4, mens på andre skal det være F6 eller F7 14-10 dager før avreise.

    Noen eksakt vitenskap blir det aldri, men jo større datasett jo bedre kan man beregne..
     
  9. indahla

    indahla Flyr for lite...

    Innlegg:
    6,828
    Likes mottatt:
    21,956
    Bonuspoeng:
    293
    Absolutt! Men du skal ha veldig mange datapunkter før statistikken ikke påvirkes av enkelthendelser. Og det er ikke så mange flighter og seter at du når dette (tror jeg), dessverre..
     
  10. obay

    obay Senior Medlem

    Innlegg:
    1,413
    Likes mottatt:
    5,629
    Bonuspoeng:
    183
    United sin side som er beste kilde da evt?
     
  11. Are

    Are EBD - Eurobonusekspert? Moderator

    Innlegg:
    13,359
    Likes mottatt:
    19,630
    Bonuspoeng:
    293
    Men dette er jo nettopp en måte å få store datatall på.
    Samle data fra alle mulige F-ruter i løpet av eksempelvis 6-12 mnd 30 dager og mindre før avreise.

    Nei, det gir ikke nok info. Må bli expertflyer som viser "inventory" (antall billetter i hver bookingklasse).
     
    SAJblue liker dette
  12. ArrogantBastard

    ArrogantBastard Medlem

    Innlegg:
    160
    Likes mottatt:
    433
    Bonuspoeng:
    63
    Jeg ville ta en dypere kikk paa mulighetene som dette aapner:
    https://sandbox.amadeus.com/api-catalog
    Jeg har sett og testet litt for et aars tid siden og fikk ut mye spennende - det var tidligere mulig aa faa PNR'er ogsaa, men det ble lukket 01.01.2018. Men Availability burde det abslott vaere mulig aa trekke ut.
     
  13. Are

    Are EBD - Eurobonusekspert? Moderator

    Innlegg:
    13,359
    Likes mottatt:
    19,630
    Bonuspoeng:
    293
    Godt mulig du har rett her, men jeg har ingen programeringskompetanse til å benytte meg av dette..

    Jeg er rå på å lese data fra en skjerm og punche det inn i excel, men der stopper det hos meg..
    Jeg kan analysere data når jeg kommer over de altså... :)

    Eksempelvis:
    upload_2018-3-9_23-59-48.png
     
  14. jgroneng

    jgroneng Fastboende

    Innlegg:
    5,329
    Likes mottatt:
    17,987
    Bonuspoeng:
    293
    Intressant, skal se litt på dette. Programmeringskompetansen er sånn der, da det ikke har vært så mye systemutvikling de siste årene.

    Men dette er jo en gylden mulighet til å refreshe litt...
     
    ArrogantBastard liker dette
  15. RoadKing

    RoadKing Helt hekta

    Innlegg:
    16,313
    Likes mottatt:
    33,888
    Bonuspoeng:
    293
    Tilbyr ExpertFlyer et API?
    Hvis ikke, det burde la seg gjøre iallefall å kjøre litt screenscraping... Hm...
     
  16. Are

    Are EBD - Eurobonusekspert? Moderator

    Innlegg:
    13,359
    Likes mottatt:
    19,630
    Bonuspoeng:
    293
    Tror ikke de har noen API.
    Og screenscraping er hva jeg tenkte meg.

    Det burde være mulig å få til noe tenker jeg.
    Hvor mange F-ruter har LH nå? 20-30 et sted tenker jeg.
    Hver rute krever 4 inventorysøk og 2 awardsøk per dag.

    Nå er det jo noen begrensninger på expertflyer for å unngå dette. Når jeg søkte opp alle rutene til ANA for å se om det i hele tatt fantes noe i F måtte jeg etterhvert fylle inn "Im not a robot" for hvet søk :D
     
    pineapple_juice liker dette
  17. ArrogantBastard

    ArrogantBastard Medlem

    Innlegg:
    160
    Likes mottatt:
    433
    Bonuspoeng:
    63
    Hvis du går inn på GitHub å søker etter «flysasclient» finner man et brukbart utgangspunkt, med blant annet awardcrawler som langt på vei er hva Are tenker på.
     
    chrt, RoadKing and jgroneng like this.
  18. RoadKing

    RoadKing Helt hekta

    Innlegg:
    16,313
    Likes mottatt:
    33,888
    Bonuspoeng:
    293
    Tenkte ikke man fikk robotsjekk når man er logget inn med betalkonto. Det var en strek i regningen.
     
  19. Are

    Are EBD - Eurobonusekspert? Moderator

    Innlegg:
    13,359
    Likes mottatt:
    19,630
    Bonuspoeng:
    293
    Tok en stund altså, så spørs vel hvordan man søker.. Jeg har søkt i 5-6 timer i dag og ingen probelm.. :D

    Ellers har kanskje @ArrogantBastard noen gode innspill..
     
  20. jgroneng

    jgroneng Fastboende

    Innlegg:
    5,329
    Likes mottatt:
    17,987
    Bonuspoeng:
    293
    Det som det er mulig å hente ut er dette (fra Amadeus): Søkte på FRA-SIN med LH, direkte, og første klasse:

    -----------------------
    "departs_at": "2018-06-25T21:55",
    "arrives_at": "2018-06-26T16:15",
    "origin": {
    "airport": "FRA",
    "terminal": "1"
    },
    "destination": {
    "airport": "SIN",
    "terminal": "2"
    },
    "marketing_airline": "LH",
    "operating_airline": "LH",
    "flight_number": "778",
    "aircraft": "388",
    "booking_info": {
    "travel_class": "FIRST",
    "booking_code": "F",
    "seats_remaining": 6
    -----------------------
    "departs_at": "2018-06-25T22:00",
    "arrives_at": "2018-06-26T16:25",
    "origin": {
    "airport": "FRA",
    "terminal": "1"
    },
    "destination": {
    "airport": "SIN",
    "terminal": "2"
    },
    "marketing_airline": "LH",
    "operating_airline": "SQ",
    "flight_number": "9764",
    "aircraft": "77W",
    "booking_info": {
    "travel_class": "FIRST",
    "booking_code": "F",
    "seats_remaining": 4
    -----------------------
     

Del denne siden