Terminaalilla nettisivuja

togo · Heinäkuu 30, 2009, 12.24pm

Kirjoittamalla firefox web-osoite tai gedit web-osoite on mahdollista avata kyseinen nettisivu päätteen avulla. Mutta mitenkähän voisi saada suoraan näkyviin sellaisia sivuja, jotka eivät muuta osoitetta, vaan ovat edellisen sivun “sisällä” eli ne eivät avaa sivua, jolla olisi eri osoite.

vpv · Heinäkuu 30, 2009, 3.28pm

Yleisesti kaikilla nettisivuilla on oma osoitteensa, vaikka pikaisesti saattaisikin näyttää että ei ole. Omaa osoitetta ei ole lähinnä sitten, jos sivun rakennetta muutetaan dynaamisesti Javascriptillä. Todennäköisesti tarkoitat kehyksillä (frames) tehtyjä sivuja. Tuollaisen kehyksen voi avata yksinään napsauttamalla sitä Firefoxissa hiiren kakkosnapilla ja valitsemalla Tämä kehys -> Näytä vain tämä kehys. Siitä sitten saa osoitteenkin talteen.

togo · Elokuu 1, 2009, 9.01am

Kiitos,

Ongelma ratkesi. Huomattavaa on se, että ei onnistu explorerilla. Selaimissa on näköjään hyvin konkreettisia eroja.

togo · Elokuu 6, 2009, 4.05pm

… Firefoxissa hiiren kakkosnapilla ja valitsemalla Tämä kehys -> Näytä vain tämä kehys. Siitä sitten saa osoitteenkin talteen.

Mutta miten tälla tavalla näkyviin saatu osoite voidaan avata terminaalilla ? Jos kyseisen sivun kopioi sellaisenaan terminaaliin komennon firefox jälkeen, niin tulee herjaus ylim. sulkeista ja jos sulkeet poistaa sivua ei löydy.

vpv · Elokuu 6, 2009, 5.58pm

Hmm, voisitko antaa esimerkin? Sulkeet pitää ehkä “escapettaa” (ei tule nyt lokalisoijalle kirveelläkään mieleen mitä toi on suomeksi ) eli jotain tyyliin

togo · Elokuu 6, 2009, 11.34pm

Seuraavalla sivulla:

firefox http://funds.nordea.com/fin/services/funds/performance.asp?navi=performance

on kohta “Absoluuttisen tuoton salkku”

kun sen valitsee, niin osoite ei muutu paitsi jos valitsee kehys-> vain tämä kehys, jolloin osoite on:

firefox http://fundconnect.nordea.com/fiif/(S(gpwunr552qqaa4nj0utukk45))/InfoOverview.aspx?isin=FI0008806294

bash: syntax error near unexpected token `(’

vpv · Elokuu 7, 2009, 3.34am

Tuollainen pitäisi siis syöttää päätteeseen muodossa

togo · Elokuu 7, 2009, 7.02am

Kiitos,
toimii. Huomasin, että " ( " -merkin eteen pitää laittaa \ . Onkohan muitakin merkkejä, jotka pitää kirjoittaa eri tavalla. Onkohan ne listattu jossain.

Voiko seuraavalle ongelmalle tehdä jotain, tässä 2 esimerkkiä. Virheilmoitusta terminaaliin ei tule, mutta sivun aukeamisen tilalle tulee komennon alla oleva teksti firefoxiin.

firefox http://fundconnect.nordea.com/fiif/(S(bwcptrbnip5hp5f4cqkcwaqj))/PerformanceMap.aspx?isin1=FI0008806294&isin2=&period=40

Tuottokäyrää ei ole käytettävissä.

firefox http://www.morningstar.fi/funds/overview.asp?pid=-1&cid=CL00014563&curiso=EUR&lang=FI&country=FI&lastpage=Etusivu&lastpageURL=%2Fframes%2Fmain.asp&advisor=&graphPeriod=90&graphCompare=344&graphcuriso=EUR&submit1=Piirr�

Fund (Morningstar code: ) could not be found!

trilog · Elokuu 7, 2009, 7.52am

Käytä mielummin lainausmerkkejä:

vpv · Elokuu 7, 2009, 3.16pm

“Escapeamaton” &-merkki taitaa sotkea noissa. Trilogin idea lainausmerkkien käyttämisestä osoitteen ympärillä on hyvä, sitä kannattaa käyttää, ei tullut minulle mieleen.

&-merkki yleensä bashissa vie prosessin taustalle, joten ilmeisesti ennen ensimmäistä &-merkkiä oleva tavara annetaan Firefoxille ja Firefox käynnistetään taustalla, virheellisellä osoitteella. Sitten sitä seuraavat “&-erotetut pätkät” yritetään käynnistää komentoina taas taustalle, mutta eihän tuollaisia ohjelmia ole, joten yritys sitten loppuu saman tien. (Saa korjata jos selitin jotain väärin )

togo · Elokuu 7, 2009, 6.15pm

Kiitos,

Ongelma ratkesi ja tietonikin paranivat

Nälkä kasvaa … mitenkähän voisi terminaalilla tallentaa excell-tiedostoja web-sivuilta. Joillakin sivuilla on kohta, jota klikkaamalla tulee kysymys "haluatko avata … " tai "haluatko tallentaa … " jolloin tiedoston saa auki oman koneen taulukko-ohjelmalla tai tallennettua omalle koneelle haluttuun kansioon . Tavoitteena on siis tallentaa tiedosto omalle koneelle pelkästään käyttämällä päätteen komentoja.

trilog · Elokuu 7, 2009, 7.52pm

[quote=“togo, post:11, topic:757”]Tavoitteena on siis tallentaa tiedosto omalle koneelle pelkästään käyttämällä päätteen komentoja.[/quote]wget "http://nettisivu.fi/tiedosto/filu.xls"Jolloin tiedosto latautuu nykyiseen hakemistoon.

togo · Elokuu 8, 2009, 10.07am

toimii osittain, mutta muutama ongelma tuli vastaan:

Esim. seuraava ei automaattisesti tee talletusta, vaan komennon jälkeen tulee ikkuna, joka kysyy talletusta erikseen:

wget “http://www.suomenpankki.fi/Stats/default.aspx?r=/tilastot/valuuttakurssit/valuuttakurssit/taulukot.htm/default.aspx”

Joillekin sivuille pitää kirjautua omilla tunnuksilla. Näiltä sivuilta saa kyllä talletettua “manuaalisesti” , mutta terminaali ei ilmeisesti tiedä tunnistautumisesta ja taulukot tulevat tyhjinä.

trilog · Elokuu 8, 2009, 7.04pm

[quote=“togo, post:13, topic:757”]1) Esim. seuraava ei automaattisesti tee talletusta, vaan komennon jälkeen tulee ikkuna, joka kysyy talletusta erikseen:

wget “http://www.suomenpankki.fi/Stats/default.aspx?r=/tilastot/valuuttakurssit/valuuttakurssit/taulukot.htm/default.aspx”[/quote]Tämän tyyliset talletukset eivät toimi em. tavalla, koska palvelin tarjoilee tiedoston tuon skriptin kautta ja suoraan tiedostoon ei välttämättä edes pääse käsiksi. En ole varma onnistuisiko Wgetillä suoraan tuon skriptin suoltaman datan tallentaminen johonkin paikalliseen tiedostoon.

[quote=“togo, post:13, topic:757”]2) Joillekin sivuille pitää kirjautua omilla tunnuksilla. Näiltä sivuilta saa kyllä talletettua “manuaalisesti” , mutta terminaali ei ilmeisesti tiedä tunnistautumisesta ja taulukot tulevat tyhjinä.[/quote]Wgetillä voit lähettää POST ja/tai GET -dataa ja se osaa myös keksit, joten voit periaatteessa tunnistautua sivulle myös sillä ja sen jälkeen ladata tiedoston.

togo · Elokuu 9, 2009, 7.02am

Olenkohan tehnyt jonkin virheen tai onko tämä väärä tapa:

wget --http-user=tunnukseni --http-password=salasanani “http://www.kauppalehti.fi/5/i/porssi/oma_lista/omalista_excel.jsp”

Tiedosto tallentuu ilman tietoja. Tunnuksen ja salasanan lisääminen eivät muuta hakua mitenkään. Yritin laittaa myös ne “” -merkkien sisälle ( “tunnukseni” )

eero · Elokuu 9, 2009, 7.41am

[quote=“togo, post:15, topic:757”]Olenkohan tehnyt jonkin virheen tai onko tämä väärä tapa:

wget --http-user=tunnukseni --http-password=salasanani “http://www.kauppalehti.fi/5/i/porssi/oma_lista/omalista_excel.jsp”

Tiedosto tallentuu ilman tietoja. Tunnuksen ja salasanan lisääminen eivät muuta hakua mitenkään. Yritin laittaa myös ne “” -merkkien sisälle ( “tunnukseni” )[/quote]

–keep-session-cookies voi auttaa.

–
Eero

togo · Elokuu 9, 2009, 8.03am

Ei se auttanut. Tässä on virheilmoitus, joka tulee joka tapauksessa:

–2009-08-09 11:01:42-- http://tvt/
Resolving TUNNUKSENI… failed: Name or service not known.
wget: unable to resolve host address TUNNUKSENI' --2009-08-09 11:01:43-- http://SALASANANI/ Resolving SALASANANI... failed: Name or service not known. wget: unable to resolve host addressSALASANANI’

eero · Elokuu 9, 2009, 8.09am

[quote=“togo, post:17, topic:757”]Ei se auttanut. Tässä on virheilmoitus, joka tulee joka tapauksessa:

–2009-08-09 11:01:42-- http://tvt/
Resolving TUNNUKSENI… failed: Name or service not known.
wget: unable to resolve host address TUNNUKSENI' --2009-08-09 11:01:43-- http://SALASANANI/ Resolving SALASANANI... failed: Name or service not known. wget: unable to resolve host addressSALASANANI’[/quote]

Se yrittää käyttää tunnuksiasi url:ina, syytä en tiedä.

–
Eero

eero · Elokuu 9, 2009, 8.10am

[quote=“eero, post:18, topic:757”][quote author=togo link=topic=774.msg4061#msg4061 date=1249804997]
Ei se auttanut. Tässä on virheilmoitus, joka tulee joka tapauksessa:

–2009-08-09 11:01:42-- http://tvt/
Resolving TUNNUKSENI… failed: Name or service not known.
wget: unable to resolve host address TUNNUKSENI' --2009-08-09 11:01:43-- http://SALASANANI/ Resolving SALASANANI... failed: Name or service not known. wget: unable to resolve host addressSALASANANI’

[/quote]

Se yrittää käyttää tunnuksiasi url:ina, syytä en tiedä.

–
Eero[/quote]

Itselläni toimii ihan nätisti:
TheRaven:~ eero$ wget --http-user=tunnukseni --http-password=salasanani “http://www.kauppalehti.fi/5/i/porssi/oma_lista/omalista_excel.jsp”
–2009-08-09 11:10:00-- http://www.kauppalehti.fi/5/i/porssi/oma_lista/omalista_excel.jsp
Selvitet"a"an osoitetta www.kauppalehti.fi… 193.209.83.20
Yhdistet"a"an palvelimeen www.kauppalehti.fi|193.209.83.20|:80… yhdistetty.
HTTP-pyynt"o l"ahetetty, odotetaan vastausta… 200 OK
Pituus: 302 [application/vnd.ms-excel]
Tallennetaan kohteeseen “omalista_excel.jsp”

100%[=======================================================================================================================================================================>] 302 --.-K/s in 0s

2009-08-09 11:10:00 (15,2 MB/s) - “omalista_excel.jsp” tallennettu [302/302]

eero · Elokuu 9, 2009, 8.12am

[quote=“eero, post:19, topic:757”][quote author=eero link=topic=774.msg4062#msg4062 date=1249805384]

Se yrittää käyttää tunnuksiasi url:ina, syytä en tiedä.

–
Eero
[/quote]

Itselläni toimii ihan nätisti:
TheRaven:~ eero$ wget --http-user=tunnukseni --http-password=salasanani “http://www.kauppalehti.fi/5/i/porssi/oma_lista/omalista_excel.jsp”
–2009-08-09 11:10:00-- http://www.kauppalehti.fi/5/i/porssi/oma_lista/omalista_excel.jsp
Selvitet"a"an osoitetta www.kauppalehti.fi… 193.209.83.20
Yhdistet"a"an palvelimeen www.kauppalehti.fi|193.209.83.20|:80… yhdistetty.
HTTP-pyynt"o l"ahetetty, odotetaan vastausta… 200 OK
Pituus: 302 [application/vnd.ms-excel]
Tallennetaan kohteeseen “omalista_excel.jsp”

100%[=======================================================================================================================================================================>] 302 --.-K/s in 0s

2009-08-09 11:10:00 (15,2 MB/s) - “omalista_excel.jsp” tallennettu [302/302][/quote]

Lisäkommenttina se, että kauppalehti.fi taitaa käyttää itse koodattua session based authentikaatiota, eikä http authentikaatiota, kuten luulet.

Eli jos haluat tuon toimimaan, niin sinun pitää logata selaimella ja syöttää cookiet wgetille, niin asia ehkä toimii…

–
Eero