Natuke andmeasjandust

Tekkis tarvidus laiendada enda pädevust andmetöötluses, -analüüsis ja visualiseerimises. Võtsin natuke lugeda. Satelliidiandmete lugemine, kuvamine nii graafikutena kui kaardil. Masinõppe algteadmised, klasterdamine. 

Konkreetsemalt:
- andmetöötluseks - numpy, pandas ja netcdf4
- masinõppeks - Tensorflow ja SciKit-learn
- pildi tegemiseks - Matplotlib, Seaborn, Basemap

Toimetasin Google Colab keskkonnas.

Muljeid.

Töövahendid on super mugavaks tehtud. 
Toosama Colab on õppimiseks super keskkond. Pythoni virtuaalkeskkonna tegemine (Conda vms) on muidu paras pusimine, Colabis "new Notebook" ja "!pip install midaignesvaja" ja olemas. Ka uuemad moodulid on väga, väga mugavad. 

Keeruline on aga leida pädevaid juhendeid.
Enamik infot on mingipidi vana. Või siis hirmus "teaduslik". Ma ei karda valemeid, kuid proovige näiteks K-grupeerimise Wiki artiklist aru saada! Ja võrrelge siis selle selgitusega . K-means ise on imelihtne asi, kuid selle mõistmiseks tuleb leida õige allikas. (Etteantud materjalidest ei saanud ma üldse mitte midagi aru). 

Kõige rohkem läheb aega sellega, et leida lugemiseks õige lehekülg ja head näited. 

Pythoni mooduleid on miljon
ja ka siin on põhiline raskus, et kuidas leida õige vahend. Kas seaborn joonistab geograafilisi kaarte? Kui ei, siis mis seda teeb? 

Tehisintellekt teeb imesid.
Colab'i on sisse ehitatud Gemini ja see on... šokeerivalt hea. Ta _saab aru_, mida ma teen. "Te vist analüüsite okeanograafilisi andmed eks? Muutuja vhm0 on selles kontekstis tavaliselt statistiliselt oluline lainekõrgus. Selle lugemiseks sisendist palun tehke nii..." Ja nii edasi. Mille iganes kohta saab küsida abi ja enamasti on tulemus pädev. "pcolormesh kõige lihtsam varjutus on 'flat'." "suurema joonise jaoks lisa sinna see rida." Ja see kõik töötab nagu kuld. Millegipärast isegi eesti keeles. Ulme, nüüd ja praegu!!!!

Tegeliku arusaamiseni oleks veel pikk ma.
Näiteks klasterdamises rikkusin (/me) andmed normaliseerimisega ilmselt ära. Märkasime küll, et veider on... aga noh. Nüüd tagantjärgi teiste andmetega mängides näen ma seda paremini. Ise "käsitsi" normaliseerimine annab korrektse tulemuse. Moraal - vaja on rohkem kogemust, ühekordse läbimänguga midagi selgeks ei saa.