Időnként szükséges lehet, hogy egyedi transzformációkat hajtsunk végre az adatokon. Ilyenkor lehet hasznos valamelyik támogatott nyelven implementálni.
Segítségével elvégezhetünk egyedi transzformációkat az adatainkon, a saját metrikáink szerint építhetjük fel, illetve értékelhetjük ki a modelleket. Continue reading
Tudjuk, hogy hogyan vigyünk fel adatokat az ML Studio-ba. Most dolgozzunk az adatokkal. A Studióban nagyon könnyen hozhatunk létre kísérleteket (erről már beszéltem egy korábbi bejegyzésben), egyszerű drag-n-drop módszerrel illesztjük össze a megfelelő modulokat, melyből a végén egy értelmes modell áll össze. A Studió számos előre rögzített szerszámot biztosít számunkra, legyen szó tesztelésről, adatmanipulációról vagy tanító algoritmusról. Azonban ha valamivel nem vagyunk kellőképpen megelégedve, vagy szükségünk van egy egyedi megoldásra akkor sokmindent felüldefiniálhatunk, lecserélhetjük saját megoldásunkkal, amelyeket R vagy Python kódban írhatunk meg.
A munka elkezdéséhez csupán két dologra lesz szükség:
A Normalize Data modul segítségével az adatainkat azonos volumenűre hozhatjuk. Erre akkor van szükség, ha nagyságrendbeli különbségek vannak köztük. A kisebb skálájú adatokat kevésbé veszik fontosnak az algoritmusok, hiszen ott jóval kisebb eltérés van, így hajlamosak szinte „megfeledkezni” róluk. A normalizálással viszont azonos mértékűre hozhatjuk az egyes adatokat, így azonos lesz a „súlyuk” is.
A gépi tanulásra a Microsoft megoldása az ML Studio. Teljes mértékben a felhőben futó alkalmazás, így semmiféle telepítést nem igényel, bárhonnan elérhetjük a https://studio.azureml.net címen.
Nagyban megkönnyíti a munkát, hogy az egyes modulokat csak behúzzuk a munkaasztalunkra, és összekötjük őket, nem kell időt fecsérelni sok programozásra. Rengeteg gyakran használt összetevő készen van, csak paraméterezni kell őket:
Adat bemenet/kimenet, szűrők, szétválasztók, skálázók, illetve természetesen algoritmusok osztályozásra, regresszióra, klaszterizálásra, anomáliák felfedezésére.
Körbenézhetünk a Cortana Analytics Gallery-ben, ahol kész megoldásokat találhatunk gyakori problémákra:
arcfelismerés, lemorzsolódás, kézíráselemzés…
Természetesen, ha úgy érezzük, hogy nincsen számunkra megfelelő eszköz, mert egyedi dologra van szükségünk, bővíthetjük a programunkat R és Python szkriptekkel.
A továbbiakban megnézzük, hogyan lehet egy kísérletet megcsinálni elejétől a végéig, milyen alap egységeket lehet felhasználni a sikeres jóslás érdekében.
Az előző bejegyzésemben megnéztük, hogy mi is az a Machine Learning és egy kicsit bővebben tárgyaltuk a Supervised Learning elméletét is. (Most egy kicsit gyakorlatiasabb téma jön.)
A Microsoft Azure szolgáltatásban az ML rendkívül egyszerűen elérhető , és nagyon egyszerűen használható az Azure ML Studio webes környezet segítségével.
A rendszer egy “fogd és vidd” (maradjunk az angol drag-and-drop kifejezésnél) módszerrel lehet használni (azaz nem igényel túlzott kódolási tudást MÉG). A drag-and-drop módszerrel lehet egy “kísérletet” felépíteni, tesztelni és telepíteni, alkalmazni a saját adatainkon. A Studio képes a szépen felépített modellünket egy webes szolgáltatásként publikálni, így az könnyen felhasználható akár mások által is.
Hasznos ha rendelkezünk Azure accounttal, így csak egyszerűen bejelentkezünk (ha nem rendelkezünk windows LiveID-val akkor itt van lehetőség az elkészítésre). Azonban a rendszer ingyenesen kipróbálható egy hónapig. Mind a két opció a következő linken érhető el: Azure ML Studio
Mit jelent pontosan a Machine Learning (későbbeikben ML)? Ma az ML egy csomó dolgot jelent. A terület elég nagy, és gyorsan növekszik, mert folyamatosan megosztjuk és vég nélkül ágaztatjuk a különböző szakterületeket és az ML típusait.
Úgy lehetne megfogalmazni, mint egy olyan rendszer, ami a tapasztalatokból fejlődik, vagy egy olyan metódus, amely az adatot szoftverré alakítja. A lényeg minden szempontból ugyanaz, a modern adattudomány sikeresen kifejlesztette a szoftver modellek létrehozásának olyan folyamatát, amelyek óriási adathalmazokból tanulva pontos mintákat és értékeket “jósolnak” számunkra.
Tom Mitchel 1997-ben adott egy tökéletes megfogalmazást: “Egy számítógépes program tanul a tapasztalatokból, ha a programot a tapasztalati példák feldolgozása után ismételten lefuttatva bizonyos teszt feladatokon, a program teljesítménye javul.“
A Microsoft 2008 óta fejlesztett számítási felhő platformja és infrastruktúrája. Ezzel az egyes programok nem a helyi munkaállomáson, hanem egy távoli kiszolgálón futnak. Rengeteg programozási nyelvet, keretrendszert támogat, nem csak a saját fejlesztésűeket, így sokak által megfelelő választás lehet.
Infrastructure as a Service (IaaS) és Platform as a Service (PaaS) megoldások is léteznek. Azaz kérhet a felhasználó egy nyers Windows/Linux szervert is, amit aztán saját belátása szerint használhat, de konkrét platformokat is, többek között adatbázist, web szervert, vagy akár Big Data eszközöket.
Egy hónapig ingyenesen használható a szolgáltatás, ehhez mindössze egy bankkártya és egy Microsoft Account szükséges a https://azure.microsoft.com/hu-hu/pricing/free-trial/ oldalon.
Ebben a cikkben meg fogom mutatni, hogyan kell kapcsolódni az AZURE adatbázisunkhoz SQL szerveren keresztül.
Ha ezt olvassuk, akkor már van AZURE adatbázisunk, ha nincs az előző cikk segít létrehozni.
Válasszuk ki a Connect to your database fül alatt View SQL connection string-et.
Itt látjuk a szerver nevét, az id-t a jelszóra meg emlékszünk. 🙂
Indítsuk el az SQL server management programot.
Ide írjuk be az azure-n látott adatokat. Sikeres belépés után a program így néz ki:
Írjuk meg az sql utasításokat. Válasszuk a new query-t a fenti menübűl:
Az én utasításaim így néznek ki:
Hajtsuk végre! (execute parancs)
Az adatbázisban létrejöttek a táblák. Lent pedig látjuk, hogy a sript hiba nélkül lefutott.