Napravite klaster običnih računala. Desktop klaster. Instaliranje korisničkog računa klastera

💖 Sviđa li vam se? Podijelite vezu sa svojim prijateljima

Uvod

Klaster poslužitelja je grupa neovisnih poslužitelja kojima upravlja usluga klastera koji rade zajedno kao jedan sustav. Klasteri poslužitelja stvoreni su kombiniranjem višestrukih Windows® 2000 Advanced Server i Windows 2000 Datacenter Server poslužitelja kako bi se osigurala visoka dostupnost, skalabilnost i upravljivost za resurse i aplikacije.

Svrha klastera poslužitelja je osigurati kontinuirani korisnički pristup aplikacijama i resursima u slučajevima kvarova hardvera ili softvera ili planiranih gašenja opreme. Ako je jedan od poslužitelja klastera nedostupan zbog kvara ili gašenja radi održavanja, informacijski resursi i aplikacije redistribuiraju se između preostalih dostupnih čvorova klastera.

Za sustave klastera, upotreba izraza " visoka dostupnost" bolje je od upotrebe izraza " tolerancija kvarova", budući da tehnologije tolerancije grešaka podrazumijevaju višu razinu otpornosti opreme na vanjski utjecaji i mehanizmi oporavka. U pravilu, poslužitelji otporni na pogreške koriste visok stupanj redundantnosti hardvera, plus dodatno specijalizirane softver, što omogućuje gotovo trenutnu obnovu rada u slučaju bilo kojeg pojedinačnog softvera ili hardver. Ova su rješenja značajno skuplja u usporedbi s korištenjem klaster tehnologija, jer su organizacije prisiljene preplaćivati ​​dodatni hardver koji većinu vremena miruje i koristi se samo u slučaju kvarova. Poslužitelji otporni na pogreške koriste se za aplikacije koje obrađuju velike količine transakcija visoke vrijednosti u područjima kao što su centri za obradu plaćanja, bankomati ili burze.

Iako usluga klastera ne jamči radni rad, ona pruža visoku razinu dostupnosti dovoljnu za pokretanje većine kritičnih aplikacija. Usluga klastera može nadzirati performanse aplikacija i resursa, automatski prepoznati uvjete kvara i vratiti sustav kada se oni riješe. To omogućuje fleksibilnije upravljanje radnim opterećenjem unutar klastera i povećava dostupnost sustava u cjelini.

Glavne prednosti koje se ostvaruju korištenjem usluge Cluster su:

  • Visoka dostupnost. Ako bilo koji čvor zakaže, usluga klastera prenosi kontrolu nad resursima kao što su npr. tvrdih diskova i mrežne adrese aktivnog čvora klastera. Kada softver ili hardverski kvar Softver klastera ponovno pokreće neuspjelu aplikaciju na funkcionalnom čvoru ili premješta cjelokupno opterećenje neuspjelog čvora na preostale funkcionalne čvorove. Međutim, korisnici mogu primijetiti samo kratko kašnjenje usluge.
  • Povrat nakon odbijanja. Usluga klastera automatski redistribuira radno opterećenje u klasteru kada pokvareni čvor ponovno postane dostupan.
  • Upravljivost. Cluster Administrator je dodatak koji možete koristiti za upravljanje klasterom kao jednim sustavom, kao i za upravljanje aplikacijama. Administrator klastera pruža transparentan pogled na to kako se aplikacije izvode kao da se izvode na istom poslužitelju. Aplikacije možete premjestiti na različite poslužitelje unutar klastera povlačenjem i ispuštanjem objekata klastera mišem. Na isti način možete premjestiti podatke. Ova se metoda može koristiti za ručnu raspodjelu radnog opterećenja poslužitelja, kao i za rasterećenje poslužitelja, a zatim ga zaustaviti radi planiranog održavanja. Dodatno, Administrator klastera omogućuje daljinski nadzor stanja klastera, svih njegovih čvorova i resursa.
  • Skalabilnost. Kako bi se osiguralo da izvedba klastera uvijek može pratiti sve veće zahtjeve, usluga klastera ima mogućnosti skaliranja. Ako ukupna izvedba klastera postane nedovoljna za rukovanje opterećenjem koje generiraju klasterirane aplikacije, klasteru se mogu dodati dodatni čvorovi.

Ovaj dokument sadrži upute za instaliranje usluge klastera na poslužiteljima koji rade Windows kontrola 2000 Advanced Server i Windows 2000 Datacenter Server, te opisuje postupak instaliranja usluge klastera na poslužitelje čvorova klastera. Ovaj priručnik ne opisuje instalaciju i konfiguraciju klasteriranih aplikacija, već vas samo vodi kroz cijeli postupak instaliranja jednostavnog klastera s dva čvora.

Sistemski zahtjevi za stvaranje klastera poslužitelja

Sljedeći popisi za provjeru pomoći će vam da se pripremite za instalaciju. Korak po korak upute Upute za instalaciju bit će prikazane ispod ovih popisa.

Softverski zahtjevi

  • operacijska sala Microsoft sustav Windows 2000 Advanced Server ili Windows 2000 Datacenter Server instaliran na svim poslužiteljima u klasteru.
  • Instalirana usluga razlučivanja imena kao što je Sustav imenovanja domena (DNS) Windows Internet Sustav imenovanja (WINS), HOSTS, itd.
  • Terminalni poslužitelj za udaljena administracija Klastera. Ovaj zahtjev nije obavezan, ali se preporučuje samo kako bi se osigurala jednostavnost upravljanja klasterom.

Hardverski zahtjevi

  • Hardverski zahtjevi čvora klastera isti su kao oni za instalaciju operativnih sustava Windows 2000 Advanced Server ili Windows 2000 Datacenter Server. Ovi zahtjevi mogu se pronaći na stranici za pretraživanje Microsoft imenik.
  • Hardver klastera mora biti certificiran i naveden na Microsoftovom popisu kompatibilnosti hardvera (HCL) za uslugu klastera. Najnovija verzija ovog popisa može se pronaći na stranici za pretraživanje Windows 2000 Popis kompatibilnosti hardvera Microsoft imenik odabirom kategorije pretraživanja "Kluster".

Dva HCL-kompatibilna računala, svako sa:

  • HDD s čizmom sistemska particija i instaliran operacijski sustav Windows 2000 Advanced Server ili Windows 2000 Datacenter Server. Ovaj pogon ne bi trebao biti spojen na sabirnicu za dijeljenu pohranu, o kojoj se govori u nastavku.
  • Odvojeni PCI Fibre Channel ili SCSI kontroler uređaja za povezivanje vanjskog dijeljenog uređaja za pohranu. Ovaj kontroler mora biti prisutan pored kontrolera disk za pokretanje.
  • Dva mrežna PCI adaptera instalirana na svakom računalu u klasteru.
  • Vanjski diskovni uređaj za pohranu na HCL popisu koji je povezan sa svim čvorovima u klasteru. Djelovat će kao disk klastera. Preporuča se konfiguracija pomoću hardverskih RAID polja.
  • Kabeli za spajanje zajedničkog uređaja za pohranu na sva računala. Upute o konfiguraciji uređaja za pohranu potražite u dokumentaciji proizvođača. Ako je veza napravljena na SCSI sabirnicu, možete pogledati Dodatak A za dodatne informacije.
  • Sva oprema na klasteru računala mora biti potpuno identična. To će pojednostaviti proces konfiguracije i eliminirati moguće probleme s kompatibilnošću.

Zahtjevi za postavljanje konfiguracije mreže

  • Jedinstveni NetBIOS naziv za klaster.
  • Pet jedinstvenih statičke IP adrese: dvije adrese za privatne mrežne adaptere, dvije za javne mrežne adaptere i jednu adresu za klaster.
  • Račun domene za uslugu klastera (svi čvorovi klastera moraju biti članovi iste domene)
  • Svaki čvor mora imati dva mrežna adaptera - jedan za spajanje na javnu mrežu, jedan za unutarklastersku komunikaciju čvorova. Konfiguracija pomoću jednog mrežnog adaptera za istovremena veza na javne i privatne mreže nije podržan. Za udovoljavanje zahtjevima HCL-a potreban je zaseban mrežni adapter za privatnu mrežu.

Zahtjevi za zajednički disk za pohranu

  • Svi diskovi za dijeljenu pohranu, uključujući disk kvoruma, moraju biti fizički priključeni na dijeljenu sabirnicu.
  • Svi diskovi povezani na zajedničku sabirnicu moraju biti dostupni svakom čvoru. To se može provjeriti tijekom instalacije i konfiguracije glavnog adaptera. Za detaljne upute Pogledajte dokumentaciju proizvođača adaptera.
  • SCSI uređajima moraju se dodijeliti ciljani jedinstveni SCSI ID brojevi, a terminatori moraju biti ispravno instalirani na SCSI sabirnici, prema uputama proizvođača. 1
  • Svi diskovi za dijeljenu pohranu moraju biti konfigurirani kao osnovni diskovi(nije dinamično)
  • Sve particije diska za dijeljenu pohranu moraju biti formatirane s NTFS datotečnim sustavom.

Toplo se preporučuje kombiniranje svih diskova za dijeljenu pohranu u hardverske RAID nizove. Iako nije potrebno, stvaranje RAID konfiguracija otpornih na pogreške ključno je za zaštitu od kvarova na disku.

Instalacija klastera

Opći pregled instalacije

Tijekom postupka instalacije, neki čvorovi će se isključiti, a neki će se ponovno pokrenuti. To je potrebno kako bi se osigurao integritet podataka koji se nalaze na diskovima spojenim na zajedničku sabirnicu vanjskog uređaja za pohranu. Do oštećenja podataka može doći kada više čvorova istovremeno pokuša pisati na isti disk koji nije zaštićen softverom klastera.

Tablica 1 pomoći će vam odrediti koji čvorovi i uređaji za pohranu trebaju biti omogućeni u svakoj fazi instalacije.

Ovaj vodič opisuje kako stvoriti klaster s dva čvora. Međutim, ako postavljate klaster s više od dva čvora, možete koristiti vrijednost stupca "Čvor 2" kako bi se utvrdilo stanje preostalih čvorova.

Tablica 1. Redoslijed uključivanja uređaja prilikom instaliranja klastera

Korak Čvor 1 Čvor 2 Uređaj za pohranu Komentar
Postavljanje mrežnih postavki Na Na Isključeno Provjerite jesu li svi uređaji za pohranu spojeni na zajedničku sabirnicu isključeni. Uključite sve čvorove.
Postavljanje dijeljenih diskova Na Isključeno Na Isključite sve čvorove. Uključite uređaj za dijeljenu pohranu, zatim uključite prvi čvor.
Provjera konfiguracije zajedničkih diskova Isključeno Na Na Isključite prvi čvor, uključite drugi čvor. Ponovite za čvorove 3 i 4 ako je potrebno.
Konfiguriranje prvog čvora Na Isključeno Na Isključite sve čvorove; uključite prvi čvor.
Konfiguriranje drugog čvora Na Na Na Nakon uspješnog konfiguriranja prvog čvora, uključite drugi čvor. Ponovite za čvorove 3 i 4 ako je potrebno.
Dovršavanje instalacije Na Na Na U ovom trenutku svi čvorovi bi trebali biti uključeni.

Prije instaliranja softvera klastera, morate izvršiti sljedeće korake:

  • Instalirajte operativni sustav na svako računalo u klasteru Windows sustav 2000 Advanced Server ili Windows 2000 Datacenter Server.
  • Konfigurirajte mrežne postavke.
  • Konfigurirajte zajedničke diskove za pohranu.

Dovršite ove korake na svakom čvoru u klasteru prije instaliranja usluge klastera na prvom čvoru.

Da biste konfigurirali uslugu klastera na Windows 2000 poslužitelju, vaš račun mora imati administratorska prava na svakom čvoru. Svi čvorovi klastera moraju biti ili poslužitelji članovi ili kontroleri iste domene. Mješovita upotreba poslužitelja članova i kontrolera domene u klasteru je neprihvatljiva.

Instalacija Windows 2000 operativnog sustava

Da biste instalirali Windows 2000 na svaki čvor klastera, pogledajte dokumentaciju koju ste dobili s operativnim sustavom.

Ovaj dokument koristi strukturu naziva iz priručnika "Vodič korak po korak za uobičajenu infrastrukturu za postavljanje poslužitelja Windows 2000". Međutim, možete koristiti bilo koja imena.

Prije nego počnete instalirati uslugu klastera, morate se prijaviti kao administrator.

Konfiguriranje mrežnih postavki

Bilješka: U ovom trenutku instalacije isključite sve dijeljene uređaje za pohranu, a zatim uključite sve čvorove. Morate spriječiti da više čvorova istovremeno pristupa zajedničkom uređaju za pohranu dok se usluga klastera ne instalira na barem jednom čvoru i dok se taj čvor ne uključi.

Svaki čvor mora imati instalirana najmanje dva mrežna adaptera - jedan za spajanje na javnu mrežu, a jedan za spajanje na privatnu mrežu koja se sastoji od čvorova klastera.

Adapter privatne mreže omogućuje komunikaciju između čvorova, izvještavanje o trenutnom stanju klastera i upravljanje klasterom. Adapter javne mreže svakog čvora povezuje klaster s javnom mrežom koja se sastoji od klijentskih računala.

Provjerite sve mrežni adapteri su ispravno fizički povezani: privatni mrežni adapteri povezani su samo s drugim privatnim mrežnim adapterima, a javni mrežni adapteri povezani su s preklopnicima javne mreže. Dijagram povezivanja prikazan je na slici 1. Izvedite ovaj test na svakom čvoru klastera prije nego što nastavite s konfiguracijom diskova za dijeljenu pohranu.

Slika 1: Primjer klastera s dva čvora

Konfiguriranje privatnog mrežnog adaptera

Dovršite ove korake na prvom čvoru vašeg klastera.

  1. Moje mrežno okruženje i odaberite tim Svojstva.
  2. Kliknite desnom tipkom miša na ikonu.

Bilješka: Koji će mrežni adapter opsluživati ​​privatnu mrežu, a koji javnu ovisi o fizičkom spoju mrežnih kabela. U ovom dokumentu pretpostavit ćemo da je prvi adapter (priključak za napajanje) lokalna mreža) povezan je s javnom mrežom, a drugi adapter (Local Area Connection 2) povezan je s privatnom mrežom klastera. U vašem slučaju to možda nije slučaj.

  1. Država. Prozor Status LAN veze 2 prikazuje status veze i njenu brzinu. Ako je veza prekinuta, provjerite kabele i spojeve. Riješite problem prije nastavka. Pritisnite gumb Zatvoriti.
  2. Ponovno kliknite desnom tipkom miša na ikonu LAN veza 2, odaberite naredbu Svojstva i pritisnite tipku ugoditi.
  3. Odaberite karticu Dodatno. Pojavit će se prozor prikazan na slici 2.
  4. Za mrežne adaptere privatne mreže, brzina se mora postaviti ručno umjesto zadane vrijednosti. Na padajućem popisu odredite brzinu mreže. Nemojte koristiti vrijednosti "Automatsko osjetilo" ili "Automatski odabir" za odabir brzine, budući da neki mrežni adapteri mogu ispuštati pakete dok određuju brzinu veze. Da biste postavili brzinu mrežnog adaptera, odredite stvarnu vrijednost za parametar Vrsta veze ili Ubrzati.

Slika 2: Dodatne postavke mrežni adapter

Svi mrežni adapteri klastera spojeni na istu mrežu moraju biti identično konfigurirani i koristiti iste vrijednosti parametara Duplex način rada, Kontrola protoka, Vrsta veze, itd. Čak i ako se na različitim čvorovima koristi različita mrežna oprema, vrijednosti ovih parametara moraju biti iste.

  1. Izaberi internetski protokol (TCP/IP) na popisu komponenti koje koristi veza.
  2. Pritisnite gumb Svojstva.
  3. Postavite prekidač u položaj Koristite sljedeću IP adresu i unesite adresu 10.1.1.1 . (Za drugi čvor koristite adresu 10.1.1.2 ).
  4. Postavite masku podmreže: 255.0.0.0 .
  5. Pritisnite gumb Dodatno i odaberite karticu POBJEDE. Postavite vrijednost prekidača na položaj Onemogući NetBIOS preko TCP/IP-a. Klik u redu za povratak na prethodni izbornik. Izvedite ovaj korak samo za prilagodnik privatne mreže.

Vaš dijaloški okvir trebao bi izgledati kao na slici 3.

Slika 3: IP adresa privatne mrežne veze

Konfiguriranje adaptera javne mreže

Bilješka: Ako DHCP poslužitelj radi na javnoj mreži, IP adresa za mrežni adapter na javnoj mreži može se dodijeliti automatski. Međutim, ova se metoda ne preporučuje za adaptere čvorova klastera. Toplo preporučamo dodjeljivanje trajnih IP adresa svim javnim i privatnim mrežnim adapterima. Inače, ako DHCP poslužitelj zakaže, pristup čvorovima klastera može biti nemoguć. Ako ste prisiljeni koristiti DHCP za mrežne adaptere na javnoj mreži, koristite dugi rokovi zakup adrese - ovo će osigurati da će dinamički dodijeljena adresa ostati važeća čak i ako je DHCP poslužitelj privremeno nedostupan. Uvijek dodijelite stalne IP adrese privatnim mrežnim adapterima. Ne zaboravite da usluga klastera može prepoznati samo jedan mrežno sučelje na svakoj podmreži. Ako trebate pomoć oko termina mrežne adrese u sustavu Windows 2000 pogledajte ugrađenu pomoć operativnog sustava.

Preimenovanje mrežnih veza

Radi jasnoće, preporučujemo promjenu naziva vaših mrežnih veza. Na primjer, možete promijeniti naziv veze LAN veza 2 na . Ova metoda pomoći će vam da lakše identificirate mreže i ispravno dodijelite njihove uloge.

  1. Desni klik na ikonu 2.
  2. U kontekstni izbornik odaberite tim Preimenovati.
  3. Unesi Povežite se s privatnom mrežom klastera u tekstualno polje i pritisnite tipku UNESI.
  4. Ponovite korake 1-3 i promijenite naziv veze LAN veza na Spojite se na javnu mrežu.

Slika 4: Preimenovane mrežne veze

  1. Preimenovane mrežne veze trebale bi izgledati kao na slici 4. Zatvorite prozor Mreža i daljinski pristup na mrežu. Nazivi novih mrežnih veza automatski se repliciraju na druge čvorove u klasteru kada se uključe.

Ispitivanje mrežne veze i razlučivost imena

Za provjeru rada konfiguriranog mrežna oprema, slijedite ove korake za sve mrežne adaptere na svakom čvoru. Da biste to učinili, morate znati IP adrese svih mrežnih adaptera u klasteru. Ove informacije možete dobiti pokretanjem naredbe ipconfig na svakom čvoru:

  1. Pritisnite gumb Početak, odaberite tim Izvršiti i upišite naredbu cmd u tekstualnom prozoru. Klik u redu.
  2. Upišite naredbu ipconfig /sve i pritisnite tipku UNESI. Vidjet ćete informacije o konfiguraciji IP protokola za svaki mrežni adapter na lokalnom računalu.
  3. U slučaju da vaš prozor još nije otvoren naredbeni redak, slijedite korak 1.
  4. Upišite naredbu ping ipaddress Gdje IP adresa je IP adresa odgovarajućeg mrežnog adaptera na drugom čvoru. Na primjer, pretpostavimo da mrežni adapteri imaju sljedeće IP adrese:
Broj čvora Naziv mrežne veze IP adresa mrežnog adaptera
1 Spajanje na javnu mrežu 172.16.12.12
1 Povežite se s privatnom mrežom klastera 10.1.1.1
2 Spajanje na javnu mrežu 172.16.12.14
2 Povežite se s privatnom mrežom klastera 10.1.1.2

U ovom primjeru trebate pokrenuti naredbe ping 172.16.12.14 I ping 10.1.1.2 iz čvora 1 i izvršite naredbe ping 172.16.12.12 I ping 10.1.1.1 iz čvora 2.

Za provjeru rezolucije imena, pokrenite naredbu ping, koristeći naziv računala kao argument umjesto njegove IP adrese. Na primjer, da biste provjerili razlučivost imena za prvi čvor klastera pod nazivom hq-res-dc01, pokrenite naredbu ping hq-res-dc01 od bilo kojeg klijentsko računalo.

Provjera članstva u domeni

Svi čvorovi klastera moraju biti članovi iste domene i imati mrežne mogućnosti s kontrolerom domene i DNS poslužiteljem. Čvorovi se mogu konfigurirati kao poslužitelji članske domene ili kao kontroleri iste domene. Ako odlučite jedan od čvorova učiniti kontrolerom domene, tada svi ostali čvorovi u klasteru također moraju biti konfigurirani kao kontroleri domene iste domene. Ovaj vodič pretpostavlja da su svi hostovi kontroleri domene.

Bilješka: Za poveznice na dodatnu dokumentaciju o konfiguriranju domena, DNS-a i DHCP usluga u sustavu Windows 2000, pogledajte Povezani resursi na kraju ovog dokumenta.

  1. Desni klik Moje računalo i odaberite tim Svojstva.
  2. Odaberite karticu Identifikacija mreže. U dijaloškom okviru Svojstva sustava Vidjet ćete puni naziv računala i domene. U našem primjeru domena se zove reskit.com.
  3. Ako ste konfigurirali čvor kao poslužitelj člana, tada ga u ovoj fazi možete pridružiti domeni. Pritisnite gumb Svojstva i slijedite upute za pridruživanje računala domeni.
  4. Zatvorite prozore Svojstva sustava I Moje računalo.

Stvaranje račun usluge klastera

Za uslugu klastera morate kreirati zaseban domenski račun pod kojim će se pokrenuti. Instalater će od vas tražiti da unesete vjerodajnice za uslugu klastera, tako da prije instaliranja usluge mora biti kreiran račun. Račun ne smije biti u vlasništvu korisnika domene i mora se koristiti isključivo za pokretanje usluge klastera.

  1. Pritisnite gumb Početak, odaberite naredbu Programi / Administracija, pokrenite snap-in.
  2. Proširi kategoriju reskit.com, ako još nije raspoređen
  3. Odaberite s popisa Korisnici.
  4. Desni klik na Korisnici, odaberite iz kontekstnog izbornika Stvoriti, Izaberi Korisnik.
  5. Unesite naziv za račun usluge klastera kao što je prikazano na slici 5 i kliknite Unaprijediti.

Slika 5: Dodavanje korisnika klastera

  1. Označite kućice Spriječite korisnika da promijeni lozinku I Lozinka nema datum isteka. Pritisnite gumb Unaprijediti i gumb Spreman za stvaranje korisnika.

Bilješka: Ako vaša administrativna sigurnosna politika ne dopušta lozinke koje nikad ne istječu, morat ćete ažurirati lozinku i konfigurirati uslugu klastera na svakom čvoru prije nego što istekne.

  1. Desni klik na korisnika Klastera na desnoj alatnoj traci Aktivni direktorij– korisnici i računala.
  2. U kontekstnom izborniku odaberite naredbu Dodajte članove u grupu.
  3. Odaberite grupu Administratori i pritisnite u redu. Novi račun sada ima administratorske ovlasti na lokalnom računalu.
  4. Zatvorite kopču Active Directory - korisnici i računala.

Konfiguriranje diskova za dijeljenu pohranu

Upozorenje: Osigurajte da barem jedan od čvorova klastera izvodi operacijski sustav Windows 2000 Advanced Server ili Windows 2000 Datacenter Server i da je usluga klastera konfigurirana i pokrenuta. Tek nakon toga možete preuzeti operacijski sustav Windows 2000 na drugim čvorovima. Ako ovi uvjeti nisu ispunjeni, diskovi klastera mogu se oštetiti.

Za početak postavljanja dijeljenih diskova za pohranu isključite sve čvorove. Nakon toga uključite dijeljeni uređaj za pohranu, zatim uključite čvor 1.

Kvorumski disk

Disk kvoruma koristi se za pohranu kontrolnih točaka i datoteka dnevnika oporavka baze podataka klastera, pružajući upravljanje klasterom. Dajemo sljedeće preporuke za stvaranje kvoruma diska:

  • Napravite malu particiju (veličine najmanje 50 MB) koju ćete koristiti kao disk kvoruma. Općenito preporučujemo stvaranje kvoruma diska veličine 500 MB.
  • Namijenite zaseban disk za resurs kvoruma. Budući da ako kvorum disk ne uspije, cijeli će klaster otkazati, toplo preporučujemo korištenje RAID polja hardverskog diska.

Tijekom procesa instalacije usluge klastera, morat ćete dodijeliti slovo pogonu kvoruma. U našem primjeru koristit ćemo slovo Q.

Konfiguriranje diskova za dijeljenu pohranu

  1. Desni klik Moje računalo, odaberite naredbu Kontrolirati. U prozoru koji se otvori proširite kategoriju Uređaji za pohranu.
  2. Odaberite tim Upravljanje diskovima.
  3. Provjerite jesu li svi diskovi za dijeljenu pohranu formatirani kao NTFS i imaju status Osnovni, temeljni. Ako se povežete novi disk, pokrenut će se automatski Čarobnjak za potpisivanje i ažuriranje diska. Kada se čarobnjak pokrene, kliknite gumb Ažuriraj, za nastavak rada, nakon toga disk će biti identificiran kao Dinamičan. Da biste pretvorili disk u osnovni, desnom tipkom miša kliknite Disk br.(Gdje # – broj diska s kojim radite) i odaberite naredbu Vratite se na osnovni disk.

Područje desnog klika Ne distribuira se pored odgovarajućeg diska.

  1. Odaberite tim Napravite odjeljak
  2. Početi će Čarobnjak za stvaranje particije. Dvaput pritisnite tipku Unaprijediti.
  3. Unesite željenu veličinu particije u megabajtima i kliknite gumb Unaprijediti.
  4. Pritisnite gumb Unaprijediti, prihvaćajući predloženo zadano slovo pogona
  5. Pritisnite gumb Unaprijediti za formatiranje i stvaranje particije.

Dodjeljivanje slova pogona

Nakon što su podatkovna sabirnica, diskovi i particije za dijeljenu pohranu konfigurirani, morate dodijeliti slova pogona svim particijama na svim diskovima u klasteru.

Bilješka: Spojne točke su funkcionalnost datotečni sustav koji vam omogućuje instalaciju sustav datoteka koristeći postojeće direktorije, bez dodjele slova pogona. Klasteri ne podržavaju točke montiranja. Bilo koje vanjski disk koji se koristi kao resurs klastera mora biti particioniran na NTFS particije, a tim particijama moraju biti dodijeljena slova pogona.

  1. Desnom tipkom miša kliknite željenu particiju i odaberite Promjena slova pogona i putanje pogona.
  2. Odaberite novo slovo pogona.
  3. Ponovite korake 1 i 2 za sve diskove za dijeljenu pohranu.

Slika 6: Particije diska s dodijeljenim slovima

  1. Na kraju postupka, snap prozor Upravljanje računalom trebao bi izgledati kao Slika 6. Zatvorite snap-in Upravljanje računalom.
  1. Pritisnite gumb Početak, Izaberi Programi / Standard i pokrenite program " bilježnica".
  2. Upišite nekoliko riječi i spremite datoteku pod imenom test.txt odabirom naredbe Spremi kao iz izbornika Datoteka. Zatvoriti Bilježnica.
  3. Dvaput kliknite na ikonu Moji dokumenti.
  4. Desni klik na datoteku test.txt te u kontekstnom izborniku odaberite naredbu Kopirati.
  5. Zatvori prozor.
  6. Otvoren Moje računalo.
  7. Dvaput kliknite particiju diska za dijeljenu pohranu.
  8. Desni klik i odaberite naredbu Umetnuti.
  9. Kopija datoteke trebala bi se pojaviti na zajedničkom disku za pohranu test.txt.
  10. Dvaput kliknite na datoteku test.txt da biste ga otvorili s diska za dijeljenu pohranu. Zatvorite datoteku.
  11. Odaberite datoteku i pritisnite tipku Del za brisanje datoteke s diska klastera.

Ponovite postupak za sve diskove u klasteru kako biste bili sigurni da su dostupni iz prvog čvora.

Sada isključite prvi čvor, uključite drugi čvor i ponovite korake u odjeljku Provjera rada i javni pristup na diskove. Slijedite ove iste korake na svim dodatnim čvorovima. Nakon što ste sigurni da svi čvorovi mogu čitati i pisati informacije na zajedničke diskove za pohranu, isključite sve čvorove osim prvog i nastavite na sljedeći odjeljak.

Danas su poslovni procesi mnogih tvrtki potpuno vezani uz informacije
tehnologije. Uz rastuću ovisnost organizacija o radu računalstva
mreže, dostupnost usluga u bilo koje vrijeme i pod bilo kojim opterećenjem igra veliku ulogu
uloga. Jedno računalo može pružiti samo Prva razina pouzdanost i
skalabilnost, maksimalna razina može se postići kombiniranjem
jedinstveni sustav od dva ili više računala – klaster.

Zašto vam je potreban klaster?

Klasteri se koriste u organizacijama koje trebaju 24 sata dnevno i
nesmetanu dostupnost usluga i gdje su prekidi u radu nepoželjni te
neprihvatljivo. Ili u slučajevima kada postoji mogući skok opterećenja, što može
glavni poslužitelj se ne može nositi, onda će dodatni pomoći u kompenzaciji
hostovi koji obično obavljaju druge zadatke. Za poslužitelj pošte, obrada
deseci i stotine tisuća pisama dnevno, ili posluživanje web poslužitelja
online trgovinama, korištenje klastera je vrlo poželjno. Za korisnika
takav sustav ostaje potpuno transparentan – cijela grupa računala će
izgledaju kao jedan server. Koristeći nekoliko, čak i jeftinije,
računala omogućuje vam da dobijete vrlo značajne prednosti u odnosu na jednostruko
i brzi server. Ovo je jednolika raspodjela dolaznih zahtjeva,
povećana tolerancija na greške, budući da kada jedan element zakaže, njegovo opterećenje
preuzimaju drugi sustavi, skalabilnost, praktično održavanje i zamjena
čvorovi klastera i još mnogo toga. Kvar jednog čvora automatski
detektira se i opterećenje se redistribuira, sve to ostaje na klijentu
nezapaženo.

Win2k3 značajke

Općenito govoreći, neki su klasteri dizajnirani za poboljšanje dostupnosti podataka,
drugi - osigurati maksimalne performanse. U kontekstu članka mi
bit će od interesa MPP (masivna paralelna obrada)- grozdovi, u
u kojem se slične aplikacije izvode na više računala, pružajući
skalabilnost usluga. Postoji nekoliko tehnologija koje omogućuju
raspodijeliti opterećenje između nekoliko poslužitelja: preusmjeravanje prometa,
prijevod adresa, DNS Round Robin, korištenje posebnih
programa
radeći za razina primjene, poput web akceleratora. U
Win2k3, za razliku od Win2k, podrška za klasteriranje uključena je u početku i
podržane su dvije vrste klastera koji se razlikuju po primjeni i specifičnostima
podaci:

1. NLB (Network Load Balancing) klasteri- pružiti
skalabilnost i visoka dostupnost usluga i aplikacija temeljenih na TCP protokolima
i UDP, kombinirajući do 32 poslužitelja s istim skupom podataka u jedan klaster, na
pokretanje istih aplikacija. Svaki zahtjev se izvršava kao
odvojena transakcija. Koristi se za rad sa setovima koji se rijetko mijenjaju
podataka, kao što su WWW, ISA, Terminal Services i druge slične usluge.

2. Klasteri poslužitelja– može ujediniti do osam čvorova, njihovih glavnih
Zadatak je osigurati dostupnost aplikacije u slučaju kvara. Sastoji se od aktivnih i
pasivni čvorovi. Pasivni čvor većinu vremena miruje i igra ulogu
rezerva glavnog čvora. Za pojedinačne aplikacije moguće je konfigurirati
nekoliko aktivnih poslužitelja, raspoređujući opterećenje između njih. Oba čvora
povezan s jedinstvenim skladištem podataka. Za rad se koristi klaster poslužitelja
s velikim količinama podataka koji se često mijenjaju (pošta, datoteke i
SQL poslužitelji). Štoviše, takav se klaster ne može sastojati od čvorova koji rade ispod
upravljanje razne opcije Win2k3: Enterprise ili Datacenter ( Web verzije I
Standardni klasteri poslužitelja nisu podržani).

U Microsoft Application Center 2000(i samo) postojala je još jedna vrsta
Klastera - CLB (balansiranje opterećenja komponente), pružajući priliku
distribuciju COM+ aplikacija na više poslužitelja.

NLB klasteri

Kada koristite uravnoteženje opterećenja, a
virtualni mrežni adapter s vlastitom IP i MAC adresom neovisnom o stvarnoj.
Ovo virtualno sučelje predstavlja klaster kao jedan čvor, klijente
pristupaju mu upravo virtualnom adresom. Sve zahtjeve primaju svi
čvor klastera, ali ih obrađuje samo jedan. Radi na svim čvorovima
Usluga uravnoteženja opterećenja mreže
,
koji pomoću posebnog algoritma koji ne zahtijeva razmjenu podataka između
čvorova, odlučuje treba li određeni čvor obraditi zahtjev ili
Ne. Razmjena čvorova poruke otkucaja srca pokazujući im
dostupnost. Ako host prestane slati otkucaje srca ili se pojavi novi čvor,
počinju preostali čvorovi proces konvergencije, opet
preraspodjelu opterećenja. Balansiranje se može provesti na jedan od dva načina
načini rada:

1) unicast– unicast kada umjesto fizičkog MAC-a
Koristi se MAC adaptera virtualnog klastera. U ovom slučaju, čvorovi klastera nisu
mogu međusobno razmjenjivati ​​podatke koristeći MAC adrese samo putem IP-a
(ili drugi adapter koji nije povezan s klasterom);

Samo jedan od ovih načina treba koristiti unutar jednog klastera.

Može se prilagoditi nekoliko NLB klastera na jednom mrežnom adapteru,
određujući posebna pravila za luke. Takvi se klasteri nazivaju virtualni. Njihovo
aplikacija omogućuje postavljanje za svaku aplikaciju, čvor ili IP adresu
određena računala u primarnom klasteru ili blokirati promet za
neke aplikacije bez utjecaja na promet za druge pokrenute programe
na ovom čvoru. Ili, obrnuto, NLB komponenta može biti povezana s nekoliko njih
mrežni adapteri, koji će vam omogućiti da konfigurirate više neovisnih klastera na svakom
čvor. Također biste trebali biti svjesni da klastere poslužitelja i NLB postavljate na istom čvoru
nije moguće jer drugačije rade s mrežnim uređajima.

Administrator može napraviti neku vrstu hibridne konfiguracije koja ima
prednosti obje metode, na primjer, stvaranjem NLB klastera i postavljanjem replikacije
podataka između čvorova. Ali replikacija se ne izvodi stalno, već s vremena na vrijeme,
stoga će se informacije o različitim čvorovima razlikovati neko vrijeme.

Završimo s teorijom ovdje, iako možemo govoriti o izgradnji klastera
dugo vremena, nabrajajući mogućnosti i načine izgradnje, dajući razne
preporuke i opcije za konkretnu implementaciju. Ostavimo sve ove suptilnosti i nijanse
za samostalno učenje i prijeđimo na praktični dio.

Postavljanje NLB klastera

Za organiziranje NLB klastera nije potreban dodatni softver, to je sve
proizveden korištenjem dostupnih Win2k3 alata. Za stvaranje, održavanje i nadzor
NLB klasteri koriste komponentu "Upravitelj balansiranja mrežnog opterećenja"
(Upravitelj balansiranja opterećenja mreže)
, koji se nalazi u kartici
“Administracija” “Upravljačka ploča” (naredba NLBMgr). Budući da komponenta
“Ravnoteža mrežnog opterećenja” instaliran je kao standardni Windows mrežni upravljački program,
Instalacija NLB-a također se može izvesti pomoću komponente "Mrežne veze", u
gdje je odgovarajuća stavka dostupna. Ali bolje je koristiti samo prvi
opcija, istovremeno korištenje NLB upravitelja i “Mrežne veze”
može dovesti do nepredvidivih rezultata.

NLB Manager vam omogućuje da konfigurirate i upravljate radom s jednog mjesta odjednom
nekoliko klastera i čvorova.

Također je moguće instalirati NLB klaster na računalo s jednom mrežom
adapter povezan s balansiranjem mrežnog opterećenja, ali ovo
slučaju u unicast modu, NLB upravitelj na ovom računalu ne može biti
koristi se za kontrolu drugih čvorova, a sami čvorovi ne mogu razmjenjivati
informacija jedni s drugima.

Sada zovemo NLB dispečera. Još nemamo klastere, pa što se pojavilo
prozor ne sadrži nikakve informacije. Odaberite “Novo” iz izbornika “Grupa” i
Počinjemo ispunjavati polja u prozoru "Parametri klastera". U polju "Postavke".
IP parametri klastera" unesite vrijednost virtualne IP adrese klastera, maska
podmrežu i puni naziv. Vrijednost virtualne MAC adrese je postavljena
automatski. Odmah ispod odabiremo način rada klastera: unicast ili
multicast. Obratite pozornost na potvrdni okvir "Dopusti daljinsko upravljanje".
svatko Microsoftovi dokumenti toplo preporučuje da ga ne koristite u
izbjegavanje sigurnosnih problema. Umjesto toga trebali biste koristiti
dispečera ili drugih alata za daljinsko upravljanje, poput alata
Windows upravljanje (WMI). Ako se odlučite koristiti, trebali biste
poduzeti sve odgovarajuće mjere za zaštitu mreže, dodatno pokrivajući
UDP portovi vatrozida 1717 i 2504.

Nakon popunjavanja svih polja kliknite na “Dalje”. U prozoru "IP adrese klastera", kada
ako je potrebno, dodajte dodatne virtualne IP adrese koje će
koristi ovaj klaster. U sljedećem prozoru "Pravila luka" možete
postaviti balansiranje opterećenja za jedan ili za grupu portova svih ili
odabrani IP putem UDP ili TCP protokola, kao i blokiranje pristupa klasteru
određene priključke (koje vatrozid ne zamjenjuje). Zadani klaster
obrađuje zahtjeve za sve portove (0–65365); Bolje je ograničiti ovaj popis,
dodajući samo ono što je uistinu potrebno. Iako, ako se ne želite petljati,
možete ostaviti sve kako jest. Usput, u Win2k prema zadanim postavkama sav promet
usmjereno na klaster, obrađivalo samo čvor koji je imao najveći prioritet,
preostali čvorovi bili su spojeni tek kada je glavni otkazao.

Na primjer, za IIS ćete morati omogućiti samo portove 80 (http) i 443 (https).
Štoviše, možete to učiniti tako da se, na primjer, obrađuju zaštićene veze
Samo određeni poslužitelji na kojima je instaliran certifikat. Za dodavanje
novo pravilo, kliknite "Dodaj", u dijaloškom okviru koji se pojavi unesite
IP adresa glavnog računala, ili ako se pravilo odnosi na sve, ostavite potvrdni okvir
"Svi". U poljima "Od" i "Do" raspona luka postavljamo istu vrijednost -
80. Ključno polje je “Način filtriranja” - ovdje
navodi tko će obraditi ovaj zahtjev. Dostupna su tri polja koja definiraju način rada
filtriranje: “Više čvorova”, “Jedan čvor” i “Onemogući ovaj raspon priključaka”.
Odabir "Jedan čvor" znači da je promet usmjeren na odabrani IP (računalo
ili klaster) s navedenim brojem priključka obradit će aktivni čvor,
imaju indikator najnižeg prioriteta (više o tome u nastavku). Odabir "Onemogući..."
znači da će takav promet odbaciti svi članovi klastera.

U načinu filtriranja "Više čvorova" možete dodatno odrediti opciju
odrediti afinitet klijenta za usmjeravanje prometa od danog klijenta na
isti čvor klastera. Postoje tri opcije: “Nijedan”, “Jedan” ili “Klasa”
C". Odabir prvog znači da će na bilo koji zahtjev biti odgovoreno proizvoljnim
čvor Ali ne biste ga trebali koristiti ako je UDP protokol odabran u pravilu ili
"Oba". Prilikom odabira preostalih točaka, sličnost klijenata će se odrediti prema
specifični IP ili raspon mreže klase C.

Dakle, za naše pravilo s portom 80, izaberimo opciju
"Višestruki čvorovi - klasa C." Ispunjavamo pravilo za 443 na isti način, ali koristimo
“Jedan čvor” tako da klijentu uvijek odgovara glavni čvor s najnižim
prioritet. Ako dispečer otkrije nekompatibilno pravilo, ono će se prikazati
poruka upozorenja, dodatno u dnevniku Windows događaji bit će uneseno
odgovarajući unos.

Zatim se povežite s čvorom budućeg klastera unosom njegovog imena ili stvarnog IP-a i
Određujemo sučelje koje će biti spojeno na mrežu klastera. U prozoru s opcijama
čvor" odaberite prioritet s popisa, odredite mrežne postavke, postavite početni
stanje čvora (radi, zaustavljeno, pauzirano). Prioritet u isto vrijeme
je jedinstveni identifikator čvora; što je manji broj, veći je prioritet.
Čvor s prioritetom 1 je glavni poslužitelj, prvenstveno primatelj
pakete i djeluje kao upravitelj usmjeravanja.

Potvrdni okvir "Spremi stanje nakon ponovnog pokretanja računala" omogućuje vam da
kvar ili ponovno pokretanje ovog čvora automatski će ga pokrenuti. Nakon klika
Na “Spreman” će se u prozoru upravitelja pojaviti unos o novom klasteru, u kojem za sada
postoji jedan čvor.
Dodavanje sljedećeg čvora jednako je jednostavno. Odaberite "Dodaj čvor" iz izbornika ili
“Poveži se s postojećim”, ovisno o kojem računalu
uspostavlja se veza (je li već dio klastera ili ne). Zatim u prozoru
navedite naziv ili adresu računala, ako su prava za povezivanje dovoljna, novo
čvor će biti spojen na klaster. Isprva će biti ikona pored njegovog imena
drugačiji, ali kada se proces konvergencije završi, bit će isti kao
prvo računalo.

Budući da dispečer prikazuje svojstva čvorova u trenutku povezivanja, za
Za razjašnjenje trenutnog stanja odaberite klaster i u kontekstnom izborniku stavku
"Ažuriraj". Upravitelj će se povezati s klasterom i prikazati ažurirane podatke.

Nakon instalacije NLB klaster ne zaboravite promijeniti DNS zapis u
rezolucija imena sada je pokazala IP klastera.

Promjena opterećenja poslužitelja

U ovoj konfiguraciji svi će poslužitelji biti ravnomjerno učitani (osim
opcija "Jedan čvor"). U nekim slučajevima potrebno je preraspodijeliti opterećenje,
stavljanje većine posla na jedan od čvorova (na primjer, najmoćniji).
Za klaster, pravila se mogu promijeniti nakon što su kreirana odabirom
u kontekstnom izborniku koji se pojavljuje kada kliknete na naziv odaberite stavku "Svojstva klastera".
Sve postavke o kojima smo gore govorili dostupne su ovdje. Stavka izbornika
"Svojstva čvora" pružaju nešto više opcija. U "Opcijama čvora"
možete promijeniti vrijednost prioriteta za određeni čvor. U "Pravilima
za priključke" ne možete dodati ili izbrisati pravilo; ovo je dostupno samo na razini
Klastera. Ali odabirom uređivanja određenog pravila dobivamo priliku
podesite neke postavke. Da, kada uspostavljen način filtriranje
“Više čvorova” stavka “Procjena opterećenja” postaje dostupna, dopuštajući
preraspodjeliti opterećenje na određeni čvor. Zadana vrijednost je označena
"Jednako", ali u "Procjeni opterećenja" možete navesti drugu vrijednost opterećenja za
određeni čvor, kao postotak ukupno opterećenje Klastera. Ako je mod aktiviran
filtriranje “Jedan čvor”, novi parametar “Prioritet” pojavljuje se u ovom prozoru
obrada." Pomoću njega možete ostvariti promet prema određenom portu
prvo će obraditi jedan čvor klastera, a drugi drugi
čvor.

Zapisivanje događaja

Kao što je ranije spomenuto, balansiranje mrežnog opterećenja bilježi sve
radnje klastera i promjene u Windows dnevniku događaja. Da ih vidim
odaberite “Event Viewer – System”, NLB uključuje WLBS poruke (od
Windows Load Balancing Service, kako se ova usluga zvala u NT). Osim toga, u
prozor dispečera prikazuje najnovije poruke koje sadrže informacije o pogreškama
i o svim promjenama konfiguracije. Prema zadanim postavkama ove informacije nisu
je spremljeno. Za zapisivanje u datoteku odaberite “Opcije ->
Mogućnosti zapisivanja", odaberite potvrdni okvir "Omogući zapisivanje" i navedite naziv
datoteka. Nova datoteka bit će stvorena u poddirektoriju vašeg računa Dokumenti
i Postavke.

Postavljanje IIS-a s replikacijom

Klaster je klaster, ali bez usluge nema smisla. Stoga, dodajmo IIS (Internet
Informativne usluge)
. IIS poslužitelj uključen u Win2k3, ali da svedem na
minimizira mogućnost napada na poslužitelj; nije instaliran prema zadanim postavkama.

Dva su načina za instalaciju IIS-a: putem upravljačke ploče ili
čarobnjak za upravljanje ulogama za ovaj poslužitelj. Pogledajmo prvi. Idemo
“Upravljačka ploča - Dodaj ili ukloni programe”
Ukloni programe), odaberite “Instaliraj komponente sustava Windows” (Dodaj/ukloni Windows
Komponente). Sada idite na stavku "Application Server" i označite "Services"
IIS" je sve što trebate. Prema zadanim postavkama, radni direktorij poslužitelja je \Inetpub\wwwroot.
Jednom instaliran, IIS može ispisivati ​​statične dokumente.

Prije svega, odlučite koje će vam komponente i resursi trebati. Trebat će vam jedan glavni čvor, najmanje desetak identičnih računalnih čvorova, Ethernet preklopnik, jedinica za distribuciju energije i stalak. Odredite kapacitet ožičenja i hlađenja, kao i količinu prostora koji će vam trebati. Također odlučite koje IP adrese želite koristiti za čvorove, koji softver ćete instalirati i koje tehnologije ćete trebati za stvaranje paralelne računalne snage (više o tome u nastavku).

  • Iako je hardver skup, svi programi predstavljeni u članku distribuiraju se besplatno, a većina ih je otvorenog koda.
  • Ako želite saznati koliko bi vaše superračunalo teoretski moglo biti brzo, upotrijebite ovaj alat:

Montirajte čvorove. Morat ćete sastaviti mrežne čvorove ili kupiti već sastavljene poslužitelje.

  • Odaberite okvire poslužitelja koji maksimiziraju prostor, energetsku učinkovitost i učinak hlađenja.
  • Ili možete “reciklirati” desetak rabljenih poslužitelja, nekoliko zastarjelih - pa čak i ako njihova težina premašuje ukupnu težinu komponenti, ali ćete uštedjeti pristojan iznos. Svi procesori, mrežni adapteri i matične ploče moraju biti isti kako bi računala dobro radila zajedno. Naravno, ne zaboravite na RAM i tvrde diskove za svaki čvor, kao i barem jedan optički disk za glavni čvor.
  • Instalirajte poslužitelje u stalak. Počnite od dna tako da stalak ne bude preopterećen na vrhu. Trebat će vam pomoć prijatelja - sastavljeni poslužitelji mogu biti vrlo teški, a njihovo postavljanje u kaveze koji ih drže u stalku prilično je izazov.

    Instalirajte Ethernet preklopnik pokraj stalka. Vrijedno je odmah konfigurirati prekidač: postavite veličinu jumbo okvira na 9000 bajtova, postavite statičku IP adresu koju ste odabrali u koraku 1 i isključite nepotrebne protokole kao što je SMTP.

    Instalirajte jedinicu za distribuciju napajanja (PDU ili Jedinica za distribuciju napajanja). Ovisno o čemu maksimalno opterećenje problematičnih čvorova na vašoj mreži, možda će vam trebati 220 volti za računalo visokih performansi.

  • Kada je sve instalirano, prijeđite na konfiguraciju. Linux je zapravo glavni sustav za klastere visokih performansi (HPC) - ne samo da je idealan kao znanstveno računalno okruženje, nego također ne morate platiti da instalirate sustav na stotine ili čak tisuće čvorovi. Zamislite koliko bi to koštalo Windows instalacija svim čvorovima!

    • Započnite instaliranjem najnovijeg verzija BIOS-a Za matična ploča i softver proizvođača koji mora biti isti za sve poslužitelje.
    • Postavite željeni Linux distribucija za sve čvorove, a za glavni čvor - distribucijski komplet s grafičkim sučeljem. Popularni sustavi: CentOS, OpenSuse, Scientific Linux, RedHat i SLES.
    • Autor toplo preporučuje korištenje Rocks Cluster Distribution. Uz instalaciju svih softvera i alata potrebnih za klaster, Rocks pruža izvrsnu metodu za brzu "migraciju" višestrukih kopija sustava na slične poslužitelje korištenjem PXE pokretanja i Red Hatove procedure "Kick Start".
  • Instalirajte sučelje za prosljeđivanje poruka, upravitelja resursima i druge potrebne biblioteke. Ako niste instalirali Rocks u prethodnom koraku, morat ćete ručno instalirati potreban softver za postavljanje logike paralelnog računanja.

    • Za početak će vam trebati prijenosni sustav za rad s bashom, na primjer, Torque Resource Manager, koji vam omogućuje da podijelite i distribuirate zadatke na više strojeva.
    • Dodajte Maui Cluster Scheduler u Torque da dovršite instalaciju.
    • Zatim morate instalirati sučelje za propuštanje poruka, koje je neophodno kako bi se osiguralo da pojedinačni procesi u svakom pojedinačnom čvoru koriste zajedničke podatke. OpenMP je najjednostavnija opcija.
    • Ne zaboravite na višenitne matematičke biblioteke i kompajlere koji će "sastaviti" vaše programe za distribuirano računalstvo. Jesam li spomenuo da bi trebao svirati samo Rocks?
  • Povežite računala u mrežu. Glavni čvor šalje zadatke za izračun podređenim čvorovima, koji zauzvrat moraju vratiti rezultat i također slati poruke jedni drugima. I što se sve ovo brže dogodi, to bolje.

    • Koristite privatnu Ethernet mrežu za povezivanje svih čvorova u klaster.
    • Glavni čvor također može djelovati kao NFS, PXE, DHCP, TFTP i NTP poslužitelji kada je spojen na Ethernet.
    • Morate odvojiti ovu mrežu od javnih kako biste osigurali da se paketi ne preklapaju s ostalima na LAN-u.
  • Testirajte klaster. Posljednje što biste trebali učiniti prije nego što korisnicima date pristup snazi ​​računala je testirati performanse. HPL (High Performance Lynpack) benchmark je popularna opcija za mjerenje brzine računanja u klasteru. Morate kompajlirati softver od izvora do najvišeg stupnja optimizacije koji vaš kompajler dopušta za arhitekturu koju odaberete.

    • Naravno, trebali biste kompilirati sa svima moguće postavke optimizacije koje su dostupne za platformu koju odaberete. Na primjer, kada koristite AMD CPU, prevedite na Open64 i razinu optimizacije -0.
    • Usporedite svoje rezultate s TOP500.org kako biste suprotstavili svoj klaster 500 najbržih superračunala na svijetu!
  • TBVPFBFSH O PDOPK NBYYOE HCE OE NPDP
    YMY DEMBEN LMBUFET CH DPNBOYI HUMPCHYSI.

    1. hCHEDEOYE

    noPZYE Y CHBU YNEAF CH MPLBMSHOPK UEFY OUEULPMSHLP Linux NBIYO, U RTBLFYUEULY CHUEZDB UCHPVPDOSCHN RTPGEUUPTPN. fBLCE NOPZIE UMSHCHYBMY P UYUFENBI, CH LPFPTSCHI NBYOSCH PVAEDEOSAFUS CH PDYO UKHRETLPNRSHAFET. OP TEBMSHOP NBMP LFP RTPVPCHBM RTPCHPDYFSH FBLYE LURETYNEOFSHCH UEWS O TBVPFE YMY DPNB. dBChBKFE RPRTPVKHEN CHNEUFE UPVTBFSH OEVPMSHYPK LMBUFET. rPUFTPYCH LMBUFET CHSC UNPTSEFE TEBMSHOP HULPTYFSH CHSHRPMOEOYE YUBUFY ʺ̱BDBU. OBRTYNET LPNRYMSGYA YMY PDOPCHTENEOOHA TBVPFKH OULPMSHLYI TEUKHTUPENLYI RTPGEUUPCH. h LFK UFBFSHE S RPUFBTBAUSH TBUULBBFSH CHBN LBL NPTsOP VEY PUPVSHCHI HUIMYK PVAEDEOYFSH NBYOSHCH UCHPEK MPLBMSHOPK UEFFY CH EDYOSCHK LMBUFET O VBJE MOSIX.

    2. lBL, UFP Y OVDJE.

    MOSIX - LFP RBFYu DMS SDTB Linux U LPNRMELFPN HFYMYF, LPFPTSHCHK RPJCHPMSEF RTPGEUUBN U CHBYEK NBYOSCH RETEIPDIFSH (NYZTYTPCHBFSH) O DTHZIE HOMSH MPLBMSHOPK UEFI. chʺ̱SFSH EZP NPTsOP RP BDTEUH HTTP://www.mosix.cs.huji.ac.il B TBURTPUFTBOSEFUS NA CH YUIPDOSCHI LPBI RPD MYGEOYEK GPL. rBFYUY UKHEEUFCHHAF DMS CHUEI SDT YJ UFBVYMSHOPK CHEFLY Linux.

    3. hUFBOPCHLB RTPZTBNNOPZP PVEUREYUEOOYS.

    h OBYUBME KHUFBOPCHLY IPYUH RPTELPNEODPCHBFSH CHBN ʺ̱BVYTBFSH U KHMB MOSIX OE FPMSHLP EZP, OP Y UPRHFUFCHHAEYE KHFYMYFSH - mproc, mexec Y DT.
    h BTIYCHE MOSIX EUFSH HUFBOPCHPYuOSCHK ULTYRF mosix_install. OE ʺBVHDŠFÉ H PVSʺ̱B FEMSHOPN RPTSDL TBURBLLPCHBFSH YUIPDOSHE LPDSCH SDTB CH /usr/src/linux-*.*.*, OBRTYNET LBL UDEMBM S - CH /usr/src/linux-2.2.13 DBMEE ʺBRHULBEFE mosix_install Y PFCHEYUBEFE O CHUE EZP CHPR PTUSCH, HLBBIBCH ENKH UCHPK NEOEDTSET ʺ̱BZTHʺ̱Lj (LILO), RHFŠ L YUIPDOILBN SDTB Y KHTPCHOY ʺ̱BRHULB.
    rTY OBUFTPKLE SDTB CHLMAYUYFE PRGYY CONFIG_MOSIX, CONFIG_BINFMT_ELF Y CONFIG_PROC_FS. CHUE LFY PRGYY RPDTPVOP PRYUBOSCH CH THLPCHPDUFCHE RP HUFBOPCHL MOSIX.
    HUFBOPCHYMY? OH YFP TSE - RETEZTHTSBKFE CHBY Linux U OPCHSHCHN SDTPN, OBCHBOYE LFPTPZP PUEOSH VHDEF RPIPTSE O mosix-2.2.13.

    4. o BUFTPKLB

    yʺ̱OBYUBMSHOP KHUFBOPCHMEOOSHCHK MOSIX UPCHETYEOOOP OE OBEF, LBLYE X CHBU NBYOSCH CH UEFI Y U LENE ENKH UPEDEOSFUS. OH B OBUFTBYCHBEFUS LFP PYUEOSH RTPUFP. eUMY CHCH FPMSHLP RPUFBCHYMY mosix Y EUMY CHBY DIUFTYVHFYCH - SuSE YMY RedHat - UPCHNEUFYNSCHK, FP ʺ̱BIPDYFE CH LBFBMPZ /etc/rc.d/init.d Y DBCHBKFE LPNBODH mosix start. rTY RETCHPN ʺBRHULE LFPF ULTYRF RTPUIF CHBU OBUFTPIFS MOSIX ʺBRKHULBEF FELUFPCHSHCHK TEDBLFPT DMS UPʺ̱DBOYS ZhBKMB /etc/mosix.map, Ch LPFTPN OBIPDFYFUS URYUPL HʺMPCH Ch BYEZP LMBUFETB. fKhDB RTPRYUSCHBEN: CH UMKHYUBE, EUMY KH CHBU CHUEZP DCHE-FTY NBYOSCH Y YI IP-BDTEUB UMEDHAF
    DTHZ ʺ̱B DTHZPN RP OPNETBGYY RYYEN FBL:



    1 10.152.1.1 5

    ovdje RETCHSHCHK RBTBNEFT PVPOBYUBEF OPNET OBYUBMSHOPZP KHMB, CHFPTPK - IP BDTEU RETCHPZP KHMB Y RPUMEDOYK - LPMYUEUFChP KHMPCH U FELHEZP. f.E. UEKYBU KH OBUC H LMBUFETE PMKHYUBEFUS RSFSH KHMPCH, IP BDTEUB LPFPTSHCHK BLBOYUYCHBAFUS OB 1, 2, 3, 4 Y 5.
    YMY DTHZPK RTYNET:

    oPNET KHMB IP LPMYUEUFChP KHMPCH U FELHEZP
    ______________________________________
    1 10.152.1.1 1
    2 10.150.1.55 2
    4 10.150.1.223 1

    h LFK LPOZHYZHTBGYY NSCH RPMKHYUN UMEDHAEIK TBULMBD:
    IP 1-PZP Hʺ̱MB 10.150.1.1
    IP 2-PZP Hʺ̱MB 10.150.1.55
    IP 3-PZP Hʺ̱MB 10.150.1.56
    IP 4-PZP Hʺ̱MB 10.150.1.223
    FERETSH OHTSOP O CHUEI NBYOBI VKHDHEEZP LMBUFETB KHUFBOPCHYFSH MOSIX Y UPJDBFSH CHEDE PDOBLPCCHCHK LPOZHYZHTBGYPOOSCHK ZHBKM /etc/mosix.map .

    FERTSH RPUME RETEBRKHULB mosix CHBYB NNYYOB KhCE VKhDEF TBVPFBFSH CH LMBUFETE, YuFP NPTsOP KHCHYDEFSH ʺ̱BRKHUFYCH NPOYFPT LPNBODPK mon. h UMHYUBE, EUMY CHSHCHHCHYDYFE H NPOYFPTE FPMSHLP UCHPA NBYOKH YMY CHPPVEE OE KHCHYDYFE OYLPZP, FP, LBL ZPCHPTYFUS - OBDP TSCHFSH. ULPTEE CHUEZP X CHBU PYYVLB YNEOOP CH /etc/mosix.map.
    OH CHPF, HCHYDYMY, OP OE RPVEDYMY. YuFP DBMSHYE? b DBMSHYE PYUEOSH RTPUFP:-) - OHTsOP UPVTBFSH KhFYMYFSH DMS TBVPFSH U Yʺ̱NEOOOSCHN /proc Yʺ̱ RBLEFB mproc. h YUBUFOPUFY h LFPN RBBLFE YDEF OERMPIBS NPDYZHYLBGYS vrh - mtop, h LPFPTSCHK DPVBCHYMY CHPTNPTSOPUFSH PFPVTBTTSEOYS KHMB(čvor), UPTFYTPCHLY RP KHMBN, RETEOPUB RTPGEUUB U FELHEEZP KHMB O DTHZPK Y KHU FBOPCHMEOYS NYOINBMSHOPK ʺBZTHYLY RTPGEUUPTB KHMB, RPUME LPFPTPK RTPGEUUSH OBUYOBAF NYZTYTPCHBFSH O DTHZYE MOSIX - KHMSHCH .
    ʺBRKHULBEN mtop, CHSHCHVYTBEN RPOTBCHYCHYKUS OE URSEIK RTPGEUU (TELPNEODHA ʺ̱BRKHUFYFSH bzip) Y UNEMP DBCHYN LMBCHYYKH "g" O CHBYEK LMBCHYBFKHTE, RPUM YuEZP CHCHPDYN O ʺ̱BRTPU PID CHCHVTBO OPZP CH LBUEUFCH TSETFCHSH RTPGEUUB Y ʺ̱BFEN - OPNET KHMB, LHDB NSCH IFYN EZP PFRTBCHYFSH. b HCE RPUME bFPZP CHOINBFEMSHOP RPUNPFTYFE O TEKHMSHFBFSCH, PFPVTBTSBENSHCHE LPNBODPK pon - FB NBYOB DPMTSOB OBYUBFSH VTBFSH O UEVS OBZTHLKH CHSHVTBOOPZP RTPGEUUB.
    b UPVUFCHOOOP mtop - CH RPME #N PFPVTBTSBFSH OPNET KHMB, OVDJE NA CHSHRPMOSEFUS.
    oP LFP EEE OE CHUE - CHEDSH CHBN RTBCHDB OE IPUEFUS PFRTBCHMSFSH O DTHZIE KHMSHCH RTPGEUUSCH CHTHYOOHA? noe oe BIFFEMPUSH. x MOSIX EUFSH OERMPIBS CHUFTPEOOBS VBMBOUITPCHLB CHOKHFTY LMBUFETB, LPFPTBS RPJCHPMSEF VPMEE-NEOEE TBCHOPNETOP TBURTEDEMSFSH OBZTKHLH O CHUE KHMSHCH. oKH B CHPF ʺ̱DEUSH OBN RTYDEFUS RPFTHDYFUS. DMS OBYUBMB S TBUULBTsKH, LBL UDEMBFSH FPOLHA OBUFTPKLH (napjev) DMS DCHHI KHMPC LMBUFETB? CH RTPGEUUE LPFPTPK MOSIX RPMHYUBEF YOZHPTNBGYA P ULPTPUFSI RTPGEUUPTPCH Y UEFI:
    ʺBRPNOYFE TB Y OCHUEZDB - podešavanje NPTsOP CHSHCHRPMOSFSH FPMSHLP CH jednomodni. YOBYUE CHSC MYVP RPMKHUYFE OE UPCHUEN LPTTELFOSCHK TEKHMSHFBF, MYVP CHBYB NBYOB NPTSEF RTPUFP ʺ̱BCHYUOKHFSH.
    yFBL, CHSHRPMOSEN melodija. rPUME RETECHPDB PRTBGYPOOPK UYUFENSCH CH single - mode OBRTYNET LPNBODPK init 1 YMY init S ʺ̱BRKHULBEN ULTYRF prep_tune, LPFPTSCHK RPDOINEF cEFECHSCHE
    YOFETZHEKUSHY ʺ̱BRHUFYF MOSIX. rPUME LFPPZP O PDOPK YNBYO ʺBRKHULBEN tune, ChCHPDYN ENKH OPNET DTHZPZP KHMB DMS OBUFTPKLY Y TsDEN TEKHMSHFBFB - KhFYMYFB DPMTSOB CHSHCHDBFSH ʺBRTPU O CHChPD YEUFY YUYUEM, RPM HYUEOOSCHI PF CHSHRP MOEEOS LPNBODSCH napjev -a<ХЪЕМ>O DTHZPN HYME. uPVUFCHOOOP PRETBGYA RTYDEFUS RPCHFPTYFSH O DTHZPN KHME LPNBODPK tune -a<ХЪЕМ>, B TEʺ̱HMSHFBF Yʺ̱ YEUFY YUYUEM CHCHEUFY O RETCHSHCHK HYEM. rPUME RPDPVOPZP FAIOZB CH CHBYEK UYUFEN DPMTSEO RPSCHYFUS ZhBKM /etc/režijski troškovi, UPDETSBEIK YOZHPTNBGYA DMS MOSIX CHYDE OELYI YUYUMPCHSCHI DBOOSCHI. h UMHYUBE, EUMY RP LBLYN-FP RTYYUYOBN tune OE UNPZ UDEMBFSH EZP, RTPUFP ULPRYTHKFE YJ FELHEEZP LBFBMPZB ZhBKM mosix.cost H /etc/režijski troškovi. bFP RPNPTSEF;-).
    rTY FAOYOSE LMBUFETB YY VPMEE YUEN DCHHI NBYO OHTSOP YURPMSHʺ̱PCHBFSH KhFYMYFKH, LPFPTBS FBLCE RPUFBCHMSEFUS U MOSIX - tune_kernel. dBOOBS HFYMYFB RPʺ̱CHPMSEF
    CHBN CH VPMEE RTPUFPN Y RTYCHSHYUOPN CHYDE OBUFTPYFSH LMBUFET, PFCHEFYCH O OEULPMSHLP CHPRTPUPCH Y RTPCHEDS FAOIOZ U DCHHNS NBYOBNY LMBUFETB.
    LUFBFY, RP UPVUFCHEOOPNH PRSHCHFKH NPZH ULBUBFSH, YuFP RTY OBUFTPKLE LMBUFETB S TELPNEODHA CHBN OE ʺ̱BZTHCBFŠ UEFSH, B OBPVPTPF - RTYPUFBOPCHYFSH CHUE BLFYCHOSHE PRETBGYY CH MPLBMSHOPK UEFI.

    5. hRTBCHMEOYE LMBUFETPN

    dMS KHRTBCHMEOYS KHMPN LMBUFETB UKHEEUFCHHEF OEVPMSHYPK OBVPT LPNBOD, UTEDY LPFPTSCHI:

    mosctl - LPOFTPMSH OBD KHMPN. rPCHPMSEF Yʺ̱NEOSFSH RBTBNEFTSCH KHMB - FBLYE, LBL blok, ostanak, lstay, odgoda Y F.D
    dBChBKFE TBUUNPFTYN OEULPMSHLP RBTBNEFTPCH LFPC KHFYMYFSCH:
    boravak - RPʺ̱CHPMSEF PUFBOBCHMYCHBFSH NYZTBGYA RTPGEUUPCH O DTHZIE KHMSHCH U FELHEEK NBYOSCH. pFNEOSEPHUS RBTBNEFTPN nostay YMY -ostati
    ostani - ʺ̱BRTEEBEF FPMSHLP MPLBMSHOSCHN RTPGEUUBN NYZTBGYA, B RTPGEUUSCH U DTHZYI NBYO NPZHF RTDDPMTsBFSH LFP DEMBFSH. pFNEOSEPHUS RBTBNEFTPN nolstay YMY -lstay.
    blok - ʺ̱BRTEEBEF KHDBMEOOSCHN/ZPUFECHSHCHN RTPGEUUBN CHSHPRPMOSPHUS O LFPN KHM. pFNEOSEPHUS RBTBNEFTPN noblock YMY -blok.
    donijeti - CHPCHTBEBEF PVTBFOP CHUE RTPGEUUSCH U FELHEEZP KHMB CHSHPRPMOSENSHCHE O DTHZYI NBIYOBI LMBUFETB. ʹFPF RBTBNEFT NPTSEF OE UTBVBFSCHBFSH, RPLB NYZTYTPCHBCHYK RTPGEUU OE RPMKHYUIF RTETSCHCHBOIE PF UYUFENSCH.
    postavitiodgodu KHUFBOBCHMYCHBEF CHTENS, RPUME LPFPTPZP RTPGEUU OBUYOBEF NYZTYTPCHBFSH.
    CHEDSH UPZMBUYFEUSH - CH UMKHYUBE, EUMY CHTENS CHSHRPMOEOYS RTPGEUUB NEOSHYE UELKHODSCH UNSHUM RETEOPUYFSH EZP O DTHZIE NBYOSCH UEFI YUYUEBEF. yNEOOOP LFP ČITANJE CHCHUFBCHMSEFUS HFYMYFPK mosctl U RBTBNEFTPN setdecay. rTYNET:
    mosctl setdecay 1 500 200
    KHUFBOBCHMYCHBEF CHTENS RETEIPDB O DTHZIE KHMSH 500 NYMMYUELKHOD CH UMHYUBE, EUMY RTPGEUU ʺBRHEEO LBL sporo Y 200 NYMYUELKHOD VMS brzo RTPGEUUPCH. pVTBFYFE CHOYNBOYE, UFP RBTBNEFT sporo CHUEZDB DPMTSEO VShchFSH VPMSHYE YMY TBCHEO RBTBNEFTH brzo.

    mosrun - ʺ̱BRKHULBEF RTYMPTSEOYE CH LMBUFETE. OBRTYNET mosrun -e -j5 make ʺ̱BRKHUFYF make ABOUT 5-PN HʺME LMBUFETB, RTY LFPN CHUE EZP DPYUETOYE RTPGEUUSCH VHDHF FBLCE CHSHHRPMOSPHUS ABOUT 5-PN HʺME. rTBCHDB ʺDEUSH EUFSH PDYO OABOU, RTY YUEN DPChPMSHOP UKHEEUFCHEOOSCHK:
    CH UMHYUBE, EUMY DPYUETOYE RTPGEUUSCHCHSHRPMOSAFUS VSHCHUFTEE YUEN KHUFBOPCHMEOOBS HFYMYFPK mosctl ʺ̱BDETTSLB (kašnjenje) FP RTPGEUU OE VHDEF NYZTYTPCHBFSH O DTHZIE KHMSHCH LMBUFETB. H mosrun EEE DPChPMSHOP NOPZP TBMYUOSCHI YOFETEUOSCHI RBTBNEFTPCH, OP RPDTPVOP KHOBFSH
    P OYI CHSHCH UNPTSEFE Yʺ̱ THLPCHPDUFCHB RP LFPC KHFYMYFE. (čovjek mosrun)

    pon - LBL NSCH HTSE OBEN, LFP NPOYFPT LMBUFETB, LPFPTSCHK CH RUECHDPZTBZHYUEULPN CHYDE PFPVTBTSBEF ʺ̱BZTHYLH LBTSDPZP TBVPYUEZP KHMB ChBYEZP LMBUFETB, LPMYUEUFCH P UCHPVPDOPK Y ʺ̱BOSFPK RBNSFY KHMPCH Y CHSHCHDBEF NOPZP DTHZPK, OE NEOEE YOFETEUOPK YOZHTNBGYY.

    mtop - NPDYZHYYTPCHBOOBS DMS YURPMSHʺ̱PCHBOYS O KHMBI LMBUFETB CHETUIS LPNBODSCH vrh. pFPVTBTSBEF O LTBOE DYOBNYUUEULHA YOZHTTNBGYA P RTPGEUUBI, ʺ̱BRHEEOOSCHI O DBOOPN KHOME, Y KHMBI, LHDB NYZTYTPCHBMY CHBY RTPGEUUSCH.

    mps - FPTSE NPDYZHYYTPCHBOOBS CHETUIS LPNBODSCH ps. dPVBCHMEOP EEE PDOP RPME - OPNET KHMB, O LPFPTSCHK NYZTYTPCHBM RTPGEUU.

    CHPF O NPK CHZMSD Y CHUE PUOPCHOSHE KHFYMYFSHCH. O UBNPN DEME LPOEYOP NPTsOP PVPKFYUSH DBTSE VEʺ̱ OI. OBRTYNET YURPMSHJHS DMS LPOFTPMS OBD LMBUFETPN /proc/mosix.
    FBN LTPNE FPZP, YuFP NPTsOP OBKFY PUOPCHOHA YOZHPTNBGYA P OBUFTPKLBI KHMB, RTPGEUUBI ʺ̱BRHEOOOSCHI U DTHZYI KHMPCH Y F.D., B FBLCE RPNEOSFSH YUBUFSH RBTBNEFTPCH.

    6. lURETENEOFYTHEN.

    l UPTSBMEOYA, NOE OE KHDBMPUSH ʺBUFBCHYFSH CHSHRPMOSPHUS LBLPK-FP PDYO RTPGEUU PDOPCHTENEOOOP O OEULPMSHLYI KHMBI. nBLUINKHN, YuEZP S DPUFYZ CH RTPGEUUE LURETYNEOFPCH U LMBUFETPN-YURPMSHJPCHBOIE DMS CHSHRPMOEOYS TEUKHTUPENLYI RTPGEUUPCH O DTHZPN KHME.
    dBChBKFE TBUUNPFTYN PDYO YJ RTYNETPCH:
    dPRKHUFYN, YUFP KH OBU CH LMBUFETE TBVPFBAF DCHE NBYOSCH (DCHB KHMB), PDYO YI LPFPTSCHI U OPNETPN 1 (366 Celeron), DTHZPK - U OPNETPN 5 (PIII450). ʹLURETYNEOFYTPCHBFSH NSCH VKhDEN O 5-MON HYME. 1-K HYEM CH LFP CHTENS RTPUFBYCHBM. ;-)
    yFBL, ʺ̱BRKHULBEN O 5-N KHME KHFYMYFKH crark DMS RPDVPTB RBTPMS L rar BTIYCHH.eUMY LFP Yʺ̱ CHBU RTPVPCHBM TBVPFBFSH U RPDPVOSHNY KHFYMYFBNY, FP ON DPMTSEO ʺOBFSH, YuFP RT PGEUU RPDVPTB RBTPMS " LKHYBEF" DP 99 RTPGEOFPCH RTPGEUUPTB. OH YFP TSE - RPUME ʺ̱BRKHULB NSCH OBVMADBEN, YuFP RTPGEUU PUFBEFUS O LFPN, 5-PN KHJME. tBKHNOP - CHEDSH YNEOOP KH LFPPZP KHMB RTPYCHPDYFEMSHOPUFSH RTECHSHCHYBEF 1-K KHYEM RPYUFY CH DCHB TBBB.
    dBMEE NSCH RTPUFP ʺ̱BRKHUFYMY UVPTLH kde 2.0. uNPFTYN FBVMYGH RTPGEUUPCH Y CHYDYN, YuFP crark HUREYOP NYZTYTPCHBM OKO 1-K HYEM, PUCHPVPDYCH RTPGEUUPT Y RBNSFSH (DB, DB - RBNSFSH FPYuOP FBLCE PUCHPVPTSDBEFUS) DMS make. b LBL FPMSHLP make ʺ̱BLPOYUM UCHPA TBVPFKH - crark CHETOHMUS PVTBFOP, O TPDOPK ENKH 5-K KHYEM.
    YoFETEUOSCHK YZHZHELF RPMKHYUBEFUS, EUMY crark ʺ̱BRKHULBFSH O VPMEE NEDMEOOPN 1-N KHJME.
    fBN NSCH OBVMADBEN RTBLFYUEULY RTPFYCHPRPMPTSOSHCHK TEKHMSHFBF - RTPGEUU UTBH-CE NYZTYTHEF OKO 5-K, VPMEE VSHCHUFTSHCHK HYEM. rTY LFPN ON CHPTBEBEFUS PVTBFOP, LPZDB IPʺ̱SIO RSFPZP LPNRSHAFETB OBUYOBEF LBLYE-FP DEKUFCHYS U UYUFENPK.

    7. yURPMSHʺ̱PCHBOIE

    dBChBKFE CH LPOGE TBVETENUS, OBYUEN Y LBL NSCH NPTsEN YURPMSHʺ̱PCHBFSH LMBUFET CH UCHPEK RPCHUEDOECHOPK TSYYOY.
    dMS OBYUBMB OHTSOP TBY OBCHUEZDB ʺ̱BRPNOYFSH - LMBUFET CHSHCHZPDEO FPMSHLP CH FPN UMHYUBE, LPZDB CH CHBYEK UEFY EUFSH LOPE LPMYUEUFChP NBYO, LPFPTSCHE YUBUFEOSHLP RTPUFBYCHBAF Y CHSH IPFYFE YURPMSHʺ̱PCHBFSH YI TEUK HTUSH OBRTYNET DMS UVPTLY KDE YMY DMS MAVSHI UETSHESHI RTPGEUUPCH. CHEDSH VMBZPDBTS LMBUFETH Yʺ̱ 10 NBYO NPTsOP PDOPCHTEENOOOP
    LPNRYMYTCHBFS DP 10 FSTSEMSCHI RTPZTBNN O FPN-CE C++. yMY RPDVYTBFSH LBLPK-FP RBTPMSH,
    OE RTELTBEBS OH O UELKHODH LFPZP RTPGEUUB OEBCHYUYNP PF OBZTHYLY O CHBY LPNRSHAFET.
    dB Y CHPPVEE - LFP RTPUFP YOFETEUOP;-).

    8. ʺBLMAYUEOOYE

    h ʺ̱BLMAYUEOYE IPUKH ULBUBFSH, YuFP h LFPK UFBFSHE OE TBUUNPFTEOSCH CHUE CHPNPTSOPUFY MOSIX, F.L. S RTPUFP DP OYI EEE OE DPVTBMUS. eUMY DPVETHUSH - TsDYFE RTDPDPMTSEOYS. :-)

    reci prijateljima
    Pročitajte također