Mina experiment med btrfs fortsätter. Har nu slagit på kompression, vilket fungerar fantastiskt bra. Tänk att inte behöva hålla på att komprimera filer för att inte slösa på utrymmet! Eftersom jag använder ssd resp en högvarvig SATA-disk för att få höga prestanda är det viktigt att hålla ner storleken om det går.
Att slå på kompression är så enkelt som att lägga till compress som option i fstab, dvs att den btrfsrelaterade raden i /etc/fstab är
UUID=xxxx / btrfs noatime,compress 0 0
Jag är inte så modig att jag slår på lzo, utan jag håller mig till gzip än så länge...
söndag 29 april 2012
btrfs som rotfilsystem på Debian Wheezy
Nu har turen kommit till att använda btrfs som rotfilsystem på en Debian Wheezy-installation. Efter att installationen blivit klar efter en evighet (läs förra inlägget, om prestandaproblem med fsync) stannade booten på att fsck fallerade. Detta är något missvisande och verkar ha att göra med att "reparation/kontroll-verktyget" för btrfs inte är klart. I väntan på att det är klart returnerar det att allt är ok, om jag förstått saken rätt.
Workaround: ta bort filsystemkontrollen från fstab, dvs ändra sista kolumnen till noll för btrfsvolymerna. Detaljer finns här.
Nu håller jag på att sätta upp subvolymer och snapshots, så att jag får lite ordning och reda. Time machine-funktionalitet på filsystemnivå är en helt annan femma än rsync+hårdlänkar som "alla" använder för backup!
Workaround: ta bort filsystemkontrollen från fstab, dvs ändra sista kolumnen till noll för btrfsvolymerna. Detaljer finns här.
Nu håller jag på att sätta upp subvolymer och snapshots, så att jag får lite ordning och reda. Time machine-funktionalitet på filsystemnivå är en helt annan femma än rsync+hårdlänkar som "alla" använder för backup!
lördag 28 april 2012
experiment med btrfs
Nu har jag använt btrfs på en partition för backup - funkar perfekt. Det jag framförallt vill åt är checksummekontrollen, dvs att man vet att data är korrekta.
Glad över hur lätt det var att komma igång med btrfs satte jag igång en nyinstallation av debian, med btrfs lagt ovanpå en krypterad partition. Vilken pina! Det visar sig att btrfs i sin nuvarande version är riktigt kass när det gäller fsync(), vilket installationsprogrammet för Debian gör väldigt, väldigt ofta. (Läs mer här, debian bugg #635993). Det verkar tack och lov finnas workarounds när man väl installerat systemet, men just nu har jag tröttnat på att höra hårddisken knattra sedan två timmar för något som brukar gå på under en halvtimme.
Glad över hur lätt det var att komma igång med btrfs satte jag igång en nyinstallation av debian, med btrfs lagt ovanpå en krypterad partition. Vilken pina! Det visar sig att btrfs i sin nuvarande version är riktigt kass när det gäller fsync(), vilket installationsprogrammet för Debian gör väldigt, väldigt ofta. (Läs mer här, debian bugg #635993). Det verkar tack och lov finnas workarounds när man väl installerat systemet, men just nu har jag tröttnat på att höra hårddisken knattra sedan två timmar för något som brukar gå på under en halvtimme.
Hur man gör rep
kul film som visar vissa moment när man väver rep.
http://www.youtube.com/watch?v=UyDHBNix6hA
http://www.youtube.com/watch?v=UyDHBNix6hA
fredag 27 april 2012
Jag vill jobba i en grupp med olika fackkunskaper
Jag såg den här videon om en ingenjör som kom med ett förslag på operationsmetod. Jag vill också jobba i en grupp vars medlemmar har olika kunskap och perspektiv!
http://www.ted.com/talks/tal_golesworthy_how_i_repaired_my_own_heart.html
http://www.ted.com/talks/tal_golesworthy_how_i_repaired_my_own_heart.html
Jämförelse mellan Unison, Dropbox och Sparkleshare
Jag har länge använt unison för att synkronisera filer mellan datorer. Detta är väldigt effektivt och ett väl genomarbetat verktyg. Nackdelen är att det kräver att man tänker sig för innan man jobbar med filer, så att man inte råkar ut för att man råkar ändra en fil på två ställen och att dessa måste slås samman manuellt. När man vant sig vid arbetsflödet är det inte ett stort problem eftersom man synkar efter att man ändrat något, men när man delar filer med andra som inte är lika intresserade/vana så är det lätt hänt att det blir trassel. I värsta fall leder detta till att systemet inte används, vilket gör att filer råkar komma bort eller att man glömt vilken dator de ligger på, precis det som man vill undvika genom att synka filer.
Ett sätt att lösa det på är att använda ett system som fungerar som unison, fast synkroniserar sig själv automatiskt i bakgrunden. Detta gör att man inte manuellt behöver bry sig om det. Ett sådant system är dropbox, som blivit väldigt populärt.
Det finns dock en nackdel med dropbox - det är inte ett fritt program, det är storleksbegränsat om man inte betalar och framförallt är dina filer åtkomliga för dropbox själva. Det senare betyder att ett säkerhetshål kan göra att filerna blir allmänt åtkomliga eller att en myndighet kan begära ut dom. Vem har att göra med vad dina filer innehåller? Bara du, såklart.
Jag håller på att pröva ett fritt alternativ som heter sparkleshare. Det fungerar ungefär som dropbox, även om det inte än verkar finnas något sätt att komma åt filer via webgränssnitt. För mig är det strunt samma eftersom man kan använda sin egen server att lagra data på. Det finns därför ingen godtycklig storleksbegränsning, ingen yttre insyn och ingen tredje part att förlita sig på.
Hitills är det lovande, enda nackdelen jag ser är att det på klienten går åt dubbelt så mycket diskutrymmet som filerna upptar, dvs om man har 1 GB filer går det åt 2 GB utrymme på disken. På servern går det åt 1 GB. (Detta är en förenkling, eftersom git används i botten kommer komprimering, deduplicering och filhistorik in i bilden. För mitt användningsområde, att arkivera foton, är det sant.)
Sammanställning
Jag ska använda sparkleshare ett tag och se hur det fungerar, så får jag återkomma.
Ett sätt att lösa det på är att använda ett system som fungerar som unison, fast synkroniserar sig själv automatiskt i bakgrunden. Detta gör att man inte manuellt behöver bry sig om det. Ett sådant system är dropbox, som blivit väldigt populärt.
Det finns dock en nackdel med dropbox - det är inte ett fritt program, det är storleksbegränsat om man inte betalar och framförallt är dina filer åtkomliga för dropbox själva. Det senare betyder att ett säkerhetshål kan göra att filerna blir allmänt åtkomliga eller att en myndighet kan begära ut dom. Vem har att göra med vad dina filer innehåller? Bara du, såklart.
Jag håller på att pröva ett fritt alternativ som heter sparkleshare. Det fungerar ungefär som dropbox, även om det inte än verkar finnas något sätt att komma åt filer via webgränssnitt. För mig är det strunt samma eftersom man kan använda sin egen server att lagra data på. Det finns därför ingen godtycklig storleksbegränsning, ingen yttre insyn och ingen tredje part att förlita sig på.
Hitills är det lovande, enda nackdelen jag ser är att det på klienten går åt dubbelt så mycket diskutrymmet som filerna upptar, dvs om man har 1 GB filer går det åt 2 GB utrymme på disken. På servern går det åt 1 GB. (Detta är en förenkling, eftersom git används i botten kommer komprimering, deduplicering och filhistorik in i bilden. För mitt användningsområde, att arkivera foton, är det sant.)
Sammanställning
- Unison och sparkleshare är fria, dropbox är det inte.
- Unison och sparkleshare har ingen storleksbegränsning.
- Dropbox har webgränssnitt för att komma åt filer
- Unison kräver mycket lite utrymme utöver själva filerna, dropbox kräver en del (vet ej exakt hur det fungerar), sparkleshare ungefär det dubbla (beroende på).
- sparkleshare lagrar äldre versioner av filer, dropbox också men upp till en viss gräns om man inte betalar. Unison har ingen versionshantering.
- unisons synkronisering initieras manuellt, på gott och ont.
- sparkleshare och unison låter dig använda egen server.
- sparkleshare är mycket resistent mot datakorruption tack vare att det använder git
- alla tre alternativ finns för de vanligaste operativsystemen.
Jag ska använda sparkleshare ett tag och se hur det fungerar, så får jag återkomma.
måndag 16 april 2012
Intressant föredrag om btrfs
Det "nya heta" vad gäller filsystem är btrfs. Chris Mason från Oracle, huvudutvecklaren, håller här ett väldigt intressant föredrag som berättar lite om vad filsystemet kan och hur det fungerar. Det är inte en reklamfilm som maler på hur förträffligt det är utan sakligt och visar på intressanta skillnader jämfört med arbetshästen ext4 och xfs. Speciellt animationerna för diskaccess för de olika filsystemen är väldigt intressanta.
Efter att tidigare ha insett hur allt mer sannolikt det är att råka ut för "bit rot" så väntar jag på att börja använda ett filsystem med redundans och checksummor. Suns zfs som verkar riktigt bra fungerar inte i linux pga licensskäl (nej, jag vill inte köra via fuse så det räknas inte...).
Utvecklingen av btrfs har ssd i åtanke och det är väldigt viktigt prestandamässigt.
Nu väntar jag på att "de sista" buggarna åtgärdas så att jag slipper vara försökskanin. Min nuvarande setup med det förträffliga lvm kommer då att ryka.
Efter att tidigare ha insett hur allt mer sannolikt det är att råka ut för "bit rot" så väntar jag på att börja använda ett filsystem med redundans och checksummor. Suns zfs som verkar riktigt bra fungerar inte i linux pga licensskäl (nej, jag vill inte köra via fuse så det räknas inte...).
Utvecklingen av btrfs har ssd i åtanke och det är väldigt viktigt prestandamässigt.
Nu väntar jag på att "de sista" buggarna åtgärdas så att jag slipper vara försökskanin. Min nuvarande setup med det förträffliga lvm kommer då att ryka.
Prenumerera på:
Inlägg (Atom)