<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 19, 2020 at 10:04 AM Stephen Worthington <<a href="mailto:stephen_agent@jsw.gen.nz">stephen_agent@jsw.gen.nz</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Tue, 19 May 2020 06:44:41 -0400, you wrote:<br>
<br>
>Just an opinion request here.  When I built my current backend it was an <br>
>old motherboard with lots of SATA II (3Gb/s) ports. I was worried about <br>
>the need to have 2 recording drives defined so 2 simultaneous recordings <br>
>would go to different drives.<br>
><br>
>I also wanted RAID mirrors so I used 4-2TB drives with mdadm RAID 1. A <br>
>lot to maintain as drives do fail and RAID volumes have to be replaced <br>
>and rebuilt. Replacing and rebuilding has occurred on average of once a <br>
>year.<br>
><br>
>So the question is, if I bought a new motherboard with SATA III (6Gb.s) <br>
>ports and new SATA III high performance hard drives would I really need <br>
>to define 2 recording drives? i.e. use 2-4TB drives in RAID 1 mirror <br>
>configuration.<br>
><br>
>My tuner is a PCIe Hauppauge WinTV Quat HD. I have 4 tuners defined with <br>
>each tuner having a maximum recordings of 2. But I've never recorded <br>
>more than 4 channels at once with some back-to-back programs on the same <br>
>channel.<br>
><br>
>With the current speed of processors, serial connections, and hard <br>
>drives do I still need 2 recording drives defined?<br>
><br>
>Since SSDs and RAID is not recommended, I avoided that in the discussion.<br>
><br>
>Jim A<br>
<br>
There is no exact answer to just how many recordings at once you can<br>
do with one hard drive.  There are quite a number of factors to<br>
consider.  For example, if you are recording from all four tuners, and<br>
you have back-to-back programmes scheduled for all four tuners, you<br>
can suddenly be recording eight programmes at once for the overlap<br>
period.  On top of that, you may also be playing back one recording<br>
per frontend.  And as you get more locations on the disk where there<br>
is active writing (or reading), that means the heads will be spending<br>
little time on station before they have to move again to the next<br>
active location.  It is not a linear problem - going from four to five<br>
active locations uses far more disk resource (available head movement)<br>
than going from one to two active locations.<br>
<br>
Then you get the problem of the filesystem.  Each recording will get<br>
to a point where it needs more space to be allocated.  So the heads<br>
need to move from where the recording is to the system areas to find<br>
and allocate that space.  That may be fine when it happens for one<br>
recording, but if it happens for all four or all eight at once,<br>
suddenly the heads are moving great distances back and forth and may<br>
be too late getting back to where the recording is being written.<br>
Filesystems vary as to how they handle that - some have the system<br>
areas spread out across the disk to allow shorter head movement.  Some<br>
have all the system areas at one end of the disk.<br>
<br>
Then there is the organisation of the disk into tracks and cylinders.<br>
A disk with more platters and fewer tracks per platter has less<br>
distance to move the heads between things.<br>
<br>
Then you need to consider what may happen when the drive is getting<br>
full.  If the filesystem is not good at keeping the free space<br>
contiguous, then the heads will have to move much longer distances<br>
between the files.<br>
<br>
Modern fast hard drives can have tremendous sequential write speeds -<br>
those have been increasing all the time as the rotational bit<br>
densities increase.  But the speeds of head movement have not<br>
increased in proportion.  So they tend to be the limiting factor, not<br>
the write speed.  And the drive manufacturers are much less<br>
forthcoming about stepping rates and the like - they like to advertise<br>
the super sequential write speeds.<br>
<br>
And then there is the cache - a large RAM cache and a good caching<br>
algorithm (where the head movement is minimised) can make a big<br>
difference when the heads have to move away from a recording to update<br>
the system areas.  The updates for all the open files can be delayed<br>
and then all done at once, rather than the heads moving back and<br>
forth.<br>
<br>
Personally, I am quite conservative with the number of drives versus<br>
number of simultaneous recordings.  Part of that is because I have<br>
several older drives (3 x WD Green/Red, 6-7 years old), but also<br>
because when I started out doing lots of recordings at once, I did get<br>
occasions where I had all the recordings I was doing simultaneously<br>
fail or be corrupted due to exceeding the ability of my (then two)<br>
drives to handle the load.  So now I have seven recording drives, and<br>
am upgrading them slowly to much more modern and higher capacity.  I<br>
plan on no more than two recordings at once per drive.  I do regularly<br>
(at least once a week) do 10-12 recordings at once, and with that<br>
setup I have never had a problem, even when the load increases sharply<br>
(potentially doubles) during back-to-back overlaps.  I only use normal<br>
drives, not RAID.  I can not afford the extra costs of doing RAID.<br>
<br>
Except for their noise, my favourite drive is now the Seagate Exos<br>
series enterprise helium drives.  I have an ST12000NM0007 (12 Tbytes)<br>
and an ST14000NM0018 (14 Tbytes) in my main MythTV box now.  They are<br>
amazingly fast, and are good at handling transaction processing where<br>
the data can be spread across the entire disk.  And they are much<br>
cheaper than anything else with the same performance - they are<br>
actually cheaper here than the high grade NAS rated drives.  As<br>
enterprise drives, I expect them to have a long lifetime, but I have<br>
yet to find out just how long they will last - only time will tell.  I<br>
have been very happy with all the WD drives just keeping on going for<br>
8+ years.  And Seagate did make some horribly bad drives with very<br>
high failure rates for a while - I had 5 of those drives all die early<br>
(< 2 years) and only one of them that lasted, and that only for about<br>
5 years.  Fortunately, they were mostly so bad that they died while<br>
still under warranty, and under New Zealand law I was able to refuse<br>
to accept a replacement with the same type of drive as they clearly<br>
were not of an acceptable standard of durability.  I got very good at<br>
recovering the data onto the replacement drive, so I only lost maybe<br>
10-15 recordings from all of that, as the mode of death was to get<br>
more and more difficult to read sectors, rather than the entire drive<br>
just collapsing and all the data being gone.<br>
<br>
If you can afford them, even better than the Exos drives are the<br>
Hitachi (now WD) helium drives.  Unfortunately, their price is<br>
significantly higher for the same capacity - maybe 40% more.  But the<br>
Hitachi engineers have always made very reliable drives.  The two<br>
three Tbyte ones I retired when I upgraded to my Exos drives had been<br>
in service 24/7 for eight and nine years respectively.  And one is<br>
back in service on my mother's MythTV box as she ran out of space.<br>
<br>
Do not buy the cheap "desktop" drives - they are unsuitable for 24/7<br>
operation and will die early if used like that.  You want at least NAS<br>
rated drives.<br></blockquote><div><br></div><div>Thanks for your thoughts.</div><div><br></div><div>I'm wondering if instead of RAID 1, I should just use 1-2TB SSD as a recording drive and then once a night do a cronjob that rsync's the recordings to an external drive for backup. I really only have about 800GB of actively use space for recordings because once my wife and I have seen them we delete them. Not building a library. </div><div><br></div><div>I was doing the rsync part in preparation to upgrading to mythtv V31 in case I could not just move the current RAID.  </div><div><br></div><div>Also I know that I can record 4 HD programs while watching a recording all at once because I did this as a test on my RPi4, HDHR Quatro, and USB3-to-SATAIII 1TB SSD.</div><div><br></div><div>The RAID needs are because I also use my backend as a NAS for other data, mostly backups.</div><div>Then my drive list would be:</div><div><ul><li>1-2TB SSD as boot drive and Mythtv Recordings</li><li>2-2TB HDD as RAID 1 mirror for general NAS use for home computers.</li><li>1 external 2TB HDD drive to backup recordings daily.</li></ul><div>That would take head movement out of the equation and at most I'd lose one day's recordings.</div><div><br></div><div>Jim  A</div><div> </div></div><div><br></div><div><br></div></div></div>