<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, May 5, 2021 at 4:19 AM David Watkins <<a href="mailto:watkinshome@gmail.com">watkinshome@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 5 May 2021 at 05:06, Stephen Worthington <<a href="mailto:stephen_agent@jsw.gen.nz" target="_blank">stephen_agent@jsw.gen.nz</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Tue, 4 May 2021 13:32:55 -0400, you wrote:<br>
<br>
>On Tue, May 4, 2021 at 12:58 PM David Watkins <<a href="mailto:watkinshome@gmail.com" target="_blank">watkinshome@gmail.com</a>> wrote:<br>
><br>
>><br>
>><br>
>> On Sun, 2 May 2021 at 14:55, Larry Kennedy <<a href="mailto:lunchtimelarry@gmail.com" target="_blank">lunchtimelarry@gmail.com</a>><br>
>> wrote:<br>
>><br>
>>> I am just now attempting the upgrade to version 31, and the cutover from<br>
>>> DD to XMLTV.<br>
>>><br>
>>> I successfully configured the sqlite grabber to pull from SD, and noticed<br>
>>> that it downloaded all of the channels on my SD lineup, even though most<br>
>>> are not selected.  I guess this is intended behavior?<br>
>>><br>
>>> Seeing how tedious it is to mark channels as "selected" in the Sqlite<br>
>>> database, I came up with a slightly different way to transfer the channels<br>
>>> I currently care about.<br>
>>><br>
>>> I run this query in my existing mythconverg database:<br>
>>><br>
>>> SELECT CONCAT('update channels set selected = 1 where channum = ',<br>
>>> channum ,";") AS combined FROM channel where visible=1<br>
>>><br>
>>> Pipe this output to a file named selected.sql which creates the sqlite<br>
>>> update statements to set the correct channels to "selected" in the new<br>
>>> grabber database to match what you now have as visible channels in mythtv.<br>
>>><br>
>>> Then, just use the grabber tool to make all the channels as "not<br>
>>> selected" by default, and then pipe the file from above into the sqlite<br>
>>> query as seen on the xmltv wiki:<br>
>>><br>
>>> sqlite3 $HOME/.xmltv/SchedulesDirect.DB < selected.sql<br>
>>><br>
>>> This seems simpler than some of the other methods I've seen on the wiki<br>
>>> and elsewhere...<br>
>>><br>
>>> Moving on....I need some advice before I go past the rubicon on this v31<br>
>>> + xmltv upgrade:<br>
>>><br>
>>> After I do the 31 upgrade, and since I only use an HDHR, I plan to just<br>
>>> blow away my channels and repopulate.  I think all the channel ids will<br>
>>> line up the same as before.<br>
>>><br>
>>> Currently, in v30, I run mythfilldatabase as a cron job.  Should I<br>
>>> continue to do that, or switch to another method?  I've never let mythtv<br>
>>> natively run the mythfilldatabase process.  I'm having a hard time<br>
>>> following the intent of the setup-video-sources wiki page on this topic.<br>
>>> Advice appreciated!<br>
>>><br>
>>> Thanks,<br>
>>> Larry<br>
>>><br>
>>><br>
>> I have a combined BE/FE which shuts down when not being used and wakes up<br>
>> for recordings.  I run this script from crondaily and it seems to work out<br>
>> OK.<br>
>><br>
>> #!/usr/bin/bash<br>
>> /usr/local/bin/mythshutdown --lock<br>
>><br>
>> tv_grab_zz_sdjson --days 10 --config-file ~/.xmltv/tv_grab_zz_sdjson.conf<br>
>> --output ~/sd_listing.xml 2>/dev/null<br>
>><br>
>> /usr/local/bin/mythfilldatabase --only-update-guide --max-days 10 --file<br>
>> --sourceid 2 --xmlfile ~/sd_listing.xml 2>/dev/null<br>
>><br>
>> /usr/local/bin/mythshutdown --unlock<br>
>><br>
>> It's not an ideal solution because I have a low powered ION motherboard<br>
>> with only 4GB RAM and  this more or less guarantees that MFD will run while<br>
>> a recording is in progress when I'd prefer to ensure it ran when the box<br>
>> wasn't recording.  Also, if  I ever go more than 10 days without a<br>
>> scheduled recording the whole thing will come to a stop because it will run<br>
>> out of guide data and never wake up to load any more.  In practice neither<br>
>> of those things causes a problem.<br>
>><br>
>><br>
>> Although SD returns 18 days of guide data I've found that many channels<br>
>> just have 'boilerplate'  programme information after 10 days or so, so I<br>
>> limit both SD and MFD to 10.<br>
>><br>
>><br>
>I attempted an upgrade over the weekend, but ended up rolling it back.<br>
>Kudos to the myth devs that created the backup and restore scripts!<br>
><br>
>I'm still on v30 with Schedules Direct DataDirect and a cron job to run<br>
>mythfilldatabase.   To get to v31 and the new xmltv grabber, I decided to<br>
>do the XMLTV upgrade now, followed by an upgrade to v31, say, a week<br>
>later.  I chose this path since it appears that v31 would force the same<br>
>upgrade of XMLTV, and I wanted to decouple these two things.  If I<br>
>approached this incorrectly, please let me know.<br>
><br>
>I ran the xmltv install, then followed the wiki to configure the sqlite<br>
>grabber.  This all appeared to work, as I was able to see like 1,000 rows<br>
>of channel data  in the sqlite database.  As indicated in this thread, I<br>
>created a simple way to set the right channels as "selected".<br>
><br>
>After that, I went into mythtv-setup, channel editor, and deleted all my<br>
>channels.  I only have one source that's by HDHR.<br>
><br>
>Then, I added a new video source that matches the name of the grabber<br>
>config, set this up as Multinational, and done.<br>
><br>
>Then I went into the other setup screen where I map the video source to my<br>
>HDHR tuners.  Forget the name of that one.  Capture cards?<br>
><br>
>After this, I ran mythfilldatabase.  Looking at mythweb, I could see it<br>
>populated the channels back into the database, but I am pretty sure it put<br>
>in more than the ones I marked as "selected" in the Sqlite database<br>
>Strange.  The listing started to appear, but VERY slowly.<br>
><br>
>Mytfilldatabase ran for like 4+ hours, and since I was getting close to the<br>
>time I needed to finish or bail out, I killed it.  I then tried running the<br>
>script that does 3 days at a time, and this ran to full completion right<br>
>away, but never fully populated my listings.  I still had major gaps in the<br>
>listings.  Some were there and some never showed up.<br>
><br>
>Any advice before I give this another go this coming weekend?  Is my<br>
>strategy flawed?  Did I miss a step?  How best to run mythfilldatabase so<br>
>that it doesn't take all day?  Is it the 3 days at a time script?<br>
><br>
>Larry<br>
<br>
As I understand it (not being an SD user), the first time you run<br>
mythfilldatabase after installing the new setup, it does take hours to<br>
run.  Subsequent updates need to be limited to only a few days to make<br>
the time reasonable.  This has been discussed here several times, and<br>
also on the forum, so a search here:<br>
<br>
<a href="https://lists.archive.carbon60.com/mythtv/users/" rel="noreferrer" target="_blank">https://lists.archive.carbon60.com/mythtv/users/</a><br>
<br>
and<br>
<br>
here:<br>
<br>
<a href="https://forum.mythtv.org/" rel="noreferrer" target="_blank">https://forum.mythtv.org/</a><br>
<br>
should help.<br>
<br>
Unfortunately, it seems that Google searches these days are not<br>
finding the mailing list references much, unless you have a very<br>
specific keyword.<br>
<br>
Looking on as a disinterested party, I have never understood why the<br>
SD json EPG requires such long times to run.  The actual process of<br>
putting the EPG data from my XMLTV generated sources into the database<br>
takes less than a minute.  I have two sources, 141 channels and one<br>
week of EPG data.</blockquote><div><br></div><div> </div>When I configured xmltv for the Schedules Direct lineup at my location it picked up about 140 channels, which is consistent with what MythTV picks up with a channel scan and puts into the database.<div><br></div><div>In MythTV I've marked all but 51 channels as 'invisible' and I've disabled those channels in xmltv as well, by replacing the '=' with a '!' in the relative line in the xmltv config file.</div><div><br></div><div>I have pretty low powered hardware (Zotac ION / 4GB RAM).  Running the xmltv grab for 10 days takes 2 or 3 minutes to grab the file.  Running mythfilldatabase  on that file takes about 20 minutes the first time (when the guide database table is empty) and about 5 minutes when it only has to update the 10th day (assuming that no earlier entries have changed).  </div><div><br></div><div>So my daily mythfilldatabase run takes about 7 minutes. Reducing the number of channels from 140 to 51 helped, as did reducing the days from 18 to 10.</div><div><br></div><div>I only have one data source.  When I had two then I ran xmltv once to grab the data, but I had to run mythfilldatabase twice(once for each source).  This slowed  things down somewhat.</div><div><br></div><div>I have to say that working out the xmltv id's for each channel is not trivial and there can be maintenance to do after a channel rescan. I have a couple of SQL queries and an Excel spreadsheet to help keep track of things, and I've seen people post similar schemes here and on the WiKi.  I believe that there's work in hand to preserve xmltvid, icon name and other channel parameters after a rescan so things should get a bit easier sometime.</div><div><br></div><div>HTH</div><div><br></div><div>D </div></div></div></div></div></div>
</blockquote><div><br></div><div>I'm attempting the XMLTV upgrade again today.  For background, my myth backend is a virtual machine with 8GB RAM and 4 vCPUs on an i7-9700K host.  I ran the script to optimize the database, just in case.<br></div><div><br></div><div>My number one issue is the length of time it is taking mythfilldatabase to run.  I've only got 125 channels in my lineup with one source.  I'm running the script that chunks the work into 3 day increments as seen on the mythfilldatabase wiki.</div><div><br></div><div>The first 3-day chunk took 70 minutes.   This seems quite long to me, but at least it seems to be working -- the gaps in my listings are disappearing.</div><div><br></div><div>Should I expect this to be the case every day?  I'm thinking seven 3-day chunks of 70 minutes each will take a total of ~8 hours.<br></div><div><br></div><div>Larry<br></div><div><br></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">_______________________________________________<br>
mythtv-users mailing list<br>
<a href="mailto:mythtv-users@mythtv.org" target="_blank">mythtv-users@mythtv.org</a><br>
<a href="http://lists.mythtv.org/mailman/listinfo/mythtv-users" rel="noreferrer" target="_blank">http://lists.mythtv.org/mailman/listinfo/mythtv-users</a><br>
<a href="http://wiki.mythtv.org/Mailing_List_etiquette" rel="noreferrer" target="_blank">http://wiki.mythtv.org/Mailing_List_etiquette</a><br>
MythTV Forums: <a href="https://forum.mythtv.org" rel="noreferrer" target="_blank">https://forum.mythtv.org</a><br>
</blockquote></div></div>