ザキンコのブログ

ザキンコの日記のはてなブログ版です。

BIOSTAR TB250-BTC PRO でグラボ12枚認識させた

PCIeが12本ある変態マザーのBIOSTAR TB250-BTC PROを手に入れたので持ってるグラボをザクザク刺してみた。安定動作するかはテスト中。

www.biostar.com.tw

刺したグラボは以下。
Radeon RX480 1枚
Radeon RX470 4G 5枚
Geforce GTX 1070 4枚
Geforce GTX 1060 6G 2枚

証拠画像。

インストール方法はこちらを参考にしました。Geforceの方のドライバはかなり古いけどいいのかな?まあ、動いているっぽいけど。メモリも8Gにしても大丈夫でした。その代りNiceHashMinerLegacyを動かすのに仮想メモリが大量に必要でした。40GBにしたらやっとメモリ不足の警告が出なくなった。
www.aiuto-jp.co.jp
github.com

一番の問題はx1-x16変換ライザーカードの不良が多いこと。
BIOSTAR TB250-BTCシリーズは最近のBIOSアップデートでBIOS上でPCIeのどのポートが動いているか確認できるようになったのでかなり楽になった。
この機能が無いマザーボードはOSを立ち上げてみないと状態が分からないし、ドライバが悪いのかライザーカードが悪いのか判断が難しくて時間を食ってしまう。
MSIのGAMINGシリーズのマザーボードにはBIOSに「BOARD EXPLORER」機能があってグラフィカルに状態が分かるので、安定性はともかくライザーカードの不具合を見つけるのに非常に便利でした。だから人気があって中古でも高いのかな?

電源は1200Wのプラチナを2台使ったので高かった。連動するケーブルを使用してます。

フレームはメタルラックを使いました。専用のは高いので。

あと、Afterburnerはグラボ8枚までしか設定できない(12枚認識はする)のでグラボの細かい設定ができないのが問題。何か別のツールを探さないと。

(2017.7.28 追記)
GeforceRadeonの混成だから安定しないのか、ハードウェアエラーが頻発してログが埋まってるし、どうも予定の性能が出ないのでGeforce8枚にしようかと思う。たぶん、うちのRadeonのどれかのボードが不安定だからだと思う。

(2017.8.6 追記)
Geforce GTX 1070 9枚、1060 6G 2枚の11枚構成でSimpleMining OS(https://simplemining.net/)を使って動かしています。PowerLimitをうまく設定しないときちんと動いてくれない点以外は問題ないです。1070に統一したらもっと安定するかな。

Windows10のPCをリモートシャットダウン

リモートデスクトップで接続してシャットダウンでもいいけど、たまにサービスが落ちてて接続できないことがあるので、昔からある管理共有を使う方法。
操作される側のWin10のビルトインAdministratorアカウントを有効にする。
ビルトイン Administrator アカウントを有効または無効にする - パソコン教室わかるとできる大谷地校|地下鉄大谷地駅直結、駐車場完備
後は、操作する側のWin10からコマンドプロンプトでIPCで認証を通すというのをやってから再起動コマンドを送ればできました。
interu.hatenablog.com
簡単すぎて怖い。

Lenovo H515s でビープ音

中古で安かったら買ってみたのだが、動作確認をしていたら起動時にビープ音が鳴って起動しなくなった。音はビービービーブーの繰り返しでベトベンの運命の出だしのような感じ。検索したらメモリのエラーらしいのでメモリを交換したら普通に起動した。
面倒だからメモリの不良はノークレームでいいや。

後はメモリを8Gに増やしてファイルサーバーにでもするかな。PCIex16とPCIex1が使えるのでUSB3.1のボードとギガビットのLANボードを刺してテストしてみよう。CPUが非力なので一般の用途には不向きです。注意。

bbs.kakaku.com

www3.lenovo.com

IntelのオンボードUSB3.0は制限があるらしいメモ

(2018.11.13 追記)
オンボードIntelチップに限らず制限があります。むしろ最近のIntelオンボードチップは改善されていて初期のUSB3.0チップよりエンドポイントを多く使えるようです。

OpenMediaVaultに裸族のスカイタワーを2台繋いでハードディスクを増やしていったら12台しか認識しない。13台目以降はリソースが足りないというエラーが出て認識しない。(Windowsだと違った結果になるかも)
こんな感じのエラー。

xhci_hcd 0000:00:14.0: Not enough host resources, active endpoint contexts = 64

HP Elite 8300 USにUSB3.0接続のハードディスクケースを何台か接続して大容量ディスクアレイを作ろうと計画していたのに、調べたらIntelオンボードUSB3.0には制限があって127台制限の他にエンドポイントの制限もあるみたい。USBって難しい。

「USB コントローラ・リソースが足りません」というエラーについて - Plugable

medium.com

embedded.communities.intel.com

別の機器で試しにUSB3.1の拡張ボードだとどうなるか調べ中。この記事によるとWindows8.1でハブ6台にUSB機器が36台接続できているのでDebianでもこれくらい接続できるのか検証しよう。
Windows 8.1 と ASMedia USB 3.1 XHCI 1.1 ホスト・コントローラについて - Plugable

(2017.5.19 追記)
ASMediaのチップが載ったUSB3.1ボードを刺したら台数は認識はするようになったものの、ハブを挟んでるからかファイル転送の途中でフリーズする。ハブを外して様子みようかな。

(2017.5.28 追記)

Plugableのハブは大丈夫っぽい。USB3.1ボード>4ポートハブ>裸族のスカイタワー*2で今のところ安定して動いている。

(2018.11.13 追記)
Endpointについて資料メモ。
cambrionix.com

グラフィックボードを4枚刺してみるが

1枚のマザーボードに対して拡張スロットが8スロットのATX箱(普通は7スロット)を用意して2スロット使うグラフィックボードを4枚刺してみた。RX 470を4枚。
なんとか認識はしたものの空気の入るスペースがほとんどなく、拡張スロットをサイドから冷やすファンを追加しているにもかかわらず全く冷えず、すぐにGPUが90度に達して使い物にならなかった。
本当に使えないのでグラボを2枚に減らした。これだと負荷をかけても62,3度くらいで今のところ安定して動いてくれている。もちろんケースファンはファンコンで強力に冷やす設定にしてあるが。
2枚構成なら高いマザーもケースも電源も要らなかったなあ。

以下おまけ。

使ったマザーボードは中古で買った「GA-Z87X-OC」だけどこれが曲者で初期BIOSだと初期Haswellしか認識せず「Celeron G1840T」だとBIOSすら起動しなかった。電源を入れるとファンが回ってデバッグLEDに逆「C」みたいな表示が出た後、再起動してファンが回って…を繰り返す状態。「Core i5 4570」を慌てて買ってBIOSをアップしてからG1840Tに戻した。

www.gigabyte.jp

ark.intel.com

ark.intel.com

Windowsの「コンピュータの管理」で「共有フォルダ」の「セッション」を参照すると応答なしの状態になる

Windows VistaWindows Server 2008Windows 7、または Windows Server 2008 R2 の [コンピュータの管理] ツールから、[共有フォルダ] の [セッション] 情報を参照すると応答なしの状態になる場合がある」 - https://support.microsoft.com/ja-jp/help/2524942

俺が触った環境での原因は、ブロードバンドルータDNSのリレーをちゃんとやらなくて逆引き解決のリクエストが放置されてるからのようだ。
普通はルータがDNSのリレーをやってくれるはずなので、nslookupコマンドで例えばLAN内のアドレスの「192.168.0.1」を聞いてみると上位のDNSからすぐに見つけられないって返事が返ってくるのだが、かなり古いブロードバンドルータだからか知らないがタイムアウトまで放置される。
このブロードバンドルータDHCPでアドレスを配る時にDNSを指示できる設定があったので、プロバイダーから示されているDNSを各クライアントに明示的に配るように設定したら解決した。

たぶんこれが原因でLAN内でのファイル共有がうまく動かなかったのだろう。最初はファイルサーバーを見つけることすら重かったがこれを設定したらスムーズに動くようになった。

コマンドプロンプトで「ipconfig /all」をやってみるとそのパソコンのDNSが誰になっているか分かる。