tl;dr.

もしBunを使用しているならば、npm、yarn、pnpm等で使用したらエラーが起きない。

原因

SerialPortは、機器とのシリアル通信用にC++、つまりはネイティブバイナリを使用して通信を行ってるらしい。それで、Bunは未だにネイティブバイナリが対応していないため、エラーが起きる。
対策としてはnpmといった普通のNodeパッケージを使用した方が良い。組み込み系のライブラリとかはインストールくらいはBunで入れてもいいけど実行する際はnpmで実行したらいいと思った。