Podczas badań jakości technologii strumieniowych pojawiło się szereg problemów związanych z brakiem ich obsługi w programie MSU Video Measurement Tool. Obsługuje on jedynie pliki avi oraz yuv. Aby było możliwe zbadanie innych typów konieczne stało się wykorzystanie programu AviSynth. Niestety właśnie tutaj zaczęły pojawiać się problemy, ponieważ podczas analizy, program błędnie dekodował skompresowany plik i następowało przesunięcie klatek względem siebie. Aby rozwiązać powyższy problem należało skorzystać z programu służącego do prostej obróbki video, VirtualDub. Wczytany plik z rozszerzeniem avs, który wskazywał na inny plik strumieniowy, należało przesunąć o kilka klatek do przodu lub do tyłu. Operacja ta sprowadzała się do dodania lub usunięcia klatek na początku pliku. Wynikowy plik zapisywany był w bezstratnym formacie Huffyuv, a następnie poddawany analizie w programie MSU.
Kolejny problem pojawił się podczas badania plików transmitowanych z serwera strumieniowego. Między serwerem, a klientem wprowadzane były błędy w transmisji. Okazało się, że dostępne programy, służące do zgrywania plików strumieniowych na dysk, mają zabezpieczenia, które powodują, że w przypadku pojawienia się błędów w transmisji, jest ona ponawiana w celu ich wyeliminowania. Próby zgrania filmu bezpośrednio z ekranu i bezstratny jego zapis na dysk również kończyły się niepowodzeniem, ponieważ utrata choćby jednej klatki w czasie zapisu, wyklucza ten plik z dalszej analizy w programie MSU. Z powyższego względu analiza dokonywana była jedynie w sposób subiektywny, czyli przez oglądanie filmu i jego ocenę wzrokową.
Następny problem pojawił się podczas subiektywnej oceny jakości badanych filmów. Podobnie jak w przypadku MSU Video Quality Measurement Tool, również MSU Perceptual Video Quality Tool obsługuje jedynie formaty „avi” oraz „avs”. Odtwarzanie badanych sekwencji w tym programie w niektórych przypadkach znacząco odbiegało od uzyskanej jakości w dedykowanych programach. Powodem różnic są zaimplementowane mechanizmy polepszania jakości występujące w odtwarzaczach dostarczanych przez producentów danej technologii. W przypadku oceny obiektywnej wymieniony problem nie miał aż tak dużego znaczenia ponieważ analizowana była jakość algorytmów kompresji. Mechanizmy polepszające jakość w odtwarzaczach nie są jednak w stanie zniwelować wszystkich skutków utraty jakości wywołanych przez błędy kompresji.
Również badanie jakości materiałów wideo przy transmisji z ograniczeniami (błędy, duże opóźnienia) nie obyło się bez problemów. Serwer Helix, pomimo zgodności z najważniejszymi technologiami strumieniowymi (Real Media, QuickTime oraz Windows Media) nie potrafił obsłużyć obecnie bardzo popularnego Adobe Flash. Problemy wystąpiły także przy symulacji transmisji „na żywo”, która polegała na niemożności odtworzenia materiałów zapisanych w Windows Media. Z powodu braku wsparcia w serwerze pozostałych technologii nie udało się zbadać wpływu ograniczeń transmisji na najnowsze technologie VP7 oraz x264.
Ze względu na zastosowanie do kompresji materiałów programu Sorenson Squeeze, zamiast natywnych programów dostarczanych przez producentów, niektóre z wyników mogą nieco odbiegać od rzeczywistości.
